데이터가 사는 곳
이 글은 아래의 초고에서 출발했다.
당시 졸업작품을 할 당시 새로운 아키텍쳐에 대한 고민 때문에 여러가지 이론과 가설에 대해서 생각했고 메모한 것을 바탕으로 GPT와 함께 정리해 나갔다.
# 초고
매니폴드 가설로부터 영감을 받고 주파수 도메인을 이용한 투 스트림 비전 아키텍처를 설계하고 느낀 점이다.
언제 또 내 생각이 바뀔지 모르지만...
데이터 = 정보
정보는 기호화할 수 있다.
정보가 기호화되고 서로 상호관계가 있다고 받아들인다면 이 관계를 연산할 수 있을 것이다.
즉, 정보(데이터)를 숫자로 다룰 수 있다는 의미다.
숫자로 다루게 되면 위상, 명제 논리 같은 수학적 도구들을 써먹을 수 있다.
결국 데이터는 우리가 상상하기 어려운 고차원 공간 어딘가에 존재하지만,
자세히 보면 그들끼리 클러스터링되어 있다. 이것이 바로 매니폴드 가설일 것이다.
우리는 때때로 데이터에 대해 직관을 느낀다.
‘이 방법을 쓰면 잘 될 것 같은데?’
그렇게 만들어진 아키텍처들이 지금의 대부분이다.
CNN, RNN, Transformer, LSTM, GAN… 전부 자연과 닮았다.
하지만 데이터 자체는 항상 우리의 직관을 따르진 않는다.
비전이라면 꼭 RGB여야 할까?
주파수 도메인의 데이터가 함께 쓰일 수 있지 않을까?
RGB와 주파수가 기막히게 맞아떨어질 수도 있지 않을까?
RGB 정보만이 전부가 아닐 수도 있고 주파수 도메인에서 파생된 데이터와 결합했을 때 새롭게 맞아떨어지는 무언가가 있을지도 모른다.
이런 방식으로 고차원 공간에서 하나의 매니폴드 위에 있다는 걸 포착할 수도 있지 않을까?
데이터의 어떤 구석이 어떤 변형이 도움이 될지 모르겠다.
데이터의 어떤 표현이 최선일지 모른다.
그러나 분명한 건 지금까지의 대부분의 아키텍처는 자연에서 출발했다.
우리는 자연을 모방하고, 불필요한 것을 덜어내고 있다.
그 끝에 자연을 초월하는 무언가가 나올 수 있지 않을까?
자연도 결국 오랜 시간 덕분에 그렇게 놀라운 능력을 가졌기에..
데이터를 다루다 보면, 가끔 이런 감각이 든다.
이 방향으로 가면 잘 될 것 같은데, 이 구조라면 뭔가 맞아떨어질 것 같은데.
놀랍게도, 지금 우리가 쓰는 많은 비전 아키텍처들이 이런 ‘직관’에서 출발했다. CNN, RNN, LSTM, Transformer, GAN… 하나같이 인간의 감각이나 자연의 구조를 닮았다. 시각 피질처럼 계층화된 CNN, 기억을 다루는 LSTM의 게이트 구조, 정보 흐름을 조절하는 Attention 등등.
그런데 문득, 이런 질문이 들었다.
“직관만으로 충분할까?”
직관 너머, 연산 가능한 구조
‘데이터 = 정보’라고 생각해보자. 그리고 정보는 기호화할 수 있다.
기호화된다는 건 어떤 방식으로든 표현이 가능하고, 표현된 대상들 사이에는 어떤 관계가 생긴다는 뜻이다.
이 관계가 존재한다면 우리는 그것을 연산할 수 있다.
결국 정보는 숫자로 표현될 수 있고, 수학의 언어로 다룰 수 있다. 위상, 논리, 대수 같은 것들로.
이런 생각에서 자연스럽게 매니폴드 가설로 이어졌다.
데이터는 고차원 공간에 존재하지만, 사실은 낮은 차원의 다양체 위에 밀집되어 있다.
클러스터처럼, 마치 보이지 않는 공간 속에서 데이터들이 하나의 곡면 위에 자연스럽게 뭉쳐 있는 것처럼.
두 가지 시선, 두 개의 스트림
그렇다면, 이 매니폴드의 구조를 더 잘 드러낼 수 있는 방식은 없을까?
나는 하나의 실험적 아이디어로 투 스트림 아키텍처를 설계해봤다.
하나는 우리가 익숙한 RGB 이미지 스트림, 다른 하나는 주파수 변환된 데이터 스트림이다.
RGB만으로 충분할까?
사실 많은 경우 우리는 색, 형태, 윤곽 등 ‘표면적인’ 정보에만 의존한다. 하지만 그 이면에 있는 주기성, 진동, 변조 같은 정보는 주파수 도메인에 더 잘 표현될 수 있다.
이 둘을 동시에 받아들이고, 이후에 하나의 표현으로 융합하는 구조.
그렇게 하면 데이터가 실제로 놓여 있는 고차원 공간의 구조를 더 잘 포착할 수 있을 거라고 생각했다.
그리고 이 아이디어는 단순히 설계의 차원이 아니라, 내가 데이터라는 존재를 어떻게 해석하고 받아들이는가에 대한 철학이기도 했다.
자연을 넘어서기 위한 질문
우리는 지금까지 자연을 관찰하고, 그것을 본떠 구조를 설계해왔다.
그건 너무도 당연한 접근이고, 분명 효과적이었다.
하지만 언젠가는 자연을 넘어서야 하지 않을까?
자연도 결국 수십억 년의 시간 덕분에 지금의 구조를 얻게 된 것이라면,
우리는 계산과 구조적 사유로 그 시간의 압축을 시도할 수 있지 않을까?
지금의 투 스트림 실험은 작은 시도일 뿐이다.
어떤 표현이 최적일지는 아직 잘 모르겠고, 어떤 연산이 진짜 의미를 건드릴지도 아직은 불확실하다.
하지만 적어도 하나는 분명하다.
직관이 닿지 않는 곳에, 연산 가능한 구조가 존재할지도 모른다는 것.
끝나지 않은 생각
데이터는 어떤 공간 위에 놓여 있을까?
그 공간은 하나의 매니폴드일까, 여러 매니폴드가 뒤엉킨 복합 구조일까?
그리고 우리는 그 안에서 어떤 시선으로 바라보고, 어떤 좌표계를 선택할까?
오늘도 나는 스스로에게 이렇게 묻는다.
“이 데이터는 무엇으로부터 온 것일까?”
“어떻게 표현하면, 이 데이터의 본질에 조금 더 가까워질 수 있을까?”