AI가 두뇌활동을 통해 인간이 본것을 그대로 재현 할 수 있다?
최근 AI기술
최근 오사카 대학의 연구원들은 인공 지능을 사용하여 인간의 두뇌 활동만을 기반으로 인간의 마음에서 이미지를 재현하는 방법을 설명하는 연구를 발표했습니다. 그 결과 시계탑, 비행 중인 비행기, 테디베어, 기차 등 사람들이 본 것의 기이한 복제물들이 만들어졌습니다. AI 모델은 물체를 복제했을 뿐만 아니라 물체의 올바른 관점, 크기 및 배치를 알고 있었습니다. 어떤 이들은 이것이 AI가 마음을 읽는 초기 사례라고 말합니다. 이 마음 읽기를 고려하든 그렇지 않든 그것은 미래에 큰 영향을 미칠 것입니다. 과학자들이 AI와 뇌 스캔을 사용하여 이미지를 재현하려고 시도한 것은 이번이 처음은 아니지만 성공한 것은 이번이 처음입니다. 2011년 UC Berkeley의 연구원들은 AI를 사용하여 fMRI 뇌 스캔을 판독하여 연구 대상자가 시청한 영화 예고편을 재현했습니다. 결과는 어느 정도의 상관관계를 보여주었지만 흐릿하고 다소 모호했으며 해독이 불가능하기도 했지만 바로 이 지점에서 현재의 돌파구가 달라집니다. 오사카 연구진들이 사용한 방법은 연구 대상자가 본 이미지와 거의 동일한 이미지를 만들어 냈습니다. 이 과정에서 안정적 확산(Stable Diffusion)이라는 새로운 AI 이미지 생성기가 사용되었습니다.
'안정적인 확산'이란 무엇인가?
Stability AI에서 만든 Stable Diffusion은 2022년에 공개적으로 출시되는 여러 AI 이미지 생성기 중 하나입니다. ChatGPT의 개발사인 OpenAI가 만든 Dall-e라는 유사한 AI 도구에 대해 들어보신 적이 있을 것입니다. 이 AI 모델은 텍스트 프롬프트에 따라 실시간으로 이미지와 아트를 생성합니다. 프롬프트는 엉뚱하거나 모호하거나 세밀할 수 있습니다. 이러한 모델에는 어떤 단계도 없습니다. 또한 이미 온라인에 존재하는 이미지를 오려 붙여 넣는 것이 아닙니다. 다른 곳에는 존재하지 않는 사람과 사물에 대한 고유한 이미지를 만들어냅니다. 예를 들어 보겠습니다
⊙ 명령 프롬프트: “애니메이션 스타일의 우주에서 말을 타고 있는 고양이.
⊙ 안정된 확산 결과:
fMRI란?
MRI(자기 공명영상)에 대해 잘 알고 계실 겁니다. 이는 장기와 조직의 상세한 이미지를 생성하는 커다란 튜브 모양의 자석으로 종양, 손상된 인대, 척추, 관절 및 장기의 부상과 같은 질병을 밝혀낼 수 있습니다. MRI와 fMRI(기능적 자기 공명 영상)의 차이점은 MRI는 신체 해부학 스캔을 생성하는 반면, fMRI는 뇌의 혈류 변화를 측정하여 뇌 활동을 감지하는 스캔을 생성한다는 점입니다. fMRI는 뇌의 3차원 지도를 생성하여 어느 부분이 언제 활성화되는지 보여줍니다. 이러한 스캔은 과학자들이 지각, 주의력, 기억력 및 의사 결정과 관련하여 뇌가 어떻게 작동하는지 이해하는 데 도움이 됩니다. 또한 몸이 움직이고, 말하고, 볼 때 뇌에서 어떤 일이 일어나는지 보여줍니다.
fMRI 스캔에 안정적인 확산 적용
오사카 연구진은 1년 동안 10,000개의 이미지를 보면서 fMRI 스캐너에 누워 있는 4명의 뇌 스캔을 촬영하여 관련 이미지와 함께 두 개의 AI 모델에 입력했습니다. 한 모델에는 뇌 활동과 해당 이미지 간의 상관관계를 찾도록 학습시키고, 두 번째 모델에는 뇌 활동과 사진에 첨부된 텍스트 캡션 간의 상관관계를 찾도록 학습시켰습니다.
첫 번째 모델은 뇌 스캔을 기반으로 사람이 본 것의 원근감과 레이아웃을 재현할 수 있었지만 이미지 속 물체는 흐릿하고 해독할 수 없었습니다. 하지만 두 번째 AI 모델을 적용했을 때는 훈련 이미지의 텍스트 캡션을 사용하여 피험자가 어떤 물체를 보고 있는지 인식할 수 있었습니다. 이 두 모델은 훈련이 끝나면 fMRI 뇌 스캔을 기반으로 원래 훈련에 포함되지 않은 거친 이미지를 다시 만들 수 있었습니다. 하지만 이는 이전 실험에 비해 크게 개선된 것은 아니었습니다.
연구진은 한 단계 더 나아가 두 AI 모델이 생성한 흐릿한 이미지와 관련 텍스트 캡션을 Stable Diffusion에 입력했습니다. 텍스트와 시각적 정보를 결합한 이 새로운 접근 방식은 스테이블 디퓨전이 연구 대상자가 본 이미지를 놀라울 정도로 선명하게 재현할 수 있게 해 주었습니다.
시사점
이 연구는 매우 소규모로 진행되었고 아직 대중적으로 사용할 준비가 되지 않았지만, 인간 두뇌의 신비를 풀 수 있는 잠재력을 가지고 있습니다. 전문가들은 언젠가 이 기술이 겉으로는 반응이 없어 보이지만 의식이 있는 사람과 같이 의사소통이 불가능한 사람들을 도울 수 있고, 우리의 꿈, 기억, 생각을 이미지와 영화로 재현할 수 있으며, 동물이 세상을 보는 방식을 밝혀낼 수도 있다고 말합니다.
궁극적으로 이러한 종류의 AI 기술은 뇌-기계 인터페이스의 새로운 물결을 불러일으키고 마음의 내면을 이해하는 데 도움이 될 것입니다.
☞ 이 글은 TRANSCEND에 게시된 글입니다.