인간 뇌 활동의 심층 이미지 복원 (2019)

Deep image reconstruction from human brain activity

 

Deep image reconstruction from human brain activity

저자 : Guohua Shen ,Tomoyasu Horikawa ,Kei Majima ,Yukiyasu Kamitani

지각과 심상의 정신적 내용은 뇌의 계층적 표현 속에 인코딩되어 있다고 여겨지지만, 이전 연구들은 이러한 계층 구조를 충분히 활용하지 못해 내부 심상을 복원하는 데 어려움이 있었다. 최근 연구에 따르면, 기능적 자기공명영상(fMRI)으로 측정된 시각 피질의 활동을 디코딩(해독)하여 동일한 입력 이미지를 기반으로 사전 학습된 심층 신경망(DNN)의 계층적 특징으로 변환할 수 있으며, 이를 통해 계층적 시각 정보에서 얻은 정보를 활용할 수 있다.

본 연구에서는 새로운 이미지 복원 방법을 제시한다. 이 방법은 특정 이미지의 픽셀 값을 최적화하여, 해당 이미지의 DNN 특징이 인간의 뇌 활동에서 여러 계층을 통해 해독된 특징과 유사하도록 조정하는 방식이다. 실험 결과, 이 방법을 통해 실제로 본 자연 이미지와 유사한 재구성이 안정적으로 생성됨을 확인했다. 또한, 심층 생성 신경망(Deep Generator Neural Network)을 이용한 자연 이미지 사전 정보(prior)를 도입함으로써, 재구성된 이미지에 의미 있는 세부 정보를 효과적으로 반영할 수 있었다.

사람들을 대상으로 한 평가 실험에서도, 복원된 이미지의 시각적 품질을 향상시키는 데 여러 DNN 계층을 결합하는 접근 방식이 효과적이라는 것이 입증되었다. 흥미롭게도, 본 연구에서 사용한 모델은 오직 자연적인 이미지로만 훈련되었음에도 불구하고, 인공적인 형태(artificial shapes)에도 성공적으로 일반화되었다. 이는 단순히 기존 예제와의 매칭이 아니라, 모델이 보다 일반적인 방식으로 내부 표현을 복원할 수 있음을 시사한다.

더 나아가, 동일한 분석을 정신적 심상(mental imagery)에도 적용한 결과, 주관적인 심상 내용을 초보적인 수준에서나마 재구성할 수 있음을 확인했다. 이러한 연구 결과는, 본 방법이 계층적 신경 표현을 효과적으로 결합하여 지각적 이미지뿐만 아니라 주관적 심상까지도 복원할 수 있음을 보여주며, 뇌의 내부 내용을 들여다볼 수 있는 새로운 가능성을 제시한다.