脳情報デコーディング技術の開発
NICTの脳情報通信融合研究センターは、被験者が映像から感じた
物体・動作・印象を名詞・動詞・形容詞の形で言語化するという、
脳情報デコーディング技術を開発した。
従来の脳情報デコーディング技術では、約500単語に対応する物体や
動作の内容を解読可能だったが、その約20倍にあたる1万単語に対応
する内容を、脳から解読することが可能となった。さらに、従来技術
は解読不能だった「印象」の内容についても、解読に成功した。
同技術の特徴は、大規模テキストデータから学習した言語特徴空間を
デコーダーに取り入れて、内容の推定に利用した点にある。ここでいう
言語特徴空間とは、単語同士の意味の近さを空間内の位置関係により
表現した、100次元空間のことだ。この空間内では、データ中の1万語の
名詞・動詞・形容詞が空間内の1点として表現されており、意味の近い
単語は近い距離で表現され、意味の遠い単語は遠い距離で表現される。
脳活動の解読を行うデコーダーは、脳活動と言語特徴空間の対応関係を
保持している。脳活動が入力されると、対応関係から言語特徴空間内の
1点を推定し、距離の近さに基づいて1万単語の「もっともらしさ」を
出力するというシステムになっている。もっともらしい単語ほど、
被験者が感じた内容に近いとみなされる。
同技術を基盤技術とすることで、脳情報デコーディング技術に基づく
映像コンテンツの評価や、発話や筆談が困難な人のコミュニケーション
補助などに利用されることが期待される。