言語障害を持つ人々にとって大きな進歩として、科学者チームがバイリンガルの脳卒中患者の脳信号を解釈する神経補綴具の訓練に成功し、スペイン語と英語の両方でコミュニケーションできるようにした。パンチョと呼ばれる患者に埋め込まれたこの装置は、患者の脳活動をコンピューター画面に表示される言葉に変換する。カリフォルニア大学サンフランシスコ校の研究で詳細が説明されているこの開発は、重度の麻痺を持つ人々の脳活動を音声に変換する技術の可能性を初めて示した以前の研究に基づいている。

エドワード・チャン博士の研究室からの最新の研究結果は、神経補綴具が言語を区別する能力を実証している。バイリンガルAIモデルを使用することで、この装置はパンチョがスペイン語で話すのか英語で話すのかを識別できる。この画期的な進歩は、神経補綴具の最初の移植から4年後に行われたため特に注目に値し、その耐久性と、コミュニケーションに問題のある人々に提供できる可能性のある継続的なメリットの両方を示している。

研究チームは、NVIDIAの技術を活用した高度なニューラルネットワーク モデルを使用して、パンチョの脳活動を分析した。パンチョが各言語で言葉を発音しようとすると、モデルは対応する神経信号を翻訳するようにトレーニングされた。AIのパフォーマンスは素晴らしく、パンチョの文章を解読する際に75%の精度を達成した。これにより、パンチョと研究者の間で自然で台本のない会話が可能になり、プロジェクトの感動的な成功の瞬間となった。

研究は、すぐに実用化できるだけでなく、バ​​イリンガルコミュニケーションに関係する神経学的プロセスにも光を当てている。異なる言語は別々の脳領域によって管理されているという従来の想定に反して、複数の言語の発話生成は同じ領域で行われていることが研究結果から示唆されている。さらに、この研究は、時間の経過とともに神経活動を話し言葉に翻訳する能力を学習して改良できる生成AIモデルの適応性を強調している。

ソース:NVIDIA Developer Blog