未来技術観測所FUTURE TECHNOLOGY OBSERVATORY
OBSERVATION NOTE / 脳と意識

脳とつながるAIって、心が読めるの? 「話したい」を文字にする研究

声にできない言葉が、画面に現れる。そんな研究は、頭の中を何でも読んでいるのでしょうか。実は「話そうとする」ときの信号が手がかりです。

30 SECONDS / まず、ここだけ

読んでいるのは何? 手がかりは「話そうとする」ときの脳の活動。

  • 2023年、声を出すのが難しい参加者1人の発話を助ける研究が報告された。
  • 脳の信号を電極で記録し、学習したAIが言葉を推定する。
  • 伝える手段として期待される一方、読み違いもある。
この記事の目次
  1. 「話したい」が、画面に届くまで
  2. 声が出なくても、「話そうとする」信号は使える?
  3. その信号から、どうやって言葉にするの?
  4. じゃあ、出てきた文字は全部正しい?
  5. 誰でも、すぐ使えるようになる?
  6. 勝手に秘密を読まれる、ということ?
  7. 観測所の「ほぇ〜ポイント」
  8. 今回の観測結果
  9. 原論文・出典

声を出していないのに、画面には言葉が出てくる。

「えっ、AIが頭の中を読んでいるの?」

ちょっと身構えますよね。秘密や思い出まで見られるのかと、心配になるかもしれません。

でも、2023年に報告されたこの研究が手がかりにしたのは、参加者が話そうとするときの、脳の活動です。1

何でも読む装置というより、伝えたい言葉を表す手助けとして見ると、成果がぐっと分かりやすくなります。

「話したい」が、画面に届くまで

オレンジの人が伝えたいことを、青い人と一緒に受け止める場面から見てみましょう。

伝えたい言葉を、別の道で
座ったオレンジの人が青い人に向かって身振りをし、伝えようとしている。
1 / 伝えたい言葉がある

オレンジの人「声にしにくくても、伝える方法は増やせる?」

この研究が目指したのは、発話が難しい人の言葉を文字にすること。手がかりは、話そうとするときの脳の活動です。

オレンジの人のそばで、青い人が脳の記号を表示した研究用画面を見ている。
2 / 話そうとするときの信号を記録

青い人「そのときの脳の活動を、電極で記録するんだ。」

2023年の研究では、ALSの参加者1人に埋め込んだ電極を使いました。頭の外から何でも読み取る方式ではありません。

二人が、吹き出しとチップの記号を表示した画面を見ている。
3 / 学習したAIが、言葉を推定

オレンジの人「この信号は、どんな言葉に対応するんだろう?」

AIは練習で信号と言葉の対応を学びます。その手がかりから、話そうとした言葉を推定して文字にします。

オレンジの人が画面を指し、青い人が資料を持って一緒に確認する。
4 / 出てきた言葉は、合っている?

青い人「推定だから、読み違いも確かめよう。」

言葉を届ける道が増える一方、誤りもあります。自由な思考を丸ごと読む技術とは、調べていることが違うんですね。

人物・画面はAI生成の説明用イラストで、実際の参加者や装置の再現ではありません。電極や配線は省略しています。2023年の研究は、脳に埋め込んだ電極を使ったALSの参加者1人の発話支援です。 [1] [2]

声が出なくても、「話そうとする」信号は使える?

漫画では電極や配線を省いています。実際には、どんな信号を、どこから記録したのでしょう。

この研究に参加したのは、ALSという病気で発話が難しくなった1人です。

研究者は、脳に埋め込んだ電極で、発話の動きに関係する活動を記録しました。言葉の推定に使ったのは、運動前野という、動きの準備などに関わる領域の信号です。3

声だけを聞くのではなく、声にする動きに関わる信号を手がかりにできないか。そこに注目したわけですね。

こうして脳と装置をつなぐ仕組みを、BCIと呼びます。名前は難しそうですが、まずは「脳の活動を、装置とのやり取りに使う仕組み」と考えれば大丈夫です。

その信号から、どうやって言葉にするの?

脳の信号に「こんにちは」という字幕が付いているわけではありません。

そこでAIが、練習で得た信号と言葉の対応を学びます。あとから入ってきた信号を見て、「この言葉を話そうとしていそうだ」と推定するのです。1

参加者が話そうとするときの脳活動を電極で記録し、学習したAIが文字を推定する。
手順を簡略化した図。脳の位置を示す解剖図ではありません。自由な思考の読み取りを表してはいません。 図の根拠

著者の公開コードには、脳の信号を読み解く部分と、言葉の並びを扱う「言語モデル」が含まれています。2

私たちも聞き取りにくかった言葉を、前後の文脈から考えることがありますよね。仕組みが同じという意味ではありませんが、言葉の並びも手がかりにする、という点を想像すると分かりやすくなります。

じゃあ、出てきた文字は全部正しい?

そこには、まだ読み違いがあります。

英語の12万5千語を候補にした評価では、発声を伴って話そうとした場合の単語誤り率は23.8%。声を出さず、口を動かして話そうとした場合は**24.7%**でした。3

声を出す条件でも、AIが手がかりにしたのは脳の信号です。参加者は多少の発声はできましたが、相手に伝わる明瞭な言葉を話すのは難しい状態でした。3

単語誤り率は、正解の文と比べ、言葉の置き換えや抜け、余分な挿入がどれくらいあったかを見る数字です。

「心を76.2%読めた」という意味ではありません。文が丸ごと正しかった割合でもないんですね。

AIが出した文字は、本人の言葉を表そうとした推定結果。だから、間違いがどのくらいあるかも大事になります。

誰でも、すぐ使えるようになる?

この結果は、参加者1人と、決まった装置・練習の条件で得られたものです。1

人が変わっても使えるか。長く使い続けられるか。日常の会話で、どれくらい役に立つか。

そうした点は、また確かめる必要があります。今回の方式は埋め込み電極を使うので、市販のヘッドホンを着けるだけ、という技術でもありません。

勝手に秘密を読まれる、ということ?

少なくとも、この研究はそういう実験ではありません。

参加者が話そうとするときの活動から、言葉を推定するものです。記憶も感情も含めて、考えていることをすべて読み出したわけではありません。1

「脳を読む」という見出しを見たら、どんな場面の、どんな信号を読んだのか。そこを確かめると、SFの読心術との距離が見えてきます。

観測所の「ほぇ〜ポイント」

声になる前に、言葉を届ける別の道があるかもしれない。「心をのぞくAI」と聞くと怖く感じます。でも、声にすることが難しい人にとっては、伝える道が増える研究でもあります。誰かの秘密より、その人が伝えたい一言に目を向けると、技術の見え方が変わりますね。
OBSERVATION / 今日分かったこと

今回の観測結果

人での研究

対象:電極を使った発話の文字化(参加者1人)

特定の装置・参加者・学習条件での発話支援です。誰にでも使える性能や自由な読心を示した成果ではありません。

観測所の編集上の整理です。実現確率や完成予定年を示す指標ではありません。
SOURCES / 確かめる

原論文・出典

気になった研究は、ここからたどれます。

いつの、どんな研究?2023年のWillettらの発話支援研究を、公開論文と著者のデータ・コード資料から紹介します。対象はALSの参加者1人で、英語の発話を調べた研究です。
  1. Willett et al.|A high-performance speech neuroprosthesis:著者公開データ

    2023年。公開説明文を確認。参加者、課題、文字化の仕組み、語彙ごとの単語誤り率を参照。データ本体の再解析は行っていない。

  2. 著者の公式コード|speechBCI

    READMEを確認。信号のデコーダーと言語モデルの構成を参照。READMEの追加評価と原研究の評価値は混同していない。

  3. Willett et al.|A high-performance speech neuroprosthesis

    Nature、2023年8月23日。公開本文の要旨・Main・Decoding attempted speechを確認。ALSの参加者1人、英語の課題、発声あり23.8%・なし24.7%の単語誤り率(12万5千語の条件)を参照。データの再解析は行っていない。

更新記録

— 発話支援の4コマを追加。同日、公開論文と再照合し、発声あり・なしの誤り率と、英語での評価条件を補足。

← 観測所のトピックに戻る