LLMは生物学で捉えられるものかもしれない

人類が生み出したLLM。だが、人類はその正体をちっとも理解できていない

昨今、ChatGPTを筆頭とする、いわゆるLLM（Large Language Model）の話題がかまびすしい。人類が生まれて初めて、人間以外で「人間らしく」会話できる機械（というかアプリケーション）を手にしたのだから、無理もない。この2022年とか2023年という年は人類の歴史にとって永遠に記憶に残る年、いわばポスト○○みたいな○○に何かが入って節目となるような（「ポストコロナ」とか「ポスト冷戦」みたいな）数年になるだろう。○○の「前」の時代には永遠に戻らない、というような。今のところ○○にどんな単語を入れればいいか、僕もまだ決めかねてはいるのだが、今日はLLMが人類にもたらすインパクトについて語りたいわけではない。もっと理学的な話、しいて言えば、科学的探求の対象としてのLLMの価値について、である。

LLMは紛うことなき人類の創生物である。人類の知性が無から生み出した存在であることは間違いない。だが、その一方、人類はLLMをちっとも理解できていない、と言ったら驚くだろうか？

ロボット工学の三原則で名高いSF作家のアシモフはロボットが登場するミステリ（いわゆる推理小説）の作家としても名を馳せた。実はアシモフには「黒後家蜘蛛の会シリーズ」という、SF作家としての名声が無くてもそれだけで十分に歴史に残れるミステリの名作シリーズがあるくらいなので、ミステリを書くことは彼にとって造作もないことだった。だが、それにしてもロボットが出てくるミステリはそのままでは成り立つのが難しい。ロボットが現場の目撃者だとしてその頭をパックリ開いたら犯行の一部始終が録画されていました、というのではミステリが成立しないからだ。この困難を乗り越えるため、アシモフはあろうことか、自らが設定したロボットの頭脳たるポジトロン頭脳を「設計者も容易にその動作原理が解らない代物」と設定した。いくらなんでも無理があるだろう（とこの小説を初めて読んだ時中学生か高校生だった僕も）と思ったものだが、現実のLLMも出来上がってみれば似た様なものになった。

LLMがここまで人々を惹きつける理由

最新型のLLMであるGPT-4が持っているパラメータ数は100兆個（！）とも言われている。勿論、ポジトロン頭脳にはならざるLLMの「中身」を人間は自由に見ることができるのだが、100兆個のパラメータの「値」がわかっても「なぜ、GPT-4は難しい質問に専門家張りの答えを（時に）返せるのか？」という問いに応えられる人類は、今のところこの世界に存在しない。実際にLLMが課せられているのは、文章の一部の意図的に隠されたところを当てる「穴埋め問題」とか、どの文章がどの文章の次に来るかという「文章の連続問題」に過ぎないので、それを学んだだけ（正確にはファインチューニングと言って目的に応じた「軽い」追加的な学習は必要である）でそんな器用なことができるのか、本当のところを理解している人はいないのである。

そんな馬鹿な、と思う人もいるかもしれないが、実はこの現象は人知れず人類は経験済みなのである。

20世紀末、一部の物理学者は非線形非平衡多自由度系の研究で行き詰まりを迎えていた。非線形非平衡多自由度系とは、個々の要素の相互作用が非線形＝足し算では理解できない、１＋１が２にならない関係を持ち、状態が決して定常ではなく変わり続け、かつ、そのような変数が絶望的にいっぱいあるシステムのことだ。そんなものを研究して何がおもしろいのかと思うかもしれないが、生命とか人間の大脳とかは本質的にこの非線形非平衡多自由度系の性質を持っていると思われていたので、非線形非平衡多自由度系の理解がどうしても大切だったことに加え、非線形非平衡多自由度系は様々な非自明なふるまいをすることが次々と発見されたため、研究対象として非常に興味深かったからだ。

だが、一時の興奮にも関わらず、この分野はすぐに衰退した。何が起きているのかはちっとも解らなかったうえに、個々の非線形非平衡多自由度系は純粋に人間が作ったものなので、自分で何か面白いふるまいをつくって面白がるというなんだか不毛な分野になり下がってしまったらからだ（このような状況を揶揄するのに当時は1研究者1モデル、みたいな言い回しも流行った）。奇しくもいま盛んに開発されているLLMはこの非線形非平衡多自由度系の性質を完全に備えている、というか非線形非平衡多自由度系そのものだといってもいい（実際、LLMの基盤技術である深層学習のプロトタイプであるニューラルネットワークは非線形非平衡多自由度系の中の一大勢力として盛んに当時の物理学者によって研究された）。

かつて理解できなかった非線形非平衡多自由度系とLLMが同じだからと言って何がおもしろいのかというと、それは以下の様な理由による。

まず、LLMのパラメータ、GPT-4の場合は100兆個とも言われるパラメータは人間が明示的に与えたものではない。上述のような「穴埋め問題」や「文章の連続問題」を解くために結果的に決まったものであり、人間が好き勝手に作ったものではない。その意味でかつて物理学者が直面したような「自分で作ったものを自分で面白がる」という宿痾からは自由になれる。一方で、LLMは人間から見ると知性の様に見えなくもない高度な「機能」を発現している。この機能がなぜ発生するかということは立派な科学的探求のテーマになりうる。

生物学とLLM研究の親和性

実は、人類は、ある程度自律的に動いているが動作原理が不明なものの研究を長年行ってきた。それは生物である。生物はいまでこそ、進化の結果高度な機能を獲得したと思われているが、進化論が提出されるまでは、神という究極の知性が作ったと思われるくらい、精巧にできあがっているのだ。その生物を研究してきた長い経験が、「LLMはなぜ『穴埋め問題』や『文章の連続問題』を学んでいるだけなのに高度な知性が要ると思われる機能を実現しているのか？」を理解することに役立たないはずはない。いまでこそ人類は遺伝子とか、セントラルドグマとかそれらしい理解の枠組みを持っているが、それまでは生物というのはなんだかよく分からない物質の塊なのに高度な機能を発揮している、という以上の理解は無かったのだから、別に出発点が巨大なLLMだとしても大して変わらないだろう。

幸いにも、と言うべきか、人類は21世紀が始まって以来、生物の内部表現を理解し解釈するための膨大なツールを作り上げてきた。さっそくと言うべきか、数日前にLLMの一種であるGPT4ALLの内部状態を可視化したサイトが公開されたが、この可視化に使われたt-SNEというアプリケーションは一細胞解析というゲノム科学の最先端の解析に多用されている可視化ツールなのである。偶然にも生物学とLLM研究の親和性を象徴する出来事になった。

だから、僕は今、こんな風に思っている。LLMやその後継たる多くの生成系機械学習AIは、純然たる人間の創作物であるにも関わらず、あたかもそれ自体が自然界に存在する実在物のように扱われて、その内部が研究対象になり、LLM生物学みたいな分野が立ち上がるんじゃないかと。そしてその分野が成功すればわれわれはLLMがなんでこんな動作をするのか理解できるようになり（もっと言えばLLMに意識はあるのか、ないのかみたいな不毛な議論にも決着が付き）、そして20世紀に敗北を帰した物理学者の無念もついでに晴らしてくれるんじゃないかな、と。