LLMがここまで人々を惹きつける理由
最新型のLLMであるGPT-4が持っているパラメータ数は100兆個（！）とも言われている。勿論、ポジトロン頭脳にはならざるLLMの「中身」を人間は自由に見ることができるのだが、100兆個のパラメータの「値」がわかっても「なぜ、GPT-4は難しい質問に専門家張りの答えを（時に）返せるのか？」という問いに応えられる人類は、今のところこの世界に存在しない。実際にLLMが課せられているのは、文章の一部の意図的に隠されたところを当てる「穴埋め問題」とか、どの文章がどの文章の次に来るかという「文章の連続問題」に過ぎないので、それを学んだだけ（正確にはファインチューニングと言って目的に応じた「軽い」追加的な学習は必要である）でそんな器用なことができるのか、本当のところを理解している人はいないのである。
そんな馬鹿な、と思う人もいるかもしれないが、実はこの現象は人知れず人類は経験済みなのである。
20 世紀末、一部の物理学者は非線形非平衡多自由度系の研究で行き詰まりを迎えていた。非線形非平衡多自由度系とは、個々の要素の相互作用が非線形＝足し算では理解できない、１＋１が２にならない関係を持ち、状態が決して定常ではなく変わり続け、かつ、そのような変数が絶望的にいっぱいあるシステムのことだ。そんなものを研究して何がおもしろいのかと思うかもしれないが、生命とか人間の大脳とかは本質的にこの非線形非平衡多自由度系の性質を持っていると思われていたので、非線形非平衡多自由度系の理解がどうしても大切だったことに加え、非線形非平衡多自由度系は様々な非自明なふるまいをすることが次々と発見されたため、研究対象として非常に興味深かったからだ。
だが、一時の興奮にも関わらず、この分野はすぐに衰退した。何が起きているのかはちっとも解らなかったうえに、個々の非線形非平衡多自由度系は純粋に人間が作ったものなので、自分で何か面白いふるまいをつくって面白がるというなんだか不毛な分野になり下がってしまったらからだ（このような状況を揶揄するのに当時は1研究者1モデル、みたいな言い回しも流行った）。奇しくもいま盛んに開発されているLLMはこの非線形非平衡多自由度系の性質を完全に備えている、というか非線形非平衡多自由度系そのものだといってもいい（実際、LLMの基盤技術である深層学習のプロトタイプであるニューラルネットワークは非線形非平衡多自由度系の中の一大勢力として盛んに当時の物理学者によって研究された）。
かつて理解できなかった非線形非平衡多自由度系とLLMが同じだからと言って何がおもし ろいのかというと、それは以下の様な理由による。
まず、LLMのパラメータ、GPT-4の場合は100兆個とも言われるパラメータは人間が明示的に与えたものではない。上述のような「穴埋め問題」や「文章の連続問題」を解くために結果的に決まったものであり、人間が好き勝手に作ったものではない。その意味でかつて物理学者が直面したような「自分で作ったものを自分で面白がる」という宿痾からは自由になれる。一方で、LLMは人間から見ると知性の様に見えなくもない高度な「機能」を発現している。この機能がなぜ発生するかということは立派な科学的探求のテーマになりうる。
