システムの自己増殖は止まらない。私たちは巨大な社会実験を目撃している

システムの自己増殖は、破綻するまで止まらない

その講義を録音で聞く限り、クールな冗談を交えつつ、淡々と話を進めるルーマンだが、その理論的帰結には何かゾッとするものがある。つまり、彼がどこかで指摘したように、こうしたシステムの自己増殖は、それが破綻するまで止まらないというものである。ある意味実にニヒリスティックな結論ではあるが、科学技術の現場動向をつぶさに観察すると、確かにこうした議論が妙にリアルに感じられる場面が少なくない。

科学技術と一緒くたに表現したが、科学と工学（エンジニアリング）に分けて考えると、前者において、よい研究とは、基本的に新しい領域を開拓し、それが新たな知見の獲得に大いに役立つケースである。ある問いがあり、一つ謎が解決されると、十の別の謎が生まれるといった事例は科学史に少なくない。それにより研究の盛況がもたらされたということで、場合によっては立派な賞とかなりの額の賞金がもらえる場合すらある。

特に基礎研究と呼ばれる領域では、研究は何のために行うかというと、知識を拡大し、それが更なる知識拡大につながるためだという。では何のために知識を増大させるのか、といえばそれは知識を増大することはいいことだから、というあたりで回答は自転し始める。そこに政治、経済その他の言い訳を持ち出すことは可能だが、実際はあまり説得力がない。しかし私自身がそうした状況に異を唱えているわけではない。

テクノロジーとは「社会がモノの形になったもの」であるはずだが……

むしろ問題なのは、テクノロジーの開発に関する場面である。ここでの基本論理は、必ずしも基礎研究とは同じではない。我々は人力より早く移動したいから自動車を開発するのであり、社会がその必要を認めなければそうした開発はない。そこには必ずさまざまな社会的意味合いが内包される。かつて科学的知識がそのままモノに化けたのがテクノロジーだと信じているスポーツ研究者と議論して驚いたが、そんなはずはないだろう。月や火星に人類を送るというのは、科学そのものから出てくる欲望ではないのである。ラトゥール（B.Latour）がいうように、むしろテクノロジーとは「社会がモノの形になったもの」と我々は考える。

だが問題は、現実にはそもそも何のために技術を開発しているのか、よくわからないまま話が急展開しているケースも少なくないという点である。最近、生成的AIの開発競争の暴走の危険性を訴えるため、Googleの元副社長が職を辞したと報じられ話題になった。かの元副社長は、こうした技術が悪用されるのは必須だが、それを防ぐ手段が見つからないまま各社が開発競争に陥っている、と危機感を露わにしている。いうまでもなく、これは社会各所で沸き上がる懸念の一部に過ぎず、開発中止を求める世界的AI研究者の公開書簡や、ハリウッドの脚本家たちのストライキなど、連日似たようなニュースが紙面を賑わせている。社会がモノに化けたはずのテクノロジーが、その社会との関係が分からないまま暴走し始めているという危機感の表明である。本論考の文脈で不気味なのは、この話が前述したルーマン理論の「システムは破綻するまで止まらない」という話の科学技術版のようにみえる点である。

何のためにそれを開発しているのかわからないまま、スピードだけが上がっている

先程のルーマン理論では、システムが止まらないのは、その内部に閉じているからで、結局話はトートロジーになる。この話をそのままミクロの開発現場に適用できるかは議論の余地があるが、面白いのはそれが現場でもリアルに聞こえる場合があるという点である。話がどこに進んでいくのか誰もよく分からないまま、無制限の開発競争に邁進する。そうしたテクノロジー開発が規定路線化し、そもそも何のためにそれを開発しているのかはっきりしないままそのスピードだけが上がっているという感じだろうか。

実際、話がゲームや基礎科学的データ分析等に限定されるなら、関係者は棋士やデータ処理系の科学者に限られる。このレベルでの目立った弊害とすれば、その技術に追いつかない年長の棋士が試合に勝てなくなるといった程度であろう。科学分野のデータ処理レベルでは、こういう技術はけしからんという話はあまり聞いたことがない。

しかしここで話が急に、教育や報道、政治や芸術分野にいたるまでワープしはじめると、そういう狭い業界とのアナロジーで議論をするわけにいかなくなってくる。そもそもこうした新領域で、機会学習の材料とされるのは、歴代の画像情報や文芸作品、あるいはオンライン上のデータ等だが、これではもめるのは当然である。これらのデータは、基本皆が閲覧できる歴代の棋譜や、研究者に公開された科学的データとはその性質が異なるからだ。例えばもし棋譜に著作権があり、他の棋士ですら勝手にその検索はできない、といった法的規制が存在していれば、無邪気な開発者たちもデータ利用にはそういう問題もあるのだ、という点を随分前に学習していたはずである。