機械はいかにして知能を得るのか

科学的要約

Astronooの記事は、ニューラルネットワークの歴史を通して人工知能の出現を探求する。パラメータの数と学習データの増加が、2017年以降、真の相転移を引き起こしたことを示している。すなわち、明示的にプログラムされていない洗練された認知能力が出現したのである。本稿は、次の単語の統計的予測によって生み出される知能の幻想を真の理解から区別し、この現象を物質、生命、意識といったより一般的な創発的概念の枠組みの中に位置づけている。

人工知能は創発的概念なのか？

はい、人工知能は創発的概念であるように思われる。2017年以前、生成AIモデルの性能は平凡であった。短く、しばしば支離滅裂なテキストを生成し、会話を続けることも、やや複雑な指示を理解することもできなかった。しかし、モデルの規模、すなわち学習データの量とパラメータの数を十分に増やすことで、相転移が起こった。すると、人工ニューロン間により豊かで複雑な相互作用が現れ、非常に単純な数学的構成要素から、今日我々が「知的」と呼ぶ洗練された認知能力が誕生した。言い換えれば、個々の構成要素は何も変更されていない。ある閾値の複雑さを超えた集合的組織が、新しく還元不可能な振る舞いを出現させたのである。AIは人間的な意味で「理解」しているわけではないが、その構成要素だけからは予測不可能な能力を発揮している。まさにこの予測不可能で全体的な性格が、創発について語ることを可能にしている。本稿が提起する問いは、単に技術的なものではない。それは、生物的であれ人工的であれ、知能の本質そのものに触れている。

こちらもおすすめ

宇宙の探検をさらに深めるためのテーマをご紹介します：

ニューロンが多ければ多いほど、パラメータも多くなる！

ニューラルネットワークにおけるパラメータとは何か？

ニューラルネットワークのパラメータとは、AIモデルの内部変数である。これらのパラメータは、入力データから学習する過程で自動的に調整される。
例えば、OpenAIのGPT-3モデルは1,750億のパラメータを持つ。OpenAIのDALL-Eモデルは120億のパラメータを持つ。GoogleのGemini Ultraモデルは5,400億のパラメータを持つと言われている。

パラメータ数の計算

パラメータの数はネットワークの構造、すなわち層の数、層ごとのニューロンの数、層間の接続の種類に依存する。
パラメータの数は次の式で与えられる：P = (d+1)h + (h+1)o ここでdは入力ニューロンの数、hは隠れニューロンの数、oは出力ニューロンの数である。 +1の項はバイアスに対応し、特定の結果を好むという人間の自然な傾向を避けるために各層に追加される追加パラメータである。

パラメータ数の影響

パラメータの数はニューラルネットワークの学習能力、ひいてはモデルの性能と振る舞いに影響する。パラメータが多ければ多いほど、システムは正しく一貫性のある結果を生成する能力が高まる。しかし、限界がある！
「過学習」と呼ばれる現象は、利用可能なデータに対してパラメータの数が多すぎる場合にシステムにペナルティを与える。
ニューラルネットワークのパラメータ数を増やしたいなら、学習データも増やさなければならない。
これが、事業者たちの我々のデータに対する飽くなき欲求を説明している。

知能の幻想か、知能か？

人工ニューラルネットワークの仕組み

人工ニューラルネットワーク（ANN）では、各ニューロンが入力の重み付き和という計算を行い、次に閾値活性化関数を適用して出力を決定し、それを次の層に提供する。
この単純な数学的プロセスから、ある特異性が現れる。
ネットワークは、文の中で次に続く単語または次の「トークン」（単語の断片）を予測するだけである。それにもかかわらず、確率論的プロセスから生まれたにもかかわらず、秩序だった、理性的で、一貫性のある文が出現する。

AI：理解なき言語の魔術師

言葉の意味を気にせずに言葉を操るこの言語の魔術師にとって、真実という概念は意味を持たない。システムは正しい答えを提供しようとするのではなく、むしろありそうな文を提供しようとする。

知能の幻想

言い換えれば、我々の現実と何のつながりもなく、意味も知識もなく、「真」と「偽」を区別しないシステムが、「知的」な答えを提供することができる。
AIが文の文脈、著者の意図、言語のニュアンスを理解しているかのような印象を与えるのは、その膨大な学習コーパスのおかげである。
この顕現には、深く当惑させるものがある！

根本的な問い

知能ほど複雑で洗練された現象が、仮想環境に現れることがあり得るのだろうか？

人工知能は創発的概念なのだろうか？

創発的概念は、より基本的な概念から生じながらも、新しく、その概念に還元されないものである。言い換えれば、新しい特性が、以前には存在しなかった環境から創発的概念とともに現れる。これらの新しい特性は、環境の特定の物理的条件に対する自然な応答のように思われる。

創発的概念の例

ビッグバン直後、宇宙は極度に高温で高密度である。この極限環境では、アインシュタインの方程式E=mc²に従って、純粋なエネルギーから物質が出現する。こうして、以前には存在しなかったクォーク、電子、ニュートリノなどの素粒子が、原始宇宙から出現する。
生命は創発的現象である。それは、それを構成する化学分子のような、より単純な構成要素の相互作用から生じる。しかしそれは、これらの構成要素に還元されない新しい特性を示す。ある分子組織から、以前には存在しなかった環境に現れる。
意識はしばしば創発的現象として記述される。孤立して見れば、神経細胞は意識を持たない。しかし、ある組織化と何十億ものニューロンの協調的相互作用から、主観的経験、自己と世界の知覚が現れ、これは個々のニューロンの活動に還元されない。
自然であれ人工であれ、知能もまた創発的現象と見なすことができる。単一のニューロンや単一のパラメータが単独で「理解」したり推論したりするのではない。ネットワークとして組織された多くの要素の相互作用が、認識、言語、推論、適応の能力を出現させる。ある複雑さと学習の閾値を超えると、これらの振る舞いは、各構成要素に明示的にプログラムされることなく出現する。

AIにおける創発：2017年の転換点

2017年以前のAIモデルは、今日使われているものよりはるかに小さなデータセットで訓練されていた。彼らは完璧には程遠く、生成AIはあまりうまく機能していなかった。

学習に利用できるデータが増えるにつれ、データサイエンティストたちは直感的にパラメータの数を増やした。ある奇跡的な閾値から、結果の大幅な改善の出現を確認した。
この現象は2017年、GPT-2モデル（Generative Pre-trained Transformer 2）で起こり、テキスト生成の分野における転換点となり、人間品質のテキストを生成する能力を実証した。

相転移：何が起こったのか？

2017年以前、モデルの規模（学習データとニューラルアーキテクチャ）は増加していたが、何も起こらず、性能は平凡で停滞していた。そして突然、規模がある閾値に達したとき、相転移が起こった。言い換えれば、データとパラメータの多様性によって引き起こされたシステムの物理的状態の変化である。
突然、ニューロン間により豊かで、より深く、より複雑な相互作用が現れた。

この奇跡的進化における注目すべき事実は、今日我々に「知的」と思われる、より洗練された認知能力の出現である。

科学者たちはこの相転移を説明するのに大変苦労している。しかし、データ、アルゴリズム、モデル、パラメータといった非常に単純な構成要素の相互作用から、確かに「知能」が数学的に出現したのである！

人工知能の未来

知能の本質を問う創発

機械から生まれたこの創発は、知能そのものの本質について何を語っているのだろうか？

非線形で予測不可能なプロセス

機械学習は非線形プロセスであり、小さな変化がモデルの振る舞いに大きな変化をもたらす可能性がある。現時点では、モデルがどのように決定を下すのかを我々は理解しておらず、そのため将来の振る舞いを予測することが難しい。

進化の展望

AIの分野は非常に急速に進化しており、新しい技術と新しいアーキテクチャが絶えず現れている。モデルの複雑さが増すにつれ、創造性、芸術、現実の理解、さらには意識といった、他の予期せぬ特性が出現する可能性がある。

AIと人間の脳：共生関係

AIはもともと人間の脳の能力を模倣するために設計された。そのために、生物学的ニューロンのモデルに着想を得て、人工ニューラルネットワークを生み出した。
将来、AIと脳研究が相互に豊かにし合う可能性が高い。
AIを利用し、それを独力で進化させることによって、人間の脳の謎を解く鍵を我々に与えてくれるかもしれない。

参考文献

FAQ：人工知能の出現について知っておくべきこと

人工ニューラルネットワークにおけるパラメータとは何か？

パラメータとは、AIモデルの内部変数であり、学習中に自動的に調整される。これにはシナプス重みとバイアスが含まれる。その数はネットワークの構造（層とニューロンの数）に依存する。例えば、GPT-3は1,750億のパラメータを持つ。パラメータが多ければ多いほど（十分なデータがあれば）、システムは正しく一貫性のある結果を生成する能力が高まる。

なぜAIは「知能の幻想」を与えると言われるのか？

ニューラルネットワークは、統計的プロセスに従って次に最も可能性の高い単語（または「トークン」）を予測するだけである。それは「真の」答えを提供しようとするのではなく、ありそうな文を提供するのであり、我々の現実とのつながりも、真偽の区別もない。膨大な学習コーパスのおかげで、文脈、意図、ニュアンスを理解しているかのような印象を与えるが、実際には意味も知識も持たない。

2017年にAIで観察された「相転移」とは何か？

2017年以前、モデルの規模（データとパラメータ）を増やしても、性能はわずかに改善するだけだった。突然、GPT-2モデルで臨界閾値に達し、相転移（システムの物理的状態の変化）を引き起こした。ニューロン間により豊かで複雑な相互作用が現れ、洗練された認知能力を出現させた。科学者たちは依然としてこの現象を完全に説明するのに苦労している。

複雑系における創発とは何か？

創発とは、孤立して見た構成要素には存在しないが、それらの組織化された相互作用から生じる新しい特性や振る舞いの出現を指す。単一のニューロンは考えず、単一の分子は生きておらず、単一のクォークは物質を形成しない。ある複雑さの閾値からの集合的組織が、出発点の要素に還元されない新しい特性を出現させるのである。

AIは本当に知的なのか、それとも単なるシミュレーションなのか？

議論は依然として続いている。観察可能な振る舞い（問題解決、対話、推論）で知能を定義するなら、現在のAIは間違いなく知的な能力を示している。しかし、理解、意識、意図で定義するなら、それは統計的計算によってこれらの能力をシミュレートしているにすぎない。しばしば「理解なき知能」と呼ばれる：その深い本質がまだ解明されていない創発的現象である。

なぜ創発を科学的に説明するのが難しいのか？

創発的特性は、個々の構成要素を支配する法則から単純に演繹できないからである。ニューロンや分子の方程式を完全に知っていても、そこから思考や生命を予測することはできない。創発は多数の非線形相互作用と複雑さの閾値を含むため、この現象は部分的に予測不可能であり、生物にとってもAIにとってもまだ十分に理解されていない。