人工知能の台頭：起源から現代のニューラルネットワークまで

人工知能は創発概念なのか？

はい、人工知能は創発概念であるように思われます。2017年以前のAIモデルの性能は平凡でした。しかし、モデルの規模（学習データとパラメータ数）を十分に拡大したところ、相転移が起こりました。すると、人工ニューロン間のより複雑な相互作用が現れ、私たちが今では「賢い」と評する洗練された認知能力が、非常に単純な数学的構成要素から生まれたのです。

ニューロンが多ければ多いほど、パラメータも増える！

ニューラルネットワークにおけるパラメータとは何か？

ニューラルネットワークのパラメータは、AIモデルの内部変数である。これらのパラメータは、学習中に入力データから自動的に調整される。
例えば、OpenAIのGPT-3モデルは1750億個のパラメータを持つ。 OpenAIのDALL-Eモデルは120億個のパラメータを持つ。 GoogleのGemini Ultraモデルは5400億個のパラメータを持つと言われている。

パラメータ数の計算

パラメータ数はネットワークの構造、すなわち層の数、層あたりのニューロン数、層間の接続の種類に依存する。
パラメータ数は次の式で与えられる：P = (d+1)h + (h+1)o。ここで、dは入力ニューロン数、hは隠れニューロン数、oは出力ニューロン数である。 +1の項はバイアスに対応し、これは人間のある結果を優遇する自然な傾向を避けるために各層に追加される追加パラメータである。

パラメータ数の影響

パラメータ数はニューラルネットワークの学習能力、ひいてはモデルの性能と動作に影響を与える。パラメータが多ければ多いほど、システムは正確で一貫性のある結果を生成する能力を持つ。しかし、限界もある！利用可能なデータ数に対してパラメータ数が大きすぎると、「過学習」と呼ばれる現象がシステムに悪影響を及ぼす。
ニューラルネットワークのパラメータ数を増やしたいなら、学習データも増やさなければならない。
これが、事業者たちが私たちのデータに対して飽くなき食欲を示す理由を説明している。

知能の錯覚か、それとも真の知能か？

人工ニューラルネットワークの仕組み

人工ニューラルネットワークでは、各ニューロンは入力の重み付き和を計算し、その後、閾値活性化関数を適用して出力を決定し、それを次の層に提供する。
この単純な数学的プロセスから、特異性が現れる。
ネットワークは、文中で次に来る単語または「トークン」（単語の断片）を予測しているにすぎない。それにもかかわらず、確率的プロセスから生じたとは思えないほど、整然とし、合理的で、一貫性のある文章が現れるのである。

AI：理解を伴わない言葉の魔術師

意味を気にせず言葉を操るこの言葉の魔術師にとって、真理という概念は無関係である。このシステムは正しい答えを提供しようとはせず、むしろ確からしい文章を提供しようとする。

知能の錯覚

言い換えれば、私たちの現実と何の関わりもなく、意味や知識を欠き、「真」と「偽」を区別しないシステムが、「賢い」答えを提供しうるのである。
AIが文章の文脈、作者の意図、言語のニュアンスを理解しているように見えるのは、その膨大な学習コーパスのおかげである。
この現れには、深く不気味な何かがある！！

根本的な疑問

知能ほど複雑で洗練された現象が、どのようにして仮想環境に現れるのだろうか？

人工知能は創発概念なのだろうか？

創発概念の定義

- ビッグバンの直後、宇宙は極めて高温高密度である。この極限環境において、アインシュタインの方程式 E=mc² に従い、純粋なエネルギーから物質が創発する。こうして、それまで存在しなかったクォーク、電子、ニュートリノなどの素粒子が、初期宇宙から創発するのである。

- 生命は創発現象である。生命は、それを構成する化学分子のような、より単純な構成要素の相互作用の結果である。しかし生命は、これらの構成要素には還元できない新たな性質を示す。ある種の分子組織化から、生命は以前は存在しなかった環境に現れるのである。

創発概念は、より基本的な概念から派生する一方で、それとは新しく還元不可能なままである。言い換えれば、創発概念によって、以前は存在しなかった環境から新たな性質が現れるのである。これらの新たな性質は、環境の特定の物理的条件に対する自然な応答であるように思われる。

AIにおける創発：2017年の転換点

2017年以前のAIモデルは、今日使用されているものよりもはるかに小規模なデータセットで学習されていた。それらは完璧にはほど遠く、生成AIはあまりうまく機能していなかった。

学習に利用できるデータが増えるにつれて、データサイエンティストは直感的にパラメータ数を増やした。ある奇跡的な閾値から、彼らは結果の顕著な改善の出現を確認した。
この現象は2017年にGPT-2モデルで起こり、人間レベルの品質のテキストを生成する能力を示すことで、テキスト生成の分野における転換点となった。

相転移

2017年以前、モデルの規模（学習データとニューラルアーキテクチャ）は拡大していたが、何も起こらず、性能は平凡で停滞していた。そして突然、規模がある閾値に達すると、相転移が起こった。言い換えれば、データとパラメータの多様性によって引き起こされる、システムの物理的状態の変化である。
突然、ニューロン間のより豊かで、より深く、より複雑な相互作用が現れたのである。

この奇跡的な進化における注目すべき事実は、今や私たちには「賢い」と思われる、より洗練された認知能力の創発である。

科学者たちはこの相転移を説明するのに非常に苦労している。それにもかかわらず、データ、アルゴリズム、モデル、パラメータといった非常に単純な構成要素の相互作用から、確かに「知能」が数学的に創発したのである！！

人工知能の未来

知能の本質に疑問を投げかける創発

機械から生じたこの創発は、知能そのものの本質について、私たちに何を語っているのだろうか？

非線形で予測不可能なプロセス

機械学習は非線形プロセスであり、小さな変更がモデルの動作に大きな変更をもたらす可能性があることを意味する。今のところ、私たちはモデルがどのように決定を下すのかを理解しておらず、そのため将来の動作を予測することは困難である。

進化の展望

AIの分野は非常に急速に進化しており、新しい技術や新しいアーキテクチャが絶えず現れている。モデルの複雑さが増すにつれて、創造性、芸術、現実の理解、さらには意識といった、他の予期せぬ性質が創発する可能性がある。

AIと人間の脳：共生的関係

AIは元々、人間の脳の能力を模倣するために設計された。そのために、生物学的ニューロンのモデルに触発されて人工ニューラルネットワークを創り出した。
将来、AIと脳研究は互いに豊かにし合う可能性が高い。
AIを使用し、それを自由に進化させることで、AIが人間の脳の謎を解く鍵を私たちに提供してくれる可能性がある。

「偶然は発明者たちの神である。」 - ピエール・ダック (1893-1975) フランスのユーモリスト。

FAQ：人工知能の台頭について知っておくべきすべて

人工ニューラルネットワークにおけるパラメータとは何か？

パラメータはAIモデルの内部変数であり、学習中に自動的に調整される。これらにはシナプス重みとバイアスが含まれる。その数はネットワークの構造（層の数とニューロン数）に依存する。例えば、GPT-3は1750億個のパラメータを持つ。十分なデータがあれば、パラメータが多いほど、システムは正確で一貫性のある結果を生成する能力を持つ。

なぜAIは「知能の錯覚」を与えると言われるのか？

ニューラルネットワークは、統計的プロセスに従って次に来る最も確からしい単語（または「トークン」）を予測しているにすぎない。それは「真の」答えを提供しようとはせず、むしろ確からしい文章を提供しようとする。私たちの現実との関わりも、「真」と「偽」の区別もない。AIが文脈、意図、ニュアンスを理解しているように見えるのは、その膨大な学習コーパスのおかげであるが、実際には意味や知識を欠いている。

2017年にAIで観察された「相転移」とは何か？

2017年以前、モデルの規模（データとパラメータ）を拡大しても、性能は平凡にしか向上しなかった。突然、GPT-2モデルで臨界閾値に達し、相転移（システムの物理的状態の変化）が引き起こされた。ニューロン間のより豊かで複雑な相互作用が現れ、洗練された認知能力が創発した。科学者たちは今もこの現象を完全に説明するのに苦労している。