AIのさまざまな学習タイプ

AIの主な学習タイプの概要

最も単純なものから最も複雑なものへ

以下の表は、主なAIの学習タイプを、最も単純なものから最も複雑なものまで提示し、具体的な例、人間の行為者が学習をどのように組織できるかという観点、そして機械がどのように進めるかの簡潔な説明を添えている。

詳細な例：概念から実践へ

教師あり学習

教師あり学習では、各例に正しい答えを示すラベルが付けられている。古典的な例は画像分類である：機械に 銀河の画像が提供され、それぞれが渦巻きまたは楕円として注釈付けられている。目的は、モデルが新しい画像に対して正しいクラス（渦巻きまたは楕円）を予測できるようになることである。

• 人間の側：この学習の組織化は、注釈付きデータセットの構築、性能基準（正解率、精度）の定義、ラベルの品質の監視からなる。
• 機械の観点から：学習は、予測とラベルの間のギャップを測る損失関数を最小化することによって行われる。モデルのパラメータ（重み、バイアスを損失関数の最小化のために）を最適化手法（勾配降下法などのアルゴリズム）で調整する。
• 具体的な例：モデルは銀河の画像を受け取り、注釈付きの例が進むにつれてパラメータを調整することにより、渦巻きと楕円を自動的に区別することを学ぶ。

教師なし学習

教師なし学習では、データにはラベルが一切ない：機械は、どのカテゴリや構造を見つけるべきかを事前に知らない。目的は、データの中の自然なグルーピング、隠れたパターン、または関連する次元を発見することである。古典的な例は、事前の指示なしに恒星スペクトルを分析して、行動の家族を自動的に識別することである。

• 人間の側：この学習の組織化は、注釈なしの大規模データベースの収集、関連する変数の選択、探索的目的（グルーピング、異常検出、次元削減）の定義からなる。
• 機械の観点から：学習は、近くの点のグルーピングや主成分の抽出など、データの内部構造を探すアルゴリズムに依存しており、教師ありの損失関数はない。
• 具体的な例：モデルは数千の恒星スペクトルを分析し、類似したシグネチャを示すものを自動的にグループ化し、人間の介入なしに天体物理学的な家族を明らかにする。

強化学習

強化学習では、エージェントが環境と相互作用し、実行する行動に応じて報酬または罰則を受け取る。目的はラベルを予測することではなく、累積報酬を最大化する行動方針を学ぶことである。古典的な例は、観測時間を最適化するためにどのターゲットを観測するかを選択しなければならないロボット望遠鏡の制御である。

• 人間の側：この学習の組織化は、報酬関数の定義（行動の質の尺度）、環境のルールの指定、そしてエージェントが望ましくない戦略を開発しないことの確認からなる。
• 機械の観点から：エージェントはさまざまな行動を探索し、得られた報酬を観察し、累積報酬を最大化するためにその方針を更新する。これは逐次最適化アルゴリズム（Q学習や方針勾配法など）による。
• 具体的な例：エージェントは自動化された望遠鏡を制御し、試行を重ねるうちに、無駄な動きを最小化しながら最も興味深いターゲットを選択することを学び、観測の質と量を最適化する。

自己教師あり学習

自己教師あり学習では、機械は生データから自分自身でラベルを作成する。人間が提供する正しい答えを受け取る代わりに、モデルは入力の欠落部分またはマスクされた部分を予測しなければならない。このアプローチは、注釈なしの膨大なデータセットを活用することを可能にする。古典的な例は、言語表現を学ぶために科学テキスト中のマスクされた単語を予測することである。

• 人間の側：この学習の組織化は、注釈なしの大規模コーパスの準備、内部タスクの定義（単語をマスクする、シーケンスの続きを予測する）、そしてバイアスを避けるための使用データの品質管理からなる。
• 機械の観点から：モデルは、データ自体から生成された人工的なタスクを解くことによって学習する。たとえば、マスクされたトークンを予測したり、画像の一部を再構築したりすることで、有用な内部表現を抽出することができる。
• 具体的な例：モデルは、特定の単語がマスクされた科学テキストを受け取り、それらを推測することによって用語間の関係を捉えることを学び、その後、実際のタスクでの性能が向上する。

深層学習

深層学習では、機械はデータからますます複雑な特徴を抽出できる多層ニューラルネットワークを使用する。各層は情報を変換して、古典的な方法では見えないパターンを明らかにする。このアプローチは、画像、音声、テキストの処理に特に効果的である。一般的な例は、肉眼では区別が難しい構造を自動的に識別するための星雲の画像の分析である。

• 人間の側：この学習の組織化は、大規模な画像データベースの収集、適切なネットワークアーキテクチャ（CNN、トランスフォーマー）の選択、性能基準の定義、十分な計算リソースの確保からなる。
• 機械の観点から：ネットワークは、複数の層にわたって数百万のパラメータを調整することによって学習し、各層がより抽象的なパターンを抽出する。最適化は、最適化手法（勾配降下法など）による損失関数の最小化によって行われる。
• 具体的な例：ニューラルネットワークは星雲の画像を分析し、フィラメント、バブル、または放射ゾーンを自動的に認識することを学び、層ごとにパラメータを洗練させる。

注：
現代のニューラルネットワークでは、深さは中程度にとどまる：アーキテクチャは一般に約20層から数百層の間である。一方、ニューロンの総数は数百万、最も進んだモデルでは数億に達することもある。この違いが、ネットワークが数千の層を持たずに「深い」ことができる理由を説明している：層あたり数千のニューロンが、数十の層で乗算されることによって、巨大なサイズのモデルが得られるのである。

ケーススタディ：大規模言語モデルはどのように学ぶのか？

同じモデル、三つの successive な学習

大規模言語モデル（LLM）は、アプローチの組み合わせをよく示している。その訓練は複数の段階で行われ、各段階が異なるタイプの学習に対応している。これが、対話アシスタントが単なる単語予測器から、指示に従うことができる対話者へと変わることを可能にしている。

段階1：自己教師あり事前訓練

モデルは膨大な量のテキストを読み、次の単語（より正確には「トークン」）を予測することを学ぶ。「太陽は…型の恒星である」という文では、「黄色矮星」またはもっともらしい続きを推測しなければならない。人間がこれらのテキストに注釈を付けることはない：答えはテキスト自体である。これが自己教師あり学習であり、データと計算の面で最もコストのかかる段階である。 BERTのようなモデルは、トークンの自動マスキングを使用する：アルゴリズムが特定の単語をランダムに隠し、モデルがそれを予測しなければならない。

段階2：指示に対する教師あり微調整

事前訓練されたモデルはテキストを延長する方法を知っているが、必ずしも質問に答える方法を知っているわけではない。 人間の注釈者が指示と回答を書き、コンピュータツールがこれらのデータを訓練用に自動的に準備する。モデルはその後、これらの例を模倣するように調整される：これは、初期コーパスよりはるかに小さなデータセットに適用された教師あり学習である。

段階3：人間のフィードバックからの強化学習

回答の質を洗練するために、評価者にモデルの複数の回答をランク付けしてもらう。これらのランキングは、回答にスコアを割り当てる報酬モデルを訓練するために使用される。LLMはその後、高いスコアを得るように最適化される。これがRLHF（人間のフィードバックからの強化学習）の原理であり、特に2022年のInstructGPTで記述された。 それ以来、より単純な方法が提案されている。たとえば選好最適化では、モデルは人間によってより良いと判断された回答を優先することを学ぶ。一部の研究室では、自動的に検証可能な報酬 — たとえば数学問題の正しい解決やコンピュータテストの成功 — を使用して、「推論」モデルと呼ばれるものを訓練している。

「インコンテキスト学習」は？

質問に二、三の例を提供すると、モデルはタスクを「学習」したように見える：プロンプトに示されたパターンを再現する。実際には、これは一時的な適応である。モデルの内部パラメータは変更されず、会話が終了すると、重みには何も保存されない。したがって、モデルはその場で提供された例を活用するだけで、前述の段階の意味での真の学習は行わない。

たとえば、次のように書いた場合：
「2 + 3 = 5」
「4 + 6 = 10」
そして「7 + 8 = ?」と尋ねると、モデルは「15」と答える。それは足し算を行っているからではなく、このシーケンスがそれが見てきたテキストの中で統計的に最も確率が高いからである。それは単に馴染みのあるパターンを延長しているのであり、計算における持続的な能力を獲得しているわけではない。

総括：AIの学習の多面的な姿

以下の表は、さまざまなアプローチ、学習を導く信号、およびそれらの実用的な用途を要約している。

人間とそのツールの中心的役割

AIの学習は自律的なプロセスではない：それは人間とコンピュータツールの一式との緊密な協力に依存している。モデルは何を学ぶべきか、どのように学ぶべきかを自分で「発見」するのではない。各段階を組織し、方向づけ、制御するのは人間のチームであり、巨大な量のデータを処理できる技術インフラストラクチャに依拠している。

人間の中心的役割

人間は、モデルの設計と学習のすべての重要な段階に介入する。人間なしでは、AIは何を学ぶべきか、どのように、なぜかを知らない。

• 彼らはアーキテクチャ（トランスフォーマー、深層ネットワーク）を設計する。
• 彼らはデータを選択し、クリーンアップする。
• 彼らは教師あり学習のための指示と回答を書く。
• 彼らはモデルを導くために選好を表明する（RLHF、DPO）。
• 彼らは目的、指標、限界、セーフガードを定義する。
• 彼らは品質を評価し、逸脱を修正し、方法を調整する。

人間なしでは、モデルには枠組みがない：明示的な目標も、成功基準も、学習を方向づける信頼できる信号もない。

ツールの不可欠な役割

コンピュータツールは、大規模な学習を可能にする。それらは反復的なタスクを自動化し、データを構造化し、かなりのハードウェアリソースを活用する。それらなしでは、現代のAIの学習は物理的に不可能であろう。

• それらは自己教師あり学習のためにトークンを自動的にマスクする。
• それらはデータを準備する（フォーマット、検証、重複排除）。
• それらは作業を数千の注釈者に分配する。
• それらは特定の報酬を自動的に検証する（数学問題、コンピュータテスト）。
• それらは数百のGPUでモデルを訓練する。
• それらは大規模に人間の選好を最適化する。

データの量は多すぎ、モデルは重すぎ、タスクは多すぎて手動で管理できない。したがって、AIの学習は、人間の意図と判断が強力なコンピュータツールによって増幅された、ある種の同盟の結果である。