生成AIの仕組み: テキスト、画像、コード生成を詳しく解説

異なる出力をカバーしていますが、テキストジェネレータ、画像ジェネレータ、コーディングアシスタントは共通の基盤を共有しています: 大量のデータで学習したニューラルネットワークは統計的パターンを学習し、その後、保存された回答を取得するのではなく、それらのパターンを使用して新しいコンテンツをピースバイピースで構築します。

テキスト生成: 次のトークンの予測

チャットボットの背後にあるようなLarge Language Modelsはまずテキストをトークンと呼ばれる小さな単位に分割します。トークンは単語全体または単語の一部です。IBMのトランスフォーマーモデルに関する技術説明書によると、2025年3月28日に公開されました。各トークンはその意味を表す数値ベクトル(埋め込みと呼ばれる)に変換され、トークンの文内での位置をエンコードするために2番目のベクトルが追加されます。

コアメカニズムはセルフアテンションです: すべてのトークンに対して、モデルはIBMによると、トークンごとに3つの学習されたベクトル(クエリ、キー、値)を使用して、入力内のすべての他のトークンがどの程度関連しているかを計算します。これにより、モデルは古いアーキテクチャのように単語ごとに読むのではなく、テキスト内のどこからでも一度にコンテキストを重み付けすることができます。GPTなどのモデルの背後にあるアーキテクチャであるデコーダのみのトランスフォーマーは、その後、テキストを自動回帰的に生成します。つまり、一度に1つのトークンを予測し、そのトークンを次のトークンを予測するために戻します。IBMが説明します。

Anthropicのサイトで「大規模言語モデルの思考のトレーシング」として公開されたAnthropicの研究は、この次トークンプロセスが外見から見えるよりも多くの計画を含むことができることを発見しました。1つの実験では、Claudeモデルが詩の行を書いていたとき、行の残りを書く前に、可能なライミングワードに対応する内部特徴を活性化し、その後、その単語に到達するために文言を調整しました。別のテストでは、モデルは複数ステップの質問に答えました。例えば、ダラスを含む州の首都を特定することなど。答えに直接ジャンプするのではなく、最初に「テキサス」の内部表現を活性化し、次に「オースティン」を別々に取得しました。Anthropicが報告しました。

Anthropicはまた、モデルの内部計算とそのコンピュテーションの説明の間のギャップを発見しました: 数学計算をどのように実行したかを尋ねられたとき、Claudeは標準的な方法を説明しましたが、Anthropicがトレースした内部プロセスは異なる並列アプローチを使用し、粗い推定と最終数字の個別の追跡を組み合わせました。

画像生成: ステップバイステップでノイズを除去

GoogleのImagenを含むほとんどの現代的なテキスト・ツー・イメージツールは、テキスト生成とは反対の方向で機能する拡散モデルを使用します。GoogleのImagenの研究ページによると、システムはテキストプロンプトを埋め込みに変換する凍結された大規模言語モデル(T5-XXL)で開始します。これはテキストモデルで使用されるのと同じ種類の数値表現です。Googleの研究者は、このテキストエンコーダのサイズをスケーリングアップすることが、モデルの画像生成部分をスケーリングアップするよりも画像品質を改善することに注目しました。

その後、拡散モデルはテキスト埋め込みを取り出し、小さな64x64ピクセルの画像を生成します。これは、ランダムな視覚ノイズから始まり、反復的な「ノイズ除去」プロセスを実行することによって行われます。モデルはテキスト埋め込みによってガイドされながら、繰り返しノイズを予測して削除し、Googleの説明によると、コヒーレントな低解像度の画像が残るまでです。その後、画像はさらに2つの拡散モデルを使用して拡大されます。最初に256x256ピクセルに、次に1024x1024ピクセルに拡大されます。Googleが「スーパーレゾリューション拡散」と呼ぶカスケードです。

モデルがテキストプロンプトをより厳密に従えるようにするために、Googleの研究ページは、Imagenが「新しい閾値拡散サンプラー」を導入し、分類器フリーガイダンスとして知られている方法と一緒に使用されていることを述べています。これらは合わせて、はるかに大きなガイダンス重みの使用を可能にします。Googleは、人間の評価では、評価者はImagenの出力をテキストプロンプトと一致するための実際の参照写真と比較できると判断し、Googleが構築したDrawBenchというベンチマークで、DALL-E 2を含む他のテキスト・ツー・イメージシステムよりも優先することを報告しました。

コード生成: コンテキストから構築されたサジェスチョン

GitHub Copilotなどのコーディングアシスタントは、一般的なテキストに使用されるのと同じトランスフォーマーベースの次トークン予測アプローチを適用しますが、プログラミングコードに特別に訓練され、開発者のワークスペースに適応しています。GitHubのドキュメンテーションによると、Copilotは2つの主要なモード: 開発者が入力する際にコードを提案し、質問に答えたり、コードを説明する「アシスティブ」モードと、開発者が目標を説明し、Copilotが複数のステップを通じて機能する「エージェンティック」モードで動作します。リポジトリを調査し、計画を提案し、ファイルを編集し、タスクを完了するためのツールを実行します。

GitHubのドキュメンテーションは、Copilotの機能は、リポジトリ固有の指示と外部ツール統合などのカスタマイズにも及び、一部の機能は非同期に機能し、コーディングエージェントが変更を加え、プルリクエストを開いたり更新したりすることができることを述べています。定数の監督なしに。GitHubは、その現在のドキュメンテーションに従って、使用されるすべてのモデルまたはコンテキストがどのように選択され、基礎となるモデルに渡されるかの完全な技術詳細を公開していません。

3つの比較方法

3つのアプローチはすべてトレーニングデータに依存しています: モデルの内部パターンは、トレーニング中に露出したテキスト、画像、またはコードから来ており、その出力は、単一のトレーニング例の複製ではなく、それらの学習されたパターンで形作られた新しく生成されたシーケンスまたは画像です。