ウェブサイト検索

大規模概念モデルの解説

紹介

大型言語モデル（LLM）は、要約、翻訳、コード生成などのタスクを支えることでAIを変革しました。これらのモデルはトークンベースの処理に依存しており、テキストをサブワードや文字に分解して内容を理解し生成します。このアプローチは効果的ですが、人間が抽象的な高レベルの概念を用いて推論しコミュニケーションを取る方法を模倣するには限界があります。

メタの論文「大型概念モデル：文表現空間における言語モデル」は、根本的な変化を提案しています。この論文は、トークンではなく概念を処理することを提案しています。大型概念モデル（LCM）は、概念埋め込み空間で動作しており、言語モデルが意味を理解し、表現し、生成する方法を再定義しています。

重要なポイント

  • 概念をトークンより重視: LCMは従来のトークンごとの処理から離れ、概念的なレベルで言語を理解し生成することに焦点を当てています。
  • より良い長文の理解: より広いアイデアで推論することにより、LCMは現在のモデルよりも長いテキスト入力をより効果的に処理します。
  • 改善された推論能力: その構造は、論理的なステップや深い理解を必要とするタスクに役立つ、より高度な層状思考をサポートします。
  • 人間のようなAIに近づく: メタの研究により、AIシステムがより人間のように考えるようになり、インタラクションがよりスムーズで賢く、直感的になることが可能になります。

トークンから概念へ

LLMにおけるトークン化の役割

従来のLLM（大規模言語モデル）であるGPT-4では、トークン化が最初のステップです。たとえば、文「トークン化は最終的に死ぬのだろうか？」は、「Will」、「token」、「ization」のようなサブワードトークンに分割されます。これらのトークンはその後、Transformerモデルに送られ、応答が生成されます。

問題

しかし、このアプローチは:

  • 意味のある表現を断片的な部分に分ける
  • 任意の単位で動作し、意味的な結束を無視する
  • 長い文脈の推論と階層的な計画に苦労しています

解決策: 概念

概念は意味の高次の表現を指します。それらは言語特有のトークンに結びついておらず、テキスト、スピーチ、またはマルチモーダル信号から導き出されることができます。LCMは文を統一された意味の単位として処理します—概念—これにより:

  • 長い文脈のより良い処理
  • より抽象的な推論
  • 言語およびモダリティの独立性

大規模概念モデルとは何ですか？

従来のAIモデル、例えばChatGPTは、過去の単語（トークンと呼ばれる）に基づいて次の単語を予測することで機能します。しかし、人間はそのようには考えません - 私たちは完全なアイデアや文で考え、意味を層で築き上げます。

大規模概念モデル (LCM) は、単語やトークンレベルで動作する従来の大規模言語モデル (LLM) を超える新しいタイプのAIモデルです。次の単語を予測することに焦点を当てるのではなく、LCMは、完全な文や意味などの高次の抽象的なアイデアや「概念」を扱い、コンテンツを理解し生成します。

このプロセスは、人間が考え、計画する方法に大いにインスパイアされています。最初にアイデアの概要を示し、その後詳細を埋めていくのです。LCMは階層的推論アプローチを使用します。これは、まず全体像を把握し、その後具体的な部分に焦点を当てることで、より一貫性があり構造的な出力を可能にします。現在のLLMとは異なり、主に英語ベースでデータが重たいのではなく、LCMはSONARのような文レベルの埋め込みを使用することで、より効率的で言語に依存しないことを目指しています。

最小公倍数はどのように機能しますか？

LCMは三段階のプロセスに従います。

  • コンセプトエンコーダー（SONAR）：入力（テキストまたは音声）は文に分割されます。各文は“コンセプトエンベディング”に変換されます。このプロセスには、200の言語で動作し、テキストと音声の両方をサポートするSONARというツールが使用されます。

  • 大型概念モデル (LCM): 概念空間で完全に動作するトランスフォーマーです。出力概念を生成するために概念のシーケンスについて推論します。概念埋め込みはLCMによって処理され、要約や翻訳などのタスクを実行します。その結果、新しい概念埋め込みのセットが生成されます。

  • コンセプトデコーダー (SONAR): コンセプト埋め込みを自然言語（または音声）出力に戻します。

推論ステップは、概念のみに対して行われるため、単語やトークンに対しては行われず、モデルは入力/出力言語やそれが音声かテキストかを気にする必要はありません。

このアーキテクチャは、異なるモダリティ間での抽象的推論を促進するジョイントエンベディング予測アーキテクチャ（JEPA）に似ています。

なぜこのアプローチがより良いのですか？

このアプローチは、追加のトレーニングを必要とせずに任意の言語や音声/テキスト入力を処理できます。従来のLLMよりもずっと速く、リソースを少なく抑えられます。これは、より少なく、より意味のあるチャンク（トークンの代わりに概念）で機能するからです。さらに、ゼロショット一般化もサポートしているので、すべての言語やタスクのために再トレーニングする必要はありません。

SONAR埋め込み空間

この作業の背後にある動機は、個々の単語やトークンよりも高く、より意味のあるレベルでの推論を可能にすることです。これを達成するために、著者たちはSONARを使用しています。SONARは、全体の文を意味的概念として表現する強力な埋め込みシステムです。SONARは、200の言語にわたる機械翻訳、デノイジング、および類似性の目的でトレーニングされており、意味的類似性タスクにおいて非常に優れたパフォーマンスを発揮します。また、教師－生徒のアプローチを通じて音声にも対応し、音声入力には76の言語、音声出力には英語をサポートしています。大型概念モデル（LCM）は、これらのSONAR概念埋め込みの上で直接動作するため、アメリカ手話用の実験的エンコーダーを含む、複数の言語およびモダリティにわたって推論を行うことができます。これにより、LCMは従来のLLMよりも包括的で効率的、かつスケーラブルになります。

基本最小公倍数: 素朴なアプローチ

Base-LCMは、現行の言語モデルのように一度に一単語を予測するのではなく、文レベルの埋め込み（完全なアイデアや概念を表す）を生成するために設計されたモデルです。これは、以前の文埋め込みを考慮して次の文埋め込みを予測する方法を学習することによって機能します。これは、会話や段落を続けるようなもので、アイデアレベルで行われます。

これを行うために、モデルはSONAR埋め込みを使用します。これは、完全な文を連続空間で表現します。しかし、これらの埋め込みはモデルが使用する内部形式とは非常に異なるため、強調正規化され、モデルの隠れ空間にマッピングされます。「PreNet」を使用して。新しい埋め込みが生成された後、彼らは「PostNet」を使用して再変換されます。

このモデルのトレーニングは、次の文の埋め込みをできる限り正確に推測するように教えることを意味します。これは、予測したものと真の次の埋め込みとの間の平均二乗誤差（MSE）を最小化することによって行われます。実際の使用中に生成を停止すべきタイミングを知るために、モデルは「テキストの終わり」の文を認識するようにトレーニングされており、それを見たり、新しい文の埋め込みが前のものとあまりにも似ている場合は生成を停止します。

さらに、文には多くの有効な次のアイデアが存在する可能性があるため（DALL-Eで一つのプロンプトに対して多くの絵が合致するのと同様に）、著者たちは次の文生成における不確実性をより良く扱うために、拡散モデルおよび量子化の探求も行っています。

制限

ベース-LCMは、単一の「正しい」次の概念を仮定しており、これは非現実的です。なぜなら、文脈には多くの有望な概念的続きが存在する可能性があるからです。

拡散ベースのLCM: 曖昧さのより良い扱い

なぜ拡散なのか？

画像生成における拡散モデルに触発されたLCMは、単一の固定されたものではなく、次の概念の可能性のある分布を予測するために類似のアプローチを使用します。拡散ベースのLCMは、ランダムノイズを意味のある文に徐々に変換することによって文レベルの概念（埋め込み）を生成する高度なモデルであり、これは拡散モデルが画像を生成する方法に似ています。

彼らはこれを二つのステップで行います。最初に、クリーンなデータにノイズを加え（「前向きプロセス」）、時間の経過に応じてどれだけノイズが加えられるかを制御するスケジュールを使用します。そして、生成中（「逆向きプロセス」）には、元の文のエンベッディングを回復するために、そのノイズを段階的に除去する方法を学びます。この逆向きプロセスはデータ内の学習したパターンに導かれ、条件付き（前の文脈に基づく）または無条件のいずれかです。モデルは、コサイン、二次関数、またはシグモイドのような特殊なノイズスケジュールを使用して、異なるノイズレベルでどのように学習するかを制御します。訓練中、モデルは単純または重み付けされた損失を用いて、ノイズのあるバージョンから元のデータを再構築する方法を学びます。

推論時には、分類器なしのガイダンス、ステップ選択、エラーのスケーリングなどのさまざまな手法が、生成される文の質と多様性を向上させるのに役立ちます。この拡散ベースの推論を実装するために、One-TowerとTwo-Towerの2つのアーキテクチャが提案されています。

画像ソース

二つのアーキテクチャ

ワンタワー拡散LCM

One-Tower拡散LCMは、1つのTransformerを使用して、ノイズのある文のバージョンからクリーンな文の埋め込み（文の表現）を予測するために設計されたモデルです。トレーニング中、クリーンな文の埋め込みとノイズのある文の埋め込みが混在して入力されます。これらの埋め込みは交互に配置されているため、モデルは両方のタイプを確認できますが、予測を行う際にはクリーンなものにのみ焦点を当てるよう指示されます。各ノイズのある埋め込みには、どれだけのノイズが追加されたかに関する情報（「拡散時間ステップ」）も含まれており、これが入力に追加されます。 このモデルは因果注意を使用しており、過去の文を見ることはできても未来の文を見ることはできないため、テキストの自然な流れを維持します。時には、モデルの一部が文脈なし（無条件）で訓練されることがあり、これにより推論時に文脈に従うことと創造的であること（クラスファイアフリーガイダンスを使用）とのバランスを取ることができます。このアプローチにより、モデルはノイズを取り除き、一度に文の埋め込みの全シーケンスを生成することを効率的に学習できます。

ツータワー拡散LCM

ツー・タワー拡散LCMは、コンテキストを理解するという仕事と次の文の埋め込みを生成するという作業を分離します。

これが簡単に説明するとこうなります:

  • タワー1：コンテクスチュアライザー：これは、すべての過去の文の埋め込み（x<n）を読み取り、因果的注意を使用してエンコードするトランスフォーマーです。これは、前を見ずに順番に1つずつ読み取ることを意味します。これにより、過去のコンテキストの意味のある要約が作成されます。

  • タワー2: デノイザー：この2番目のトランスフォーマーは次の文の埋め込みのノイズのあるバージョンを処理し、クリーンバージョン（x₀ₙ）を復元しようとします。これは、複数のデノイジングステップを通じて徐々に行われます。このプロセスを助けるために、最初のタワーから生成されたコンテキストを見つめるためにクロスアテンションを使用しています。

  • 適応型レイヤーノルム (AdaLN): デノイザーは、各ステップで入力がどれほどノイズがあるかに基づいて内部計算を適応させます。これは、拡散プロセスのタイムステップに応じて、各層の出力をどの程度スケーリング、シフト、およびブレンドするかを学習する小規模ネットワークを使用して行います。これにより、モデルは異なるノイズレベルにおける挙動を調整することができます。

  • トレーニング設定: モデルが学習するのを助けるために、トレーニング中:

    • 文脈がわずかに変更されて、各予測が過去の文のみを見るようになっています。
    • ゼロベクトルは、最初の文を予測するためにシーケンスの開始時にプレースホルダーとして使用されます。
    • いくつかのコンテキスト行がランダムに削除され（確率pcfgで）、モデルはコンテキストなしでのノイズ除去を学習します。これにより、推論中のクラス分類器不要のガイダンスがサポートされます。

要するに、Two-Towerモデルは、最初に1つのトランスフォーマーを使用してコンテキストを理解し、その後、別のトランスフォーマーを使用してそのコンテキストを参照しながらノイズのあるバージョンを除去することで次の文を生成します。これらのアーキテクチャにより、複数の有効な出力が可能となり、生成の多様性と柔軟性が向上します。

評価と結果

大規模概念モデル (LCM) の効果を評価するために、研究者たちは特に 要約タスク に焦点を当てた包括的な評価を実施しました。モデルは、エンコーダ-デコーダモデル と デコーダ専用の大規模言語モデル (LLM) を含むいくつかの強力なベースラインと比較されました。評価は、自動的な指標と人間に合わせた分析方法の両方を用いて行われました。

評価は複数のLCMのバージョンを比較します:

  • Base-LCM – 次の概念を決定論的に予測するナイーブな自己回帰バージョン。
  • 拡散ベースのLCM - ワンタワーおよびツータワーアーキテクチャを含み、概念を確率的に生成します。
  • 量子LCM – 論文で詳しく説明されていないバリアントですが、比較のために含まれています。
  • smaLLaMA – 追加のパフォーマンスベースラインとして使用される指示調整されたLLMです。

最高のパフォーマンスを発揮したLCMモデルは、その後70億のパラメータにスケールアップされ、以下のような人気のLLMと比較されました:

  • T5-3B – 要約用にファインチューニングされたエンコーダーデコーダーTransformerです。
  • Gemma-7B、LLaMA 3.1-8B、および Mistral-7B-v0.3 – デコーダ専用の、指示ファインチューニングされたLLMです。

評価に使用される指標

この論文では、自然言語生成モデルを評価するために一般的に使用される自動メトリクスの範囲が採用されました：

  • ROUGE-L: 生成された要約と参照要約の間の最長共通部分列を測定します。
  • 一貫性: 論理的な流れとテーマの一貫性を評価する分類子ベースの指標です。
  • OVL-3（重複スコア）: サマリーがどれほど抜粋的または抽象的であるかを定量化します。
  • 繰り返し率: 生成された出力における繰り返された単語やフレーズの頻度を測定します。
  • CoLA（言語的受容コーパス）: 言語的基準に基づいて文法的受容性を評価します。
  • SH-4（出典の帰属）: 生成された要約がどれだけ元の出典にコンテンツを帰属させているかを評価します。
  • SH-5（セマンティックカバレッジ）：ソースから要約へのセマンティックコンテンツ転送の完全性を測定します。

LCMのインストールと実行

Metaの大型コンセプトモデルはfairseq2に依存しており、uvまたはpipを介したインストールをサポートしています。

オプション1: uvを使用する（推奨）

Set up environment and install CPU dependencies
uv sync --extra cpu --extra eval --extra data

For GPU support (example: Torch 2.5.1 + CUDA 12.1)
uv pip install torch==2.5.1 --extra-index-url https://download.pytorch.org/whl/cu121 --upgrade
uv pip install fairseq2==v0.3.0rc1 --pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/rc/pt2.5.1/cu121 --upgrade

オプション2: pipを使用して

Install pip dependencies
pip install --upgrade pip
pip install fairseq2==v0.3.0rc1 --pre --extra-index-url https://fair.pkg.atmeta.com/fairseq2/whl/rc/pt2.5.1/cpu
pip install -e ".[data,eval]"

データの準備

LCMはSONARからの文レベルの埋め込みを使用して、テキストデータで訓練します。

Prepare Wikipedia data with SONAR and SaT
uv run --extra data scripts/prepare_wikipedia.py /output/dir/for/the/data

ノーマライザーの適合

python scripts/fit_embedding_normalizer.py \
  --ds dataset1:4 dataset2:1 dataset3:10 \
  --save_path "path/to/new/normalizer.pt" \
  --max_nb_samples 1000000

事前学習されたLCM

オプションA: SLURM (submitit)を使用してMSE LCMをトレーニングする

python -m lcm.train +pretrain=mse \
  ++trainer.output_dir="checkpoints/mse_lcm" \
  ++trainer.experiment_name=training_mse_lcm

オプションB: ローカルでトレイン（Torchrun)

CUDA_VISIBLE_DEVICES=0,1 torchrun --standalone --nnodes=1 --nproc-per-node=2 \
  -m lcm.train launcher=standalone \
  +pretrain=mse \
  ++trainer.data_loading_config.max_tokens=1000 \
  ++trainer.output_dir="checkpoints/mse_lcm" \
  +trainer.use_submitit=false

二塔拡散LCMのファインチューニング

CUDA_VISIBLE_DEVICES=0,1 torchrun --standalone --nnodes=1 --nproc-per-node=2 \
  -m lcm.train launcher=standalone \
  +finetune=two_tower \
  ++trainer.output_dir="checkpoints/finetune_two_tower_lcm" \
  ++trainer.data_loading_config.max_tokens=1000 \
  +trainer.use_submitit=false \
  ++trainer.model_config_or_name=my_pretrained_two_tower

LCMの評価

python -m nltk.downloader punkt_tab

torchrun --standalone --nnodes=1 --nproc-per-node=1 -m lcm.evaluation \
  --predictor two_tower_diffusion_lcm \
  --model_card ./checkpoints/finetune_two_tower_lcm/checkpoints/step_1000/model_card.yaml \
  --data_loading.max_samples 100 \
  --data_loading.batch_size 4 \
  --generator_batch_size 4 \
  --dump_dir evaluation_outputs/two_tower \
  --inference_timesteps 40 \
  --initial_noise_scale 0.6 \
  --guidance_scale 3 \
  --guidance_rescale 0.7 \
  --tasks finetuning_data_lcm.validation \
  --task_args '{"max_gen_len": 10, "eos_config": {"text": "End of text."}}'

評価出力（ROUGEメトリックや予測を含む）は./evaluation_outputs/two_towerに保存されます。

主な発見

a. 要約の質 拡散ベースのLCMは、ベースLCMを両方のROUGE-Lおよびコヒーレンスメトリクスにおいて大幅に上回りました。指示ファインチューニングされたLLMと比較して、ツータワーLCMは、特に意味的抽象を必要とするタスクにおいて、同等または優れた結果を達成しました。7BパラメータLCMは、要約タスク用に特別に設計および調整されたモデルT5-3Bと競争力がありました。

b. 抽象的要約と抽出的要約 LCMは従来のLLMよりも抽象的な要約を生成する傾向があります。これは、OVL-3スコアが低いことから明らかで、LCMは単に入力からフレーズをコピーするのではなく、概念的なレベルでコンテンツを言い換えたり要約したりしていることを示唆しています。

c. 繰り返し処理 LCMは繰り返し率が低く、流暢で自然な出力を生成するための重要な利点を示しました。LCMの繰り返し率は人間が書いた要約に近く、生成中の意味的計画の向上を示しています。

d. 流暢さと言語の質興味深いことに、LCMは意味的な指標では良好な成績を収めた一方で、流暢さの指標であるCoLAのスコアでは若干低い結果を示しました。これは、モデルが意味のある要約を生成するものの、時折文法やスタイルにおける不一致を生じる可能性があることを示唆しています。これは、トークンレベルでの厳密な制御がない埋め込み空間で操作することの副作用かもしれません。

e. ソース帰属と意味のカバレッジ ソース帰属（SH-4）および意味のカバレッジ（SH-5）において、LCMはまずまずのパフォーマンスを発揮しましたが、いくつかのモデルベースの評価バイアスがLLMからのトークンレベルの生成を優遇した可能性があります。それにもかかわらず、LCMはコア意味の忠実性を維持し、概念的レベルでソースコンテンツと整合する可能性を示しました。

制限

大規模コンセプトモデル（LCM）は大きな期待を持たれていますが、いくつかの重要な制限があります。

まず、モデルは短く適切に整列された翻訳データで訓練されたSONARエンベディング空間に依存しています。これにより、ローカルな意味を捉えるのには優れていますが、関連の薄い文やリンク、数字、コードのようなより複雑な入力を理解するには信頼性が低くなります。

もう一つの課題は、フrozen encoderの使用です。これによりトレーニングが効率的になりますが、モデルが概念レベルモデリングの具体的なニーズに適応する能力が制限されます。エンドツーエンドでトレーニングされたエンコーダーは、より良い意味理解を提供するかもしれませんが、より多くのデータと計算が必要になります。

現在のLCMが文全体を単一の「コンセプト」として扱う方法は問題を引き起こす可能性があります。長い文は複数のアイデアを含む場合があり、それを分解することは必ずしも簡単ではありません。これにより、固定サイズの埋め込みを使用して正確に表現することが難しくなります。

データのスパース性の問題もあります。トレーニングコーパスのほとんどの文はユニークであり、モデルが一般的なパターンを学ぶのが難しくなっています。より高レベルの意味的表現は役立つかもしれませんが、重要な詳細を失うというトレードオフがあります。

最後に、拡散技術を用いてテキストをモデリングすることは依然として難しいです。テキストは連続ベクトルとして表現できますが、最終的には離散的な構造です。Quant-LCMはこれに対処しようとしていますが、SONARは量子化のために最適化されておらず、非効率が生じています。

結論

大規模概念モデル（LCM）は、AIが言語を理解し、扱う方法において重要な前進を示しています。トークンと呼ばれるテキストの小さな部分に焦点を当てるのではなく、LCMは全体像—概念や意味—を見ることに重点を置いています。これにより、より長い会話をよりよく理解し、より論理的に考え、テキストや画像のような異なるデータタイプや複数の言語をサポートすることができます。

メタのLCMに関する研究は、未来のAIがどのようなものになるかを示しています：よりスマートで人間のように振る舞うシステムは、文脈や意味を真に理解することができます。これらのモデルは、AIとのインタラクションを改善して、より自然で、正確で、役立つものにする可能性を秘めています。この技術が成長するにつれて、コミュニケーション、創造性、問題解決のためのより強力なツールが多くの分野で生まれる可能性があります。

参考文献とリソース

  • メタによる大規模概念モデル（LCMs）：LLM後のAIの時代？
  • 公式GitHubリポジトリ
  • 原著論文
  • メタ大規模概念モデル（LCM）：LLMの終わりですか？

関連記事: