言語翻訳、分類、セグメンテーションのためのトランスフォーマーの挑戦

紹介

他の言語にテキストを翻訳することの課題は、自然言語処理（NLP）の重要な柱の一つです。その主要な目標は、入力された内容の意図された意味を忠実に伝えるターゲット言語のテキストを生成することです。このタスクの目的は、英語の文を入力として受け取り、それをフランス語や他の希望する言語に翻訳することです。NLPの分野における言語翻訳の重要性のために、元々のトランスフォーマーモデルはその目標を念頭に置いて作成されました。

下の表に示されているのは、トランスフォーマーを使用し、言語翻訳タスクで良好な成績を収めているモデルです。これらのモデルは、多様な言語背景を持つ人々の間で情報と知識の流れを改善する上で重要な役割を果たします。ビジネス、科学、教育、社会的相互作用など、NLPの潜在的な影響の幅を考えると、言語翻訳タスクは研究の重要なテーマであることは明らかです。この表には、この分野の最先端を強化する可能性を示す多くのトランスフォーマーベースのモデルがあり、言語翻訳への新しい方法を開く扉を開いています（Chowdhary & Chowdhary, 2020; Monroe; 2017; Hirschberg; & Manning; 2015）。

前提条件

基本的なプログラミングスキル: PythonやPyTorch、TensorFlowなどのライブラリに精通していること。
NLPの基本を理解する: トークン化、埋め込み、シーケンスツーシーケンスモデルなどの概念。
トランスフォーマーに関する知識: 注意メカニズムとトランスフォーマーアーキテクチャの基本（例：エンコーダーデコーダー）。
データセットの準備: 翻訳、分類、またはセグメンテーションタスクのために清掃およびラベル付けされたデータセット。
計算リソース: 効率的なトレーニングと推論のためのGPUまたはTPUへのアクセス。
ツールキット: 事前トレーニング済みモデルに関するHugging Face Transformersや同様のライブラリに関する経験。

トランスフォーマー

2017年、Vaswaniら（Vaswani et al., 2017）は、自然言語処理の分野を大きく変えた最初のトランスフォーマーモデルを提案しました。バニラトランスフォーマーのパラダイムは、言語間の翻訳を目的として開発されました。トランスフォーマーモデルは、エンコーダーとデコーダーモジュールを含む点で先行モデルとは異なり、マルチヘッドアテンションとマスクされたマルチヘッドアテンションプロセスを使用しています。

入力言語のコンテキストはエンコーダーモジュールによって分析され、デコーダーモジュールはエンコーダーの出力を適用し、マルチヘッドアテンションをマスキングすることでターゲット言語に出力を生成します。トランスフォーマーモデルが並列計算を実行する能力は、単語を位置情報と一緒に処理できるため、その成功の一因となっています。これにより、言語翻訳に不可欠な長距離依存関係を管理でき、大量のテキストを処理する際に非常に効率的です。

XLM

これは、複数の言語で使用できる言語を事前学習するためのモデルです。モデルを構築するために、教師ありおよび教師なしの技術の両方が使用されています。教師なしアプローチは、マスクされた言語モデリング（MLM）や因果言語モデリング（CLM）を使用して翻訳タスクに非常に役立つことが示されています。しかし、翻訳の課題は、教師あり技術（Conneau & Lample, 2019）を使用することでさらに強化されました。さまざまな言語で自然言語処理タスクを実行できるXLMモデルは、クロスリンガルアプリケーションにとって貴重なリソースとなっています。XLMモデルは、翻訳業務における効率性から、自然言語処理の分野で広く使用されています。

BART

事前学習済みモデルであるBART（双方向かつ自己回帰型トランスフォーマー）は、主に腐敗したテキストの修正を目的としています。これは二つの事前学習ステップを持ち、最初はテキストにノイズの腐敗を導入し、二つ目は腐敗したテキストから元のテキストを回復することに焦点を当てています。BARTは、顕著な精度でテキストを生成、翻訳、理解するために、エンコーダーとデコーダーモジュールを含むトランスフォーマー翻訳モデルを使用しています（Lewis et al., 2020）。その自己回帰的な特徴により、出力トークンを逐次生成するのに適しており、双方向アプローチは、前のトークンと次のトークンから学ぶことを可能にします。これらの特徴により、BARTは幅広いNLPアプリケーションに適応可能なモデルとなっています。

スイッチトランスフォーマー

スイッチトランスフォーマーモデルは、NLPの世界で比較的新しい開発であり、その印象的な精度と多様性から多くの関心を集めています。これは、ゲーティングメカニズムと置換ベースのルーティングシステムという2つの主要な構成要素を持っています。置換ベースのルーティングメカニズムのおかげで、このモデルは入力シーケンスのどの部分に焦点を当てるかを決定するルーティング戦略を展開することができます。

モデルは、各入力に対してシーケンスのどの部分に焦点を当てるかを動的に決定できるため、異なる長さの入力を処理できます。このモデルは、ゲーティングメカニズムのおかげで、分類とセグメンテーションを実行することができます。ゲーティングメカニズムは、全体の入力シーケンスからの情報の組み合わせに基づいて予測を行うように訓練されています。これにより、モデルは全体の入力シーケンスに対してラベルを予測する分類タスクや、入力シーケンスの各個別部分に対してラベルを予測するセグメンテーションタスクを実行することができます。これは、分類とセグメンテーションに関する次のセクション（Fedus et al., 2021）で説明されています。

分類とセグメンテーション

自然言語処理（NLP）は、大量のテキストデータの整理と分析を自動化するために、テキストの分類とセグメンテーションに依存しています。テキストには、感情、トピック、目的などの内容に基づいてタグやラベルが適用されます。コンテンツフィルタリング、情報検索、推薦システムなどのアプリケーションは、複数のソースからのテキストを分類するこの方法から恩恵を受けることができます。テキストを文、単語、トピックなどの意味のあるチャンクにセグメント化してさらに処理することが、テキストセグメンテーションの本質です。重要な自然言語処理（NLP）アプリケーションはこのプロセスに大いに依存しており、広く研究され、文献が書かれています（Chowdhary & Chowdhary, 2020; Kuhn, 2014; Hu et al., 2016）。

チャフォーマー

このトランスフォーマーベースのモデルは、バイトレベルの文字から潜在的なサブワードを直接学習するための軽量な方法である勾配ベースのサブワードトークン化（GBST）を導入しています。このモデルは英語および他のいくつかの言語で利用可能であり、長いテキストドキュメントの分類を含む言語理解タスクで優れたパフォーマンスを示しています（Tay et al., 2022）。

ソース

自然言語処理の分野では、BERTやGPTのような大規模データセットで訓練された事前学習モデルがますます人気を集めています。しかし、これらのモデルの開発にかかるコストや環境負荷が注目を集めています。これらの問題を解決するために、スイッチトランスフォーマーが開発されました。これは、計算コストを大幅に増加させることなく、より包括的なモデルを可能にします。トリリオンパラメータのモデルは、複数のFFNを含むスイッチ層でフィードフォワードニューラルネットワーク（FFN）を置き換えることにより実現されます。

Switchトランスフォーマーの計算コストは、モデルのサイズが増加しても以前のモデルと一貫しています。実際、Switchトランスフォーマーは11の異なるタスクでテストされ、すべての分野で印象的な結果を示しています（Fedus et al., 2021）。これには、翻訳、質問応答、分類、要約が含まれます。

GPTおよびそのバリアント

これらのモデルは、分類、セグメンテーション、質問応答、翻訳など、さまざまな自然言語処理（NLP）タスクに使用できます。GPTとそのバリエーションについて話しましょう。トランスフォーマーのデコーダーブロックにのみ焦点を当てることで、生成的事前訓練変換器（GPT）モデルは、NLPにおけるトランスフォーマーの使用を大幅に進展させます。教師なしの事前訓練と教師ありのファインチューニング技術を組み合わせることで、GPTは言語理解に対して半教師ありのアプローチを採用しています（Radford et al.、2018）。2019年にGPTモデルの成功に続いて、GPT-2と呼ばれる事前訓練されたトランスフォーマーベースのモデルが登場しました。1. 50億のパラメータが導入されました。このモデルは、トランスフォーマーの事前学習版（Radford et al., 2019）を大幅に改善しました。次の年（2020年）には、GPTとして知られる最も先進的な事前学習版が提供されました。これは1750億のパラメータを持っており、以前の非スパース言語モデルの10倍のサイズです。BERT（Brown et al., 2020）のような事前学習モデルとは異なり、GPT-3は勾配更新やファインチューニングの必要なく、さまざまなタスクで良好なパフォーマンスを示します。

T5

下流の自然言語処理（NLP）タスクでの性能を向上させるために、T5トランスフォーマーモデルは「テキスト・トゥ・テキスト転送トランスフォーマー」の略称で、「コロッサル・クリーン・クロールド・コーパス」（C4）というデータセットを導入しました。T5は、同じ構成を使用して多くの自然言語処理（NLP）タスクを実行するために訓練できる汎用モデルです。事前学習の後、このモデルはさまざまなタスクにカスタマイズでき、さまざまなタスク特化モデルと同等の性能を達成します（Raffel et al., 2020）。

結論

トランスフォーマーは、言語翻訳の処理に使用できます。彼らは自然言語のような逐次データのモデリングに優れており、自己注意メカニズムを使用して入力シーケンス間で情報を伝達します。これにより、彼らは特に逐次データのモデリングに効果的です。Hugging Face、TensorFlow、PyTorch、Huaweiは、言語翻訳の目的でトランスフォーマーを使用するために利用可能なライブラリとモデルの一部の例に過ぎません。これらのライブラリには、さまざまな言語翻訳アプリケーション向けの事前学習済みトランスフォーマーモデルが含まれており、モデルのファインチューニングや性能評価のためのツールも提供されています。

参照

トランスフォーマーの調査: https://arxiv.org/abs/2106.04554