AMD MI300Xによる次世代AI開発

最も強力なAIモデルを開発するレースと同時に、急成長するAI開発の仕組みが要求するデータワークロードを処理するための十分な能力を持つ機械を作成し配置するレースもあります。このレースの最前線には、NVIDIAとAMDという2つの注目すべき競合がいます。このブログでは、H100などのNVIDIA GPUについて広く取り上げてきましたが、AMD GPUに関する開発は詳細には取り上げていませんでした。AMD Instinct MI300X アクセラレーターのDigitalOceanのベアメタルGPUサービスでのローンチを皮切りに、今こそその状況を変える時です。

この記事では、DigitalOceanのこれらの新しい提供について詳しく見ていきます。まず、AMD GPUの機能と、なぜAMD GPUがディープラーニングモデルのトレーニングと推論に適しているのかについての簡単な概観から始めます。最後に、プラットフォームで利用可能なMI300Xアクセラレーター自体について深く掘り下げていきます。この作品が、すべての人がディープラーニングプロジェクトにAMD GPUを検討することを促進することを願っています。

AMD GPUの概要

AMDのGPUは、独自のアクセラレータアーキテクチャとソフトウェアスタック、特にROCmを活用して、深層学習のための非常に強力なツールです。最近では、彼らのInstinctシリーズのアクセラレータが特に注目を集めています。

AMD Instinct GPUはAMD CDNAアーキテクチャに基づいて構築されています。この設計は、AMD GPUの基本的な計算アクセラレーターユニットであるマトリックスコアテクノロジーを活用し、幅広い精度の能力をサポートします。この多様性により、これらのマシンは大規模なHPC（高性能計算）およびディープラーニングのワークロードを処理するために最適です。この精度能力は、非常に効率的なINT8およびFP8から、高性能コンピューティング（HPC）用のより要求の厳しいFP64までの範囲です。これを実現するために、AMDは最先端の相互接続技術を使用しています。「AMD Infinityアーキテクチャは、AMD Infinity Fabricテクノロジーとともに、AMD GPUとCPUのチップレット技術をHBM3メモリでスタックした単一デバイスおよびマルチデバイスプラットフォーム全体で、一貫した高スループットの統合を可能にします。」（出典）

これを可能にするのは、AMDのソフトウェアROCmです。ROCmは、NVIDIAのCUDAに相当し、ドライバー、開発ツール、APIを含み、AMDの開発における低レベルカーネルからエンドユーザーアプリケーションまでのGPUプログラミングを可能にします。AMDのGPUが開発においてますます普及するにつれて、特に大規模言語モデルの周りに、ROCmパッケージの堅牢なエコシステムが成長しています。

MI300Xを調査する

2023年末に初めてリリースされた、AMDの最も強力なGPUの一つがMI300Xです。AMD Instinct MI300X GPUは、次世代AMD CDNA 3アーキテクチャに基づいており、最も要求されるAIおよびHPCアプリケーションに対して高い効率とパフォーマンスを提供します。これらのGPUは、LLM技術のトレーニングと推論のために特に最適化されています。

MI300Xは、304の高スループット計算ユニットを備えており、それぞれがユーザーのカーネルをCDNAベースのアクセラレーター上で実行する責任を持っています。これにより、GPU全体でデータの同時処理が可能になります。これは、独自のチップ設計と相互接続のおかげで、最大5.3 TB/sの理論上のピークスループットを実現しています。これを支援するために、MI300Xは新しいINT8データ型のサポート、専門的な写真およびビデオデコーディング、そして比類のない192 GBのHBM3メモリといった、いくつかのAI特化機能も搭載しています。さらに、これらのGPUは、生成AI、機械学習、および推論を推進するマルチチップパッケージにおける最新のダイスタッキングとチップレット技術を特徴としています。

MI300Xは、AMDの前世代のリリースに対して優れたパフォーマンスを提供します。AMDによると、MI300Xは、FP16を使用した以前のAMD MI250Xアクセラレーターと比較して、スパース性を伴うFP8を使用することで、ピークAI/MLワークロード性能が最大13.7倍向上し、FP32計算におけるHPCワークロードに対しては3.4倍のピークアドバンテージを提供します。この前例のないパフォーマンスの飛躍は、AMDが提供する機械を改善するための指数関数的な開発を示しています。

MI300Xを使用する時期

MI3000Xは、競合他社の同様の機械に対していくつかの利点を誇っています。上のグラフィックからわかるように、NVIDIA H100とMI300X GPUの異なる精度フォーマットを使用したタスクにおける性能を比較しています。各レベルで、MI300XはTFLOPsで測定された処理速度が高いです。この情報に基づき、またROCmを使用して一般的に利用可能なことを考慮すると、MI300X GPUはNVIDIA H100に対する大規模言語モデルのトレーニングと推論の両方において優れた機械であることは明らかです。

一方で、PythonやROCmのために書かれたパッケージはCUDAのために書かれたものに比べてはるかに少ないです。その結果、より多様なML操作が進むためにはカーネルレベルのプログラミングが必要になるでしょう。一般的にエコシステムの上での作業が少なかったためです。ビデオモデルのトレーニングや推論のようなタスクを行う際、NVIDIAは設定や使用が簡単なことが多いです。ただし、MI300Xの非常に高いメモリは、これを行う価値をもたらすかもしれません。

締めくくりの考え

私たちの研究では、AMD GPUがAIとハイパフォーマンスコンピューティングの両方においてNVIDIA GPUに対する強力な代替手段を提供することがわかりました。特に、MI300Xはその驚異的に高いGPUメモリのおかげで、言語モデルのトレーニングと推論のための非常に強力なマシンです。

私たちは、すべての関係者がDigitalOceanの最先端のクラウドインフラストラクチャ上でMI300Xにアクセスするために、私たちの営業チームにお問い合わせいただくことをお勧めします！