DeepX、DX-M2をテープアウト 100B級LLMを5W未満で推論

韓国のエッジAIチップ企業DeepXは、第2世代AIアクセラレーター「DX-M2」のテープアウトを完了しました。最大100Bパラメータのモデルを5W未満でデバイス上推論できる設計で、SamsungのLPDDR5x-PIMとの組み合わせではLlama3.1-8Bのトークン毎秒が6.7倍になるとシミュレーションで見込んでいます。

DX-M2の仕様

DX-M2は20B〜100Bパラメータ(活性パラメータ約3B〜20B)のモデルを、モデルに応じて10〜30 tokens/sで実行する設計です。DeepXは、これを第1世代DX-M1と同じ5Wの電力枠で実現するとしています。CEOのLokwon Kim氏は、M1からの最大の変更点はメモリ帯域だと述べています。

項目	DX-M1	DX-M2
メモリ帯域幅	50 GB/s	150 GB/s
演算性能	—	80 TOPS
消費電力	—	5 W未満
対象	ビジョン用途	20B〜100B(活性3B〜20B)
推論性能	—	10〜30 tokens/s

DeepXによると、NPUの設計改善で電力効率が2倍になり、2nmプロセスへの移行でさらに2倍になりました。DX-M2は大規模なmixture-of-experts LLMを扱え、speculative decodingとTurboQuantをサポートします。

LPDDR5x-PIMによるGEMVオフロード

DeepXはSamsung Memoryと1年半かけて、DX-M2とSamsungのLPDDR5x-PIMの統合に取り組んできました。GEMV処理をメモリ内へオフロードする構成で、DeepXのシミュレーションではLlama3.1-8BのトークンがDX-M2単体比6.7倍になります。ただし総消費電力は2.7倍に増えます。PIMなしと同じ電力枠では2倍の性能向上を見込んでいます。

このモードにはコンパイラー側で「相当な手作業」が必要で、DeepXはPIM対応LPDDR5xのシミュレーションに基づくプロトタイプコンパイラーを動かしている段階です。LPDDR5x-PIMのサンプルは受領済みで、社内で動作と性能を検証しています。

LlamaはMetaが開発し、重みを公開しているLLMファミリーです。

提供時期とロードマップ

• DX-M2サンプル提供: 2027年3月
• DX-M2量産: 2027年秋
• DX-M3: 2028年。チップレットベースで、LPDDR6-PIMを使いINT8で1 ePOPSを目標とします。Kim氏は理論上5〜8倍の性能向上が得られるとしています。

DX-M1はすでに量産中で、100件超の発注を受けています。

ソフトウェアと対象市場

DeepXはロボット、ドローン、自動車、AI PCなど電力・熱制約の厳しい機器を対象にしています。ロボティクス向けにはDX-Newtonというライブラリーを開発しており、17の互換ライブラリーが稼働しています。戦略マーケティング担当ディレクターのTim Park氏は、APIをNvidia IsaacからNewtonの呼び出しに変えれば同じパイプラインをDeepXシステムで実行できると説明しています。またDeepXは、IntelのOpenVINOとDeepX SDKの統合を進めています。AMDとはKriaリファレンスボードと組み合わせたロボティクスプラットフォームの共同開発を協議しました。