Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

カリフォルニア大学サンディエゴ校のHao AI Labは、最近、NVIDIA DGX B200システムを研究インフラに統合しました。この高度なAIシステムは、大規模言語モデル（LLM）推論に関する同ラボの研究を強化することを目指しています。この分野では、NVIDIA Dynamoを含む多くの実稼働プラットフォームが、DistServeなど、Hao AI Labの研究コンセプトを採用しています。

サンディエゴ・スーパーコンピュータセンターに設置されているDGX B200へのラボのアクセスは、カリフォルニア大学サンディエゴ校コミュニティに新たな研究の可能性をもたらします。ハリシオウル・データサイエンス研究所のハオ・チャン助教授は、このシステムの卓越したパフォーマンスがプロトタイピングと実験を大幅に加速させると強調しました。DGX B200を活用しているCurrentのプロジェクトには、テキストプロンプトから短い動画を迅速に生成することを目的としたFastVideoや、テトリスやスーパーマリオブラザーズなどの人気ゲームを使用してLLMをテストするベンチマークスイートであるLmgame-benchなどがあります。

これらのプロジェクトに加えて、Hao AI LabはLLMサービスのレーテンシーを削減する方法を研究し、リアルタイムのモデル応答性の向上を目指しています。博士課程のジュンダ・チェン氏は、DGX B200の機能を活用して低レイテンシLLMサービスの限界を押し広げることにラボが注力していることを強調しました。

DistServeチームが先駆的に開発した分離推論の概念も、当ラボの重要な焦点となっています。このアプローチは、ユーザーリクエストのレーテンシーを低く抑えながらシステムスループットを最適化し、「グッドプット」と呼ばれる新しいパフォーマンス指標を導入します。この指標はコストとサービス品質の両方を考慮しており、より効率的でユーザーフレンドリーなLLMサービングシステムを実現します。当ラボのプリフィル/デコード分離に関する研究では、これらのプロセスを異なるGPUに分離することでグッドプットを最大化し、応答品質を犠牲にすることなくワークロードのスケーリングを促進できることを実証しています。

Hao AI Labは、カリフォルニア大学サンディエゴ校のヘルスケアや生物学を含む様々な学部と連携し、NVIDIA DGX B200システムのパワーをさらに活用することを目指しています。これらの取り組みは、AIプラットフォームがいかにして分野横断的な研究とイノベーションを促進できるかを探る、より広範な取り組みの一環です。