人工知能 (AI) ソリューションの大手プロバイダーである Groq は本日、画期的な発表を行いました。同社は、ラージ言語モデル (LLM) である Llama-2 70B を、新たに開発された Groq LPU上でユーザーあたり 100 トークン/秒 (T/s) を超える驚異的な速度で実行することで、目覚ましい偉業を達成することに成功しました。 Groq シリコン アーキテクチャ用に定義されたカテゴリ。この成果は、Futurum Group の主席アナリスト兼創設パートナーである Daniel Newman を含む業界専門家の注目を集めました。 Newman 氏は、代替 AI ソリューションに対する需要が高まっていることを認識しており、パワー、パフォーマンス、使いやすさにおける Groq の利点を強調しています。 Groq は Llama-2 70B を非常に高速に実行し、すぐに供給できるため、スケーリングされた LLM 推論の実行可能な代替手段となります。カーネルレス コンパイラを使用して、数日で新しい LLM をコンパイルしてデプロイできる Groq の能力は、本当に印象的です。これにより、Groq Language Processing Unitシステムで 100T/s を超える、生成された言語応答に対する最速のユーザー エクスペリエンスを生成できるようになります。このレベルのパフォーマンスを大局的に見ると、ユーザーはわずか 7 秒でプレス リリース全体を作成したり、1 分強で 4,000 ワードのエッセイを作成したりできます。 Groq は超低レーテンシーとリアルタイム パフォーマンスを提供するだけでなく、グラフィックス プロセッサ ベースのシステムと比較してワットあたりのパフォーマンスも向上します。Groq の CEO 兼創設者である Jonathan Ross 氏は、チームの成果に誇りを表明し、Groq が AI 新興企業と既存のプロバイダーの両方の中で、ユーザーあたり 1 秒あたり 100 トークンを超える Llama-2 70B の実行を達成した最初の企業であることを強調しました。 。 Ross 氏はまた、現在のハードウェアにはさらなるパフォーマンスが期待できることを顧客に保証し、Groq AI パフォーマンスの将来に向けてリアルタイムの洞察とインタラクションを約束します。Groq が製品デモとリファレンス デザインをホストするプラットフォームである GroqLabs は、顧客が体験できるように Meta AI の Llama-2 70B LLM を展示しています。過去に、GroqLabs は、Llama 13B および 65B、Vicuna 13B および 33B などの他のオープンソース モデルを、拡張された Groq Language Processing Unit システム上で実証することに成功しました。これらのシステムは、最大 8 つの GroqRackコンピューティング クラスターで構成され、14nm シリコン コンピューティング上の 500 個を超える GroqChipプロセッサーを同時に利用します。 Groq の高速化された生産プロセスにより、開発に長時間遅延することなくモデルを大規模に展開できるため、顧客の貴重な時間とリソースが節約されます。将来的には、生成 AI ソリューションの将来は言語ベースになるでしょう。 LLM は、チャットボットやドキュメント分析を超えて、より幅広いアプリケーションに対応します。これらの画期的なモデルは、ライフ サイエンス、金融サービス、デジタル メディア、コンテンツ オーサリング、プログラミングなどの業界に革命を起こすでしょう。最終的に、それらはまだ想像されていない方法で人類を結び付けるでしょう。Groq のブランドおよびクリエイティブ担当副社長である Mark Heaps 氏は、90 年代のインターネットと、データやデバイスとのリアルタイム インタラクションに対する現在の需要との類似点を示しています。これらの期待に応えるためには、AI のパフォーマンスを向上させることの重要性を強調しています。 Groq はゲームのルール変更の最前線に立っており、ユーザーが AI システムとのリアルタイム インタラクション以外のものを許容する必要がなくなるようにしています。