Generatived(Beta)|生成AIの最新ニュースとトレンドを提供

Fastly が LLM パフォーマンスを強化する AI アクセラレータを発表
Generatived
24/12/17 4:30
Fastly Inc. は、大規模言語モデル (LLM) 生成 AI アプリケーションのパフォーマンスを向上させるために設計されたソリューションである新しい Fastly AI Accelerator の一般提供を発表しました。このアクセラレータは、応答時間を平均 9 倍改善すると報告されており、当初は OpenAI ChatGPT をサポートしていましたが、現在は Microsoft Azure AI Foundry にまで拡張されています。
Fastly の最高製品責任者である Kip Compton 氏は、AI 駆動型アプリケーションにおける速度の重要性を強調し、Fastly AI Accelerator によってエンドユーザーの待ち時間が大幅に短縮されると述べました。新しいAPIエンドポイントに更新することで、開発者は Fastly のセマンティック キャッシュ機能を利用できます。この機能により、繰り返しのクエリに対してキャッシュされた応答が高速化され、効率が向上し、コストが削減されます。
IDC のリサーチ担当副社長 Dave McCarthy 氏は、エッジ クラウド環境への Fastly の貢献を評価し、同社のセマンティック キャッシングの革新的な使用を強調しました。このアプローチは、 API呼び出しの数を減らすだけでなく、LLM 生成 AI アプリケーションの高いパフォーマンスとコスト効率を維持します。Fastly の戦略は、全体的なユーザー エクスペリエンスを向上させ、開発者のプロジェクトをサポートすることを目指しています。
既存の Fastly のお客様は、アカウントを通じて AI Accelerator を直接ご利用いただけます。このテクノロジーの活用に関心のある開発者は、Fastly の Web サイトにアクセスして詳細情報を入手し、サービスを開始できます。Fastly は、世界中のインターネット インタラクションの向上に取り組んでおり、トップ ブランドが安全で効率的なオンライン エクスペリエンスを提供できるようサポートし続けています。
