AIインフラストラクチャー企業であるAnyscaleは、開発者がアプリケーションに大規模言語モデル（LLM）を組み込めるサービスであるAnyscale Endpointsを開始した。このサービスは、LLMと生成AIに関する主要なコンファレンスであるRay Summit 2023で発表された。エンドポイントは、同様の独自ソリューションに比べてコスト効率が大幅に高く、特定のタスクのコストが最大10分の1であると宣伝されている。エンドポイントを使用すると、開発者はカスタムAIプラットフォームを開発することなく、運用アプリケーションにLLM機能を追加できる。ブルームバーグインテリジェンスによると、生成AIと高品質LLMアプリケーションの需要は増加しており、生成AI市場は2022年の400億ドルから、今後10年間で1兆3000億ドルに成長すると予測されている。Anyscaleプラットフォームは、Llama-2 70Bなどの最先端のオープンソースLLMのエンドポイントを100万トークン当たり1ドルで提供し、アプリケーション開発者がLLMサービスにアクセスしやすくする。LLMは、特定のユースケースに合わせてカスタマイズし、追加のコンテンツとコンテキストを使用してエンドユーザーの特定のニーズを満たすように微調整できるため、企業に大きな価値を提供する。Anyscaleを使用すると、顧客はAWSまたはGCP上の既存のクラウドアカウント内でEndpointsサービスを実行して使用することもできる。お客様は、完全なAnyscale AIアプリケーションプラットフォームにアップグレードして、LLMの完全なカスタマイズ、データとモデルのきめ細かな制御、および同じインフラストラクチャー上に複数のAIアプリケーションをデプロイする機能を利用できる。このサービスは、一般的なPythonおよび機械学習のライブラリーおよびフレームワークと統合されており、開発者はAIアプリケーションの進化に合わせてあらゆるクラウドにわたるさまざまなユースケースに対処できるようになる。