FriendliAI は、生成 AI モデルのさまざまなアプリケーションへの統合を容易にするように設計されたサービスである、新しい Friendli Serverless Endpoints を発表しました。この製品は、そのようなモデルに通常関連付けられているインフラストラクチャをユーザーが管理する必要性を排除することで、開発プロセスを簡素化することを目的としている。このサービスは、Llama 2、CodeLlama、Mistral、Stable Diffusion などの広く使用されているモデルとの互換性を誇り、リソース使用率を詳細に制御できる。
同社によりますと、Serverless Endpointsには競争力のある価格モデルが導入され、Llama 2 13B モデルでは 100 万トークンあたり 0.2 ドル、Llama 2 70B モデルでは 100 万トークンあたり 0.8 ドルが請求されるとのことだ。また、FriendliAIは、自社のサービスが他の主要なソリューションよりも 2 ～ 4 倍速い速度でクエリ応答を提供すると主張している。この効率は独自の Friendli エンジンによるもので、動作に必要な GPU の数が大幅に減り、それによってコストが削減され、パフォーマンスが向上すると述べている。
FriendliAIによりますと、特定のニーズを持つクライアントのために、個々の要件に合わせて調整されたクラウドベースのGPUインスタンスを提供するFriendli専用エンドポイントも提供している。さらに、同社はDockerを通じて利用できるFriendli Containerを使用して、コンテナ化されたソリューションを好むユーザーにも対応しているとのことだ。この幅広いオプションは、多様な生成AIプロジェクトに対応することを目的としていて、ユーザーが独自の目的に適したソリューションを確実に見つけられるようにしている。
出典：プレスリリース
