SambaNova Systemsは、Artificial Analysisが実施した最新の大規模言語モデル（LLM）ベンチマークでトップパフォーマーとして浮上した。同社のSamba-1 Turboモデルは、1秒当たり1,000トークン以上を処理するという新記録を達成した。これは、Llama 3 8Bのパフォーマンスの大幅な飛躍だ。CEOのRodrigo Liang氏は、正確さのために速度を犠牲にすることなく、コスト効率の高いカスタムAIシステムを企業に提供し、組織がワークフローを強化してイノベーションをより迅速に促進できるようにするという同社の取り組みを強調した。
Artificial Analysisの共同設立者兼CEOであるMicah Hill-Smith氏は、SambaNovaの功績を認め、Samba-1 Turboの推論性能が他の全てのベンチマークを上回ったことを指摘した。このモデルの1秒当たり1,084トークンという優れた出力は、他のプロバイダーの平均速度の8倍以上だ。さらに、Samba-1 TurboのLlama 3 Instruct （8B）モデルの品質は、16ビット精度の標準に準拠していることが確認されている。
SambaNovaのアプローチは、わずか16個のチップでLlama 3 8Bモデルを前例のない速度で実行し、1つのノードで最大1000個のLlama3チェックポイントをホストできるという点で競合他社とは異なる。この効率性により、完全な精度が維持されるだけでなく、同様のタスクに数百個のチップを必要とする競合他社と比較してコストが大幅に削減される。同社のテクノロジーにより、速度を犠牲にすることなく複数のモデルを同時に実行できるため、総所有コストが10分の1に削減される。
SambaNovaの共同設立者であり、スタンフォード大学の著名なコンピューター科学者でもあるKunle Olukotun氏は、成功の背後にある技術革新を強調し、SN40Lチップのデータフローアーキテクチャーを称賛した。この設計により、レーテンシーが最小限に抑えられ、スループットが最大化され、従来のGPUベースのソリューションを上回り、瞬時のAI機能を実現する。SambaNovaは、企業にSamba-1 Turboの機能を直接体験していただくよう呼びかけている。
出典：プレスリリース
