SambaNova Systems（カリフォルニア州パロアルト市）は、新型半導体「SN40L」を発表した。この新型半導体は、SambaNovaのフルスタック大規模言語モデルプラットフォーム「SambaNova Suite」を強化する。SN40Lは大容量メモリーと広帯域メモリーを搭載し、密な計算と疎な計算の両方を得意とする「インテリジェント・チップ」だ。TSMC製造のSambaNovaのSN40Lは、シングルシステムノードで25万のシークエンス長、5兆個のパラメータを扱うことが可能だ。これは統合されたスタックでのみ可能で、従来の最先端半導体の性能を大幅に上回り、推論と学習をより高速に行うことで、高品質なモデルをより低い総所有コストで実現できる。この新型チップは、企業が生成AIを展開する際の最大の課題を解決するSambaNovaのフルスタック大規模言語モデルプラットフォームの一部だ。SambaNovaのエンジニアリングチームは、創業以来6年間の技術革新とお客様からのフィードバックを元に、学習と推論にかかるコスト、シーケンス長の制限、大規模言語モデルの速度（または遅延時間）といった、AI実装に関するユーザーの課題について深く考え、大規模言語モデルを完全にモジュール化し、拡張できるように設計した。これにより、ユーザーは推論性能を損なうことなく、モダリティや新しい分野の専門知識を段階的に追加し、モデルのパラメータ数を最大5兆個まで増やすことができる。IDCのパフォーマンスインテンシブコンピューティングのリサーチ副社長ピーター・ラッテン氏は、SambaNovaのSN40L半導体はこれまでのものとは異なり、SN40LはHBM（広帯域メモリー）とDRAMの両方を利用できるので、AIアルゴリズムがそのタスクに最適なメモリーを選択できるようになると述べている。また他社の方法よりもはるかに大容量のメモリーに直接アクセスできるようになり、それに加えてSambaNovaの再構成可能なデータフローアーキテクチャーにより、疎なモデルの計算をより効率的に行うことができると述べている。