Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

MangoBoost は、AI データセンターのパフォーマンス向上を目的とした新しいシステム最適化ソフトウェア Mango LLMBoost™ を発表しました。このソフトウェアは AI 推論効率の大幅な向上を約束し、競合する LLM 推論エンジンと比較して最大 12.6 倍のパフォーマンス向上と 92% のコスト削減を誇ります。Mango LLMBoost™ は、システムスケジュール調整、カーネル最適化、独自のプリフェッチメカニズムなどの高度な技術を活用し、モデルの量子化を利用して GPU の使用を最適化します。

同社は Mango LLMBoost™ を AWS Marketplace で利用できるようにしており、他のクラウドサービスやオンプレミス展開にも利用可能にする予定です。このソフトウェアは、NVIDIA と AMD の幅広い GPU をサポートし、Llama や Gemma を含む複数の AI モデルを単一のサーバーで管理できます。Mango LLMBoost™ は、Web サービング API とストリーミング API によって展開を簡素化し、特定のハードウェアとモデルに最適なパフォーマンス設定を自動的に構成します。

MangoBoost の CEO である Jangwoo Kim 氏は、システムレベルのパフォーマンスと効率性の向上に対する同社の取り組みを強調しました。Mango LLMBoost™ はこの取り組みの証であり、ハードウェアとソフトウェアの両方のコンポーネントを最適化するために MangoBoost の DPU に関する専門知識を基盤としています。このイノベーションは、企業が AI インフラストラクチャの可能性を最大限に引き出すのに役立ちます。

Mango LLMBoost™ に興味のある方は、製品の Web ページで詳細を確認できます。2022 年に設立された MangoBoost は、6,000 万ドルを超える資金と、多くの博士号取得者を含む 100 人を超える専門家チームに支えられ、AI データセンターの効率化の分野で急速に名を馳せています。ソリューションの中核をなす同社の DPU テクノロジーは、30 件を超える特許で保護されており、さまざまな GPU やストレージ製品とシームレスに連携するように設計されています。