Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供
%20(1).webp)
NVIDIA トークンコスト重視のAI基盤戦略
Generatived
26/4/20 9:00
NVIDIA（米国カリフォルニア州）は、AI時代におけるデータセンターの役割が変化し、トークン生成を担う「AIトークン工場」へ進化しているとの見解を示した。推論処理が主用途となり、出力価値の指標が重要になるとされる。
同社によれば、従来の評価指標である計算コストやFLOPSではなく、「コスト・パー・トークン」が重要な経済指標になるという。これはハードウェア性能やソフトウェア最適化、実運用効率を含む総合的な指標と位置付けられる。
さらに、トークン生成量の最大化がコスト低減と収益拡大の双方に寄与すると分析。特に大規模推論モデルでは、電力あたりのトークン出力や分散処理性能などが実運用の成果を左右する要因になるとした。
同社の比較では、最新世代のBlackwellが従来のHopperに比べて大幅にトークン効率を高め、結果としてトークン単価を大きく低減する傾向が確認されたという。今後は出力指標を基軸としたインフラ評価が求められるとしている。
最新のニュース
スノーフレイクがAI支援開始
26/8/31 7:00
スノーフレイク・コンサルティング（愛知県名古屋市）は、現場に専門家が1日常駐して生成AI活用を支援する新サービス「AI Office Hour」を開始した。
エフアンドエムがAI基盤拡大
26/8/31 7:00
エフアンドエム（大阪府吹田市）は、社会保険労務士事務所向けに展開するAI業務基盤「SRAISE」の導入実績が、提供開始から約1ヶ月で400事務所および累計850IDを突破したと発表した。
電通デジタルがCX支援更新
26/8/28 7:00
電通デジタル（東京都港区）は、電通および電通プロモーションと共同で、マーケティングチーム「dentsu CX-Connect」を駐在・伴走型のCX支援サービスへアップデートした模様だ。
Copyright © 2024 Generatived - All right Reserved.
ニュース
フォローをお願いします
言語
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
Generatived は、Generative AIに特化した情報やトレンドをお届けするサービスです。大きく変わりゆく世界の情報を全力でお届けします。
フォローをお願いします
言語
最新のニュース
スノーフレイクがAI支援開始
26/8/31 7:00
スノーフレイク・コンサルティング（愛知県名古屋市）は、現場に専門家が1日常駐して生成AI活用を支援する新サービス「AI Office Hour」を開始した。
エフアンドエムがAI基盤拡大
26/8/31 7:00
エフアンドエム（大阪府吹田市）は、社会保険労務士事務所向けに展開するAI業務基盤「SRAISE」の導入実績が、提供開始から約1ヶ月で400事務所および累計850IDを突破したと発表した。
電通デジタルがCX支援更新
26/8/28 7:00
電通デジタル（東京都港区）は、電通および電通プロモーションと共同で、マーケティングチーム「dentsu CX-Connect」を駐在・伴走型のCX支援サービスへアップデートした模様だ。