Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
%20(1).webp)
NVIDIA DFlash Meningkatkan Performa Inferensi AI Secara Signifikan
Generatived
25/6/26, 09.00
NVIDIA mengumumkan DFlash, teknologi dekode spekulatif sumber terbuka yang dirancang untuk meningkatkan efisiensi inferensi model bahasa besar pada platform GPU modern.
Perusahaan tersebut mengatakan bahwa DFlash menggunakan perancang difusi blok yang menghasilkan beberapa token kandidat secara paralel, memungkinkan model target untuk memverifikasi output dengan lebih efisien daripada metode dekode sekuensial.
Pengujian pada sistem NVIDIA Blackwell menunjukkan peningkatan throughput hingga 15 kali lipat untuk gpt-oss-120b sambil mempertahankan tingkat interaktivitas yang sama. Peningkatan kinerja juga dilaporkan untuk Llama 3.1 8B dan model open source lainnya.
DFlash tersedia melalui TensorRT-LLM, vLLM, dan SGLang, dengan 20 checkpoint model yang dirilis di Hugging Face. Pendekatan ini dimaksudkan untuk membantu pengembang mempercepat inferensi tanpa perubahan aplikasi yang besar.
Bagikan artikel ini:
Tin tức mới nhất
Chathamが取引検証自動化
5/10/26, 07.00
Chatham Financial(米国ペンシルベニア州)は、OpenAIのモデル群を活用して金融取引の検証作業や社内ツールの開発プロセスを刷新したと発表した。
OpenAIが蒸留攻撃を防御
2/10/26, 07.00
OpenAI(米国サンフランシスコ)は、モデルの思考プロセス(思考ログ)を不正に抽出して自社モデルの学習や再現に悪用する大規模な「敵対的蒸留」キャンペーンを察知し、阻止したと発表した。
Copyright © 2024 Generatived - All right Reserved.
Bagikan artikel ini:
Bagikan artikel ini:
Kategori
Berita
AI dan hukum/peraturan/masyarakat
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Berita terkini
Chathamが取引検証自動化
5/10/26, 07.00
Chatham Financial(米国ペンシルベニア州)は、OpenAIのモデル群を活用して金融取引の検証作業や社内ツールの開発プロセスを刷新したと発表した。
OpenAIが蒸留攻撃を防御
2/10/26, 07.00
OpenAI(米国サンフランシスコ)は、モデルの思考プロセス(思考ログ)を不正に抽出して自社モデルの学習や再現に悪用する大規模な「敵対的蒸留」キャンペーンを察知し、阻止したと発表した。


%20(1).webp)



