Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
%20(1).webp)
NVIDIA DFlash Meningkatkan Performa Inferensi AI Secara Signifikan
Generatived
25/6/26, 09.00
NVIDIA mengumumkan DFlash, teknologi dekode spekulatif sumber terbuka yang dirancang untuk meningkatkan efisiensi inferensi model bahasa besar pada platform GPU modern.
Perusahaan tersebut mengatakan bahwa DFlash menggunakan perancang difusi blok yang menghasilkan beberapa token kandidat secara paralel, memungkinkan model target untuk memverifikasi output dengan lebih efisien daripada metode dekode sekuensial.
Pengujian pada sistem NVIDIA Blackwell menunjukkan peningkatan throughput hingga 15 kali lipat untuk gpt-oss-120b sambil mempertahankan tingkat interaktivitas yang sama. Peningkatan kinerja juga dilaporkan untuk Llama 3.1 8B dan model open source lainnya.
DFlash tersedia melalui TensorRT-LLM, vLLM, dan SGLang, dengan 20 checkpoint model yang dirilis di Hugging Face. Pendekatan ini dimaksudkan untuk membantu pengembang mempercepat inferensi tanpa perubahan aplikasi yang besar.
Bagikan artikel ini:
Tin tức mới nhất
MicrosoftがローカルSQL
5/10/26, 07.00
Microsoft(米国ワシントン州)は、クラウド接続の有無を問わず利用可能なデータベースインフラ『SQL Server on Azure Local』の一般提供を開始した。
Googleが最先端AIモデル発表
5/10/26, 07.00
Google(米国カリフォルニア州)は、高度な推論機能と100万トークンの出力上限を備えた最新AIモデル『Gemini 4 Argon』をはじめとする一連のAIアップデートを発表した。
Copyright © 2024 Generatived - All right Reserved.
Bagikan artikel ini:
Bagikan artikel ini:
Kategori
Berita
AI dan hukum/peraturan/masyarakat
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Berita terkini
MicrosoftがローカルSQL
5/10/26, 07.00
Microsoft(米国ワシントン州)は、クラウド接続の有無を問わず利用可能なデータベースインフラ『SQL Server on Azure Local』の一般提供を開始した。
Googleが最先端AIモデル発表
5/10/26, 07.00
Google(米国カリフォルニア州)は、高度な推論機能と100万トークンの出力上限を備えた最新AIモデル『Gemini 4 Argon』をはじめとする一連のAIアップデートを発表した。






