Kecerdasan buatan (AI) pada PC Windows 11 akan mengubah pengalaman berbagai pengguna, mulai dari gamer dan kreator hingga pekerja kantoran dan pelajar. Teknologi ini menghadirkan peluang signifikan untuk meningkatkan produktivitas bagi jutaan pengguna PC Windows dan workstation yang dilengkapi dengan GPU RTX. Teknologi NVIDIA RTX menyederhanakan proses bagi pengembang untuk membuat aplikasi AI yang mengubah cara kita menggunakan komputer.

Pengoptimalan, model, dan sumber daya baru membantu pengembang memberikan pengalaman pengguna akhir baru dengan lebih cepat. Pembaruan mendatang pada TensorRT-LLM, perangkat lunak sumber terbuka yang mendukung kinerja inferensi AI, akan mendukung model bahasa berskala besar yang baru, sehingga memungkinkan pekerjaan AI yang menuntut di desktop dan laptop dengan GPU RTX yang dimulai dengan VRAM 8 GB menjadi lebih mudah untuk diakses . TensorRT-LLM untuk Windows akan segera kompatibel dengan Chat API OpenAI yang populer melalui wrapper baru, memungkinkan ratusan proyek pengembang dan aplikasi berjalan secara lokal di PC yang didukung RTX. Data pribadi dan kepemilikan dapat disimpan di PC Windows 11.

AI Workbench adalah perangkat terintegrasi yang memungkinkan pengembang dengan cepat membuat, menguji, dan menyesuaikan model AI generatif dan LLM terlatih di PC atau stasiun kerja. Berikan pengembang satu platform untuk mengatur proyek AI mereka dan menyesuaikan model dengan kasus penggunaan tertentu. Hal ini memudahkan pengembang untuk berkolaborasi dan menerapkan secara lancar, sehingga dengan cepat menciptakan model AI generatif yang hemat biaya dan dapat diskalakan.

Untuk mendukung pengembang AI, NVIDIA dan Microsoft merilis ekstensi DirectML yang mempercepat Llama 2, salah satu model AI dasar paling populer. Selain menetapkan standar baru untuk kinerja, pengembang kini memiliki lebih banyak opsi untuk penerapan lintas vendor. Rilis TensorRT-LLM v0.6.0 berikutnya, yang dirilis akhir bulan ini, akan meningkatkan kinerja inferensi (hingga 5x lebih cepat) dan memungkinkan dukungan untuk LLM populer tambahan seperti Mistral 7B dan Nemotron-3 8B baru. saus: