NVIDIA mengumumkan rilis beta AutoDeploy, sebuah fitur dari TensorRT LLM. AutoDeploy menyederhanakan penyebaran model bahasa skala besar (LLM) dengan mengotomatiskan proses optimasi mesin inferensi. AutoDeploy memungkinkan pengembang untuk mengkonversi model PyTorch menjadi grafik yang dioptimalkan tanpa intervensi manual, sehingga memperlancar transisi dari pengembangan model ke penyebaran.

Fitur baru ini dirancang untuk mengatasi kompleksitas yang melekat pada berbagai arsitektur LLM, seperti model Transformer dan model bahasa-visi hibrida, dengan mengotomatiskan tugas-tugas seperti manajemen cache KV dan fusi operasi. Alur kerja berbasis kompiler ini memungkinkan pembuat model untuk fokus pada pembuatan model sementara AutoDeploy menangani optimasi khusus inferensi.

AutoDeploy mendukung berbagai macam model, termasuk lebih dari 100 LLM teks-ke-teks, dan memberikan dukungan awal untuk model bahasa-visi (VLM) dan model ruang keadaan (SSM). Ia juga memberikan dukungan yang dioptimalkan untuk kinerja model seperti keluarga Llama dan Nemotron 3 Nano dari NVIDIA. Fitur ini terintegrasi ke dalam runtime TensorRT LLM, memungkinkan konversi dan penyebaran model yang mulus saat startup dengan janji peningkatan kinerja yang berkelanjutan.

Arsitektur AutoDeploy menangkap dan mengoptimalkan grafik komputasi dari model PyTorch dan menerapkan serangkaian transformasi otomatis untuk meningkatkan kinerja. Ini termasuk sharding dan pengintegrasian kernel yang dioptimalkan untuk inferensi multi-GPU. Sistem ini juga menangani integrasi runtime, mengelola aspek-aspek seperti penjadwalan dan manajemen cache yang secara tradisional membutuhkan upaya manual yang signifikan.

AutoDeploy NVIDIA telah menunjukkan kemampuannya dengan memungkinkan penyebaran dan optimasi model kompleks seperti Nemotron 3 Nano dan Nemotron-Flash dengan cepat. Model-model ini diintegrasikan dan dioptimalkan dalam beberapa hari, menunjukkan kemampuan AutoDeploy untuk memfasilitasi penyebaran cepat dan mempertahankan kinerja inferensi yang tinggi di berbagai arsitektur. Pengembang dan kontributor yang tertarik dapat merujuk ke dokumentasi AutoDeploy dan skrip contoh untuk mulai bereksperimen dengan fitur ini.