NVIDIA telah memulai proyek inovatif untuk meningkatkan pengelolaan cluster GPU di pusat data. Upaya tersebut, yang diberi nama LLo11yPop, bertujuan untuk mengembangkan kerangka agen AI yang memungkinkan operator pusat data berinteraksi dengan sistem mereka melalui kueri bahasa alami. Kerangka kerja ini dirancang untuk menafsirkan dan bertindak pada data telemetri yang kompleks, menyederhanakan tugas pemantauan dan pemeliharaan operasi kompleks cluster GPU.

Armada GPU global perusahaan, yang mencakup berbagai penyedia layanan cloud dan pusat data milik NVIDIA, memerlukan kemampuan observasi tingkat tinggi untuk memberikan kemampuan akselerasi secara efisien dan tepat waktu. Proyek LLo11yPop memanfaatkan layanan mikro NIM NVIDIA yang ada untuk memungkinkan interaksi dengan database dan memperluas fungsionalitas ini ke sistem observasi. Dengan Elasticsearch, sistem agen AI Anda dapat menjawab pertanyaan spesifik tentang armada GPU Anda dan memberikan wawasan yang dapat ditindaklanjuti, seperti mengidentifikasi klaster yang sering mengalami kegagalan kipas.

Pendekatan NVIDIA dalam membangun kerangka kerja agen observabilitas mencakup model komposit multi-LLM yang menggabungkan berbagai peran agen untuk orkestrasi, pelaksanaan tugas, dan analisis. Agen-agen ini terstruktur secara hierarki, mencerminkan peran organisasi, mulai dari direktur hingga pekerja, masing-masing dengan fungsi khusus. Kerangka kerja ini juga mencakup model supervisor yang memberikan tugas kepada agen analis dan memungkinkan mereka menanyakan sumber data untuk mendapatkan informasi.

Perusahaan menekankan pentingnya memulai dengan rekayasa cepat dan menggunakan berbagai agen sebelum beralih ke pelatihan model yang lebih kompleks. Perusahaan menganjurkan pemilihan model yang tepat untuk setiap tugas dan mempertahankan pengawasan manusia hingga perilaku sistem AI terbukti akurat dan dapat diandalkan. Pengalaman NVIDIA dengan LLo11yPop memberikan wawasan berharga bagi mereka yang tertarik untuk membangun aplikasi agen AI, dan situs web perusahaan menyediakan sumber daya lebih lanjut.