NVIDIA mengumumkan AI-Q Research Assistant dan Enterprise RAG Blueprints, yang menggunakan model AI inferensi Nemotron dan pembangkitan augmentasi pencarian (RAG) untuk meningkatkan pemahaman dokumen dan ekstraksi wawasan. Perangkat ini dirancang untuk mengotomatiskan proses analisis dan pelaporan dari kumpulan data besar dan membutuhkan infrastruktur AI yang tangguh untuk penerapannya. NVIDIA merinci proses penerapan pada Amazon Elastic Kubernetes Service (EKS) di AWS, memanfaatkan layanan tambahan seperti basis data vektor Amazon OpenSearch Serverless, Amazon S3 untuk penyimpanan, dan Karpenter untuk penskalaan GPU dinamis.

Blueprint Asisten Riset AI-Q dibangun di atas Blueprint RAG Perusahaan, yang berfungsi sebagai komponen intinya. Sistem ini memanfaatkan layanan mikro NVIDIA NIM, sebuah wadah inferensi yang dioptimalkan untuk model AI pada GPU. Blueprint AI-Q menyempurnakan fondasi RAG dengan komponen-komponen canggih seperti model bahasa berskala besar untuk pembuatan laporan terperinci dan integrasi pencarian web untuk informasi waktu nyata.

Arsitektur solusi di AWS menerapkan layanan mikro NVIDIA NIM sebagai pod pada klaster Kubernetes dan menyediakan instans GPU secara dinamis untuk mengoptimalkan biaya dan performa. AI-Q Blueprint menambahkan lapisan "agen" untuk mengorkestrasi alur kerja yang kompleks—merencanakan, mengelaborasi, dan merefleksikan—untuk menghasilkan laporan yang komprehensif. Enterprise RAG Blueprint dilengkapi pipeline paralel untuk ekstraksi dan pengambilan data, serta terintegrasi dengan OpenSearch untuk mendapatkan jawaban yang peka konteks.

Solusi AWS NVIDIA menyediakan lingkungan komprehensif yang mengotomatiskan pengaturan infrastruktur dan komponen keamanan. Solusi ini memanfaatkan Amazon EKS untuk mengelola layanan kontainer, Amazon S3 untuk danau data, Amazon OpenSearch Serverless untuk penyematan dokumen, dan Karpenter untuk penskalaan otomatis node GPU. Proses penerapan disederhanakan oleh skrip otomatis dan mencakup tumpukan observabilitas dengan alat pemantauan seperti Prometheus, Grafana, Zipkin, dan NVIDIA DCGM.

Kesimpulannya, AI-Q Research Assistant dan Enterprise RAG Blueprints dari NVIDIA menyediakan aplikasi AI yang skalabel dan efisien untuk perusahaan. Diimplementasikan di AWS, perangkat ini memproses dan mengintegrasikan wawasan dari data dalam jumlah besar, mengubah data perusahaan menjadi intelijen yang aman dan dapat ditindaklanjuti. Pengguna dapat menerapkan blueprint ini di Amazon EKS untuk memanfaatkan kekuatan AI generatif dalam operasi bisnis mereka.