Cloudera telah memperkenalkan layanan inferensi AI baru yang memanfaatkan akselerasi komputasi NVIDIA dan layanan mikro NIM untuk meningkatkan kinerja model bahasa skala besar (LLM) secara signifikan. Layanan ini dirancang untuk memudahkan penerapan dan pengelolaan model AI serta membantu bisnis memaksimalkan data mereka untuk kemajuan AI. Kolaborasi Cloudera dan NVIDIA bertujuan untuk mengatasi tantangan integrasi DX dan AI di berbagai industri.

Penawaran terbaru perusahaan ini bertujuan untuk mengatasi risiko kepatuhan dan masalah tata kelola dalam penerapan AI generatif (GenAI) dengan menyediakan lingkungan yang aman untuk mengembangkan dan menerapkan model AI. Cloudera AI Inference memastikan bahwa data sensitif tetap berada di bawah kendali perusahaan, menawarkan fitur keamanan yang kuat dan kemampuan untuk menjalankan beban kerja lokal atau di cloud. Layanan ini didukung oleh teknologi NVIDIA, yang menjanjikan menghadirkan data andal dengan kecepatan performa tinggi untuk aplikasi AI tepercaya.

Layanan inferensi AI Cloudera dirancang agar mudah digunakan dan mengintegrasikan UI dan API dengan wadah layanan mikro NVIDIA NIM, sehingga menghilangkan kebutuhan akan sistem pemantauan terpisah. Layanan ini juga terintegrasi dengan AI Model Registry Cloudera untuk meningkatkan keamanan dan tata kelola, menyediakan platform terpadu untuk mengelola semua model Anda. Pengembang dapat mengharapkan peningkatan kinerja hingga 36x saat membangun dan menerapkan LLM tingkat perusahaan menggunakan GPU NVIDIA Tensor Core.

Analis industri Cloudera Mohan menekankan pentingnya data yang aman, patuh, dan dikelola dengan baik bagi perusahaan yang berinvestasi di GenAI. Cloudera AI Inference memanfaatkan manajemen data tingkat lanjut dan keahlian AI NVIDIA untuk menyederhanakan kompleksitas produksi AI swasta dalam skala besar. Layanan ini mencakup fitur-fitur seperti penskalaan otomatis, pelacakan kinerja real-time, dan keamanan tingkat perusahaan bagi mereka yang ingin melindungi data mereka dan menerapkan model AI secara efisien dengan fleksibilitas dan tata kelola yang mereka perlukan