Proses konversi teks menjadi data numerik (embedding) sangat penting bagi fungsi Generative AI. Teknologi seperti pencarian semantik dan sistem rekomendasi bergantung pada embedding untuk membantu model bahasa skala besar (LLM) dan model AI lainnya memahami data. Apache Spark banyak digunakan untuk mendistribusikan tugas pemrosesan data ke beberapa klaster guna menangani pembuatan embedding skala besar. Namun, kompleksitas komputasi dalam pembuatan embedding memerlukan komputasi yang dipercepat, sehingga pengelolaan infrastruktur GPU menjadi rumit.

Dalam demo terbaru, kami menunjukkan bagaimana tantangan ini dapat diatasi dengan menerapkan aplikasi Spark terdistribusi pada Azure Container Apps (ACA) dengan GPU tanpa server. Konfigurasi ini memungkinkan Spark mengelola set data besar, sementara ACA menyederhanakan kompleksitas manajemen komputasi dan penskalaan. Dalam demo ini, kami menciptakan kontainer pekerja khusus yang mengintegrasikan pustaka berkinerja tinggi seperti NVIDIA RAPIDS Accelerator untuk Spark dan model sumber terbuka Hugging Face untuk menyediakan solusi yang skalabel.

Hasilnya adalah platform tanpa server dan bayar sesuai pemakaian yang memberikan throughput tinggi dan latency rendah untuk aplikasi AI dan pemrosesan data. Pendekatan ini berfungsi sebagai templat serbaguna yang dapat dengan mudah diadaptasi untuk berbagai kebutuhan. Bagi perusahaan yang menginginkan performa dan dukungan terbaik, arsitektur ini dapat ditingkatkan dengan menggabungkan layanan mikro NVIDIA NIM, alih-alih pekerja yang dirancang khusus.

Solusi ini memiliki arsitektur yang sederhana namun efektif, terdiri dari dua aplikasi kontainer tanpa server utama dalam lingkungan Azure Container Apps: aplikasi pengontrol front-end Apache Spark mengatur beban kerja dan menerima kiriman pekerjaan, sementara aplikasi pekerja Spark yang diakselerasi GPU bertanggung jawab atas pemrosesan data. Lapisan penyimpanan data bersama menggunakan Azure Files memfasilitasi berbagi kode, model, dan data antara Azure dan pekerja, sehingga menyederhanakan pengembangan dan penerapan.

Untuk mengimplementasikan solusi ini, Anda memerlukan langganan Azure , instans SQL Server dengan data teks, serta pengetahuan tentang Azure Container Apps, Apache Spark, Docker, dan Python. GitHub: Azure-Serverless-GPU-Embedding menyediakan contoh kode untuk membantu Anda memulai. Proses penerapannya meliputi penyiapan aplikasi pengontrol Spark, penerapan aplikasi pekerja Spark yang diakselerasi GPU, dan menjalankan pekerjaan penyematan teks terdistribusi. Pekerjaan ini dapat dijalankan menggunakan Jupyter dalam mode pengembangan atau dengan pemicu HTTP dalam mode produksi.

Memanfaatkan aplikasi Apache Spark yang diakselerasi GPU khusus pada GPU tanpa server di Azure Container Apps memungkinkan organisasi membangun solusi pemrosesan data terdistribusi yang efisien, skalabel, dan hemat biaya tanpa repot mengelola infrastruktur. Model tanpa server ini memungkinkan penskalaan dinamis sumber daya GPU untuk memenuhi tuntutan beban kerja AI. Fleksibilitas untuk berpindah dari lingkungan pengembangan berbasis Jupyter ke sistem siap produksi dalam kerangka kerja yang sama memudahkan pemindahan tugas data yang menantang ke produksi. Untuk peningkatan kinerja dan dukungan, layanan mikro NVIDIA NIM juga dapat diintegrasikan ke dalam arsitektur. Pihak yang berminat dapat mengakses kode di repositori GitHub NVIDIA/GenerativeAIExamples dan mempelajari lebih lanjut dalam panduan demo "Mengamankan Aplikasi AI Generasi Berikutnya dengan GPU Tanpa Server di Azure Container Apps."