Validasi sistem AI di industri yang sangat diatur seperti perawatan kesehatan, keuangan, dan pemerintahan menghadirkan tantangan signifikan karena kelangkaan data dan kendala privasi. Data dunia nyata yang sering dibutuhkan untuk benchmarking biasanya tidak dapat diakses karena perjanjian kerahasiaan, fragmentasi data, atau biaya anotasi yang tinggi. Situasi ini menghambat inovasi dan memaksa evaluasi AI untuk bergantung pada tebakan. Tolok ukur evaluasi yang kuat sangat penting untuk aplikasi pemerintah seperti asisten AI untuk layanan warga, tetapi tidak boleh membahayakan data pribadi.

Untuk mengatasi tantangan ini di berbagai industri, alur kerja evaluasi AI yang menjaga privasi telah diperkenalkan. Alur kerja ini memungkinkan pembuatan dataset sintetis spesifik domain dan tolok ukur yang dapat direproduksi tanpa mengekspos catatan dunia nyata. Dengan memanfaatkan alat seperti NVIDIA NeMo Data Designer dan NVIDIA NeMo Evaluator, model bahasa skala besar (LLM) dapat dihasilkan dan dievaluasi secara efisien dan aman. Pendekatan ini telah didemonstrasikan dalam lingkungan perawatan kesehatan, menghasilkan catatan triase sintetis di ruang gawat darurat.

Data sintetis muncul sebagai sumber daya utama untuk pengembangan AI di bidang yang sensitif terhadap privasi. Hal ini memungkinkan terciptanya beragam skenario dan kasus-kasus khusus yang jarang terjadi sambil tetap mematuhi peraturan privasi. Penggunaan data sintetis mempersingkat waktu pengembangan dan memungkinkan pembuatan dataset dan benchmark dengan cepat, yang sangat bermanfaat di bidang perawatan kesehatan. AI berpotensi untuk meningkatkan triase di ruang gawat darurat, tetapi akses terbatas ke data pasien nyata masih menjadi tantangan.

Untuk memulai pembuatan data sintetis dan evaluasi model, pengembang dapat membuat dataset sintetis menggunakan NeMo Data Designer dan melakukan benchmark prediksi model menggunakan NeMo Evaluator. Proses ini mencakup pembuatan catatan triase sintetis dengan batasan realistis dan evaluasi prediksi LLM menggunakan benchmark otomatis. Alur kerja ini memfasilitasi penskalaan sampel berlabel tanpa mengorbankan privasi pasien dan dapat diintegrasikan ke dalam pipeline CI/CD untuk memungkinkan validasi berkelanjutan. Alat dan model yang disajikan di sini, termasuk model NVIDIA Nemotron dan API NVIDIA NIM, tersedia di platform seperti Hugging Face dan NVIDIA Build.