Galileo, sebuah perusahaan pembelajaran mesin terkemuka, mengumumkan Indeks Halusinasi untuk membantu pengguna model pembelajaran bahasa (LLM) terkemuka mengidentifikasi model mana yang paling kecil kemungkinannya menyebabkan halusinasi dalam aplikasi tertentu. Dikembangkan oleh Galileo Labs, Indeks ini merupakan respons terhadap tantangan yang ditimbulkan oleh ilusi AI, di mana AI menghasilkan informasi yang terlihat realistis namun pada akhirnya tidak akurat atau di luar konteks. Ini merupakan rintangan besar bagi perusahaan dari semua ukuran yang mengembangkan aplikasi berbasis LLM.

Indeks Halusinasi mengevaluasi 11 LLM dari berbagai pengembang dan menilai kecenderungan setiap model untuk berhalusinasi dalam tugas AI generatif yang umum. Wawasan utama dari Indeks ini mencakup GPT-4 OpenAI, yang berkinerja terbaik dalam tugas tanya jawab tanpa pencarian, menunjukkan akurasi yang mengesankan dan kemungkinan halusinasi paling rendah. Di antara model open source, Llama-2-70b dari Meta memimpin, tetapi model lain terbukti lebih rentan terhadap halusinasi.

Pada tugas tanya jawab dengan penelusuran, kinerja GPT-4-0613 OpenAI lebih unggul, dan kinerjanya hampir menyamai model GPT-3.5 Turbo yang hemat biaya dan lebih cepat. Menariknya, model open source Hugging Face, Zephyr-7b, mengungguli Llama-2-70b milik Meta yang lebih besar, menyangkal gagasan bahwa model yang lebih besar pada dasarnya lebih baik. Dalam pembuatan teks yang panjang, GPT-4-0613 OpenAI sekali lagi memiliki performa terbaik dan terbukti paling tidak rentan terhadap halusinasi.

Indeks ini juga menyoroti peluang penghematan biaya melalui model sumber terbuka. Misalnya, untuk tugas pembuatan teks yang panjang, model obrolan Llama-2-13b sumber terbuka Meta adalah alternatif yang layak untuk model Open AI. Untuk tanya jawab yang melibatkan tugas pencarian, pengguna dapat dengan percaya diri mencoba model Zephyr Hugging Face alih-alih OpenAI. Indeks ini didukung oleh metrik akurasi dan kepatuhan konteks unik Galileo, yang didukung oleh ChainPoll, metode deteksi halusinasi yang dikembangkan oleh Galileo Labs.