Menurut blog Stability AI pada 21 Juli, perusahaan dan laboratorium CarperAI telah menerbitkan LLM akses terbuka yang disebut FreeWilly1 dan FreeWilly2. Ini telah menunjukkan kemampuan inferensi yang sangat baik di berbagai tolok ukur, dan dalam beberapa kasus bahkan mengungguli ChatGPT.

FreeWilly1 didasarkan pada model fondasi LLaMA 65B asli dan disempurnakan secara cermat dengan kumpulan data baru yang dihasilkan secara sintetis menggunakan format standar Alpaca Supervised Fine-Tune (SFT). Demikian pula, FreeWilly2 memanfaatkan model dasar LLaMA 2 70B, yang memberikan performa unggul dibandingkan GPT-3.5 untuk tugas-tugas tertentu.


Kedua model FreeWilly merupakan versi eksperimental yang dirilis di bawah lisensi non-komersial untuk mendorong penelitian terbuka. Perusahaan tersebut mengatakan telah membentuk tim merah internal untuk memastikan modelnya "terhormat" dan aman, namun menyambut masukan dan bantuan dari komunitas kepada tim merah.

Proses pembuatan data model FreeWilly terinspirasi oleh metodologi makalah Microsoft "Orca: Pembelajaran Progresif dari Jejak Penjelasan Kompleks di GPT-4". Pendekatan Stability AI serupa, namun sumber data yang digunakan berbeda. Varian kumpulan data berisi 600.000 titik data, yaitu sekitar 10% dari ukuran yang digunakan pada kertas Orca asli.

Dibuat dengan meminta model bahasa dengan instruksi berkualitas tinggi dari kumpulan data tertentu seperti COT Submix Original, NIV2 Submix Original, FLAN 2021 Submix Original, dan T0 Submix Original.

Meskipun ukuran sampelnya lebih kecil dibandingkan kertas Orca asli, model FreeWilly menunjukkan kinerja yang unggul di berbagai tolok ukur. Misalnya, mereka unggul dalam penalaran yang kompleks, memahami seluk-beluk bahasa, dan menjawab pertanyaan-pertanyaan kompleks dalam bidang-bidang khusus seperti hukum dan pemecahan masalah matematika.


Stabilitas AI berfokus pada pengembangan penelitian dan kolaborasi terbuka. Dengan menyediakan FreeWilly1 dan FreeWilly2 bagi komunitas riset, kami bertujuan untuk mendemokratisasi AI dan mendorong upaya kolektif untuk mendorong batas-batas pemrosesan bahasa alami.