Generatif (Beta) |. Memberikan berita dan tren terkini dalam AI generatif
%20(1).webp)
Bobot & Bias Jepang memberi peringkat kinerja bahasa Jepang dari 20 model bahasa skala besar
Generatived
21/8/23, 09.34
Sejak Juli 2023, Weights & Biases Japan telah mengoperasikan "Papan Peringkat Nejumi LLM" (selanjutnya disebut sebagai "Papan Peringkat Nejumi"), yang menerbitkan peringkat kinerja model bahasa skala besar (LLM) Jepang. Jumlah model LLM yang dievaluasi telah melebihi 20, menjadikannya salah satu papan peringkat model LLM terbesar untuk evaluasi kinerja Jepang di Jepang. Pemeringkatan ini dipublikasikan secara online, dan kode yang digunakan dalam evaluasi dipublikasikan dalam bentuk pekerjaan WandB yang dapat dieksekusi. Papan peringkat Nejumi mengevaluasi model menggunakan kumpulan data JGLUE. JGLUE merupakan kerjasama antara Universitas Waseda dan Yahoo! Sebuah tolok ukur pemahaman bahasa Jepang yang dikembangkan dan diterbitkan oleh JAPAN Institute, papan peringkat Nejumi menggunakan lima tugas yang sangat penting untuk mengukur kemampuan LLM. Saat memeriksa hasil evaluasi berbagai model, skor tinggi GPT-4 dan GPT-3.5, yang membentuk ChatGPT OpenAI, menonjol. Selain itu, model Llama 2 yang dirilis oleh Meta juga meraih skor yang sangat tinggi, dan model yang dilatih dengan data tambahan juga telah bermunculan. Pada papan peringkat Nejumi, StableBeluga2, versi model Llama 2 yang disempurnakan oleh Stability AI, mencapai hasil melebihi GPT-3.5 untuk pertama kalinya. Perkembangan lebih lanjut dapat dilihat pada perkembangan LLM, namun penting juga untuk dicatat bahwa arahnya semakin beragam. Selain itu, seiring dengan berkembangnya penelitian untuk meningkatkan kinerja model dengan parameter yang lebih sedikit dan penggunaan LLM dalam tugas hilir yang lebih luas, evaluasi kinerja juga perlu menjadi lebih beragam. Sebagai anggota yang berpartisipasi dalam kolaborasi LLM-jp yang diselenggarakan oleh Institut Informatika Nasional (NII), W&B Japan sedang mengerjakan pengembangan untuk menyelesaikan masalah dalam pengembangan LLM Jepang.
Bagikan artikel ini:
Tin tức mới nhất
Simulasi Keamanan Mengungkap Kelemahan Agen Pengkodean AI
13/3/26, 00.00
DryRun Security telah mengungkap penelitian baru yang menunjukkan bahwa agen pengkodean AI, meskipun mempercepat pengembangan perangkat lunak
Opinosis Analytics Meluncurkan Alat Kesiapan Integrasi AI
13/3/26, 00.00
West Jordan, UTAH – Menanggapi tantangan yang dihadapi organisasi dalam memanfaatkan kecerdasan buatan, Opinosis Analytics telah memperkenalkan alat diagnostik baru.
Entitas Meluncurkan Empat Chip MTIA Baru yang Dioptimalkan dengan AI
13/3/26, 00.00
Entitas tersebut telah mengumumkan rencana ambisius untuk mengembangkan dan menerapkan empat generasi baru chip silikon khusus dalam dua tahun ke depan
Copyright © 2024 Generatived - All right Reserved.
Bagikan artikel ini:
Bagikan artikel ini:
Kategori
Berita
AI dan hukum/peraturan/masyarakat
Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.
Berita terkini
Simulasi Keamanan Mengungkap Kelemahan Agen Pengkodean AI
13/3/26, 00.00
DryRun Security telah mengungkap penelitian baru yang menunjukkan bahwa agen pengkodean AI, meskipun mempercepat pengembangan perangkat lunak
Opinosis Analytics Meluncurkan Alat Kesiapan Integrasi AI
13/3/26, 00.00
West Jordan, UTAH – Menanggapi tantangan yang dihadapi organisasi dalam memanfaatkan kecerdasan buatan, Opinosis Analytics telah memperkenalkan alat diagnostik baru.
Entitas Meluncurkan Empat Chip MTIA Baru yang Dioptimalkan dengan AI
13/3/26, 00.00
Entitas tersebut telah mengumumkan rencana ambisius untuk mengembangkan dan menerapkan empat generasi baru chip silikon khusus dalam dua tahun ke depan



%20(1).webp)


