Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Kể từ tháng 7 năm 2023, Weights & Biases Japan đã vận hành "Bảng xếp hạng Nejumi LLM" (sau đây gọi là "Bảng xếp hạng Nejumi"), nơi công bố bảng xếp hạng về hiệu suất tiếng Nhật của các mô hình ngôn ngữ quy mô lớn (LLM). Số lượng mô hình LLM được đánh giá đã vượt quá 20, khiến nó trở thành một trong những bảng xếp hạng mô hình LLM lớn nhất để đánh giá hiệu suất của người Nhật tại Nhật Bản. Xếp hạng này được công bố trực tuyến và mã được sử dụng trong đánh giá được công bố dưới dạng công việc WandB có thể thực thi được. Bảng xếp hạng Nejumi đánh giá các mô hình bằng cách sử dụng bộ dữ liệu JGLUE. JGLUE là sự hợp tác giữa Đại học Waseda và Yahoo! Một tiêu chuẩn về khả năng hiểu tiếng Nhật do Viện JAPAN phát triển và công bố, bảng xếp hạng Nejumi sử dụng năm nhiệm vụ đặc biệt quan trọng để đo lường khả năng LLM. Khi kiểm tra kết quả đánh giá của nhiều mô hình khác nhau, điểm số cao của GPT-4 và GPT-3.5, tạo nên ChatGPT của OpenAI, nổi bật. Ngoài ra, mô hình Llama 2 do Meta phát hành cũng đạt điểm rất cao và các mô hình được huấn luyện với dữ liệu bổ sung cũng đã xuất hiện. Trên bảng xếp hạng Nejumi, StableBeluga2, phiên bản tinh chỉnh của mô hình Llama 2 của Stability AI, lần đầu tiên đã đạt được kết quả vượt GPT-3.5. Những phát triển tiếp theo có thể được nhìn thấy trong sự phát triển của LLM, nhưng điều quan trọng cần lưu ý là các hướng đi của nó đang đa dạng hóa. Ngoài ra, khi nghiên cứu cải thiện hiệu suất của các mô hình với ít tham số hơn và việc sử dụng LLM trong phạm vi rộng hơn của các nhiệm vụ tiếp theo tiến triển, việc đánh giá hiệu suất cũng sẽ cần phải trở nên đa dạng hơn. Là thành viên tham gia cộng tác LLM-jp do Viện Tin học Quốc gia (NII) chủ trì, W&B Japan đang nỗ lực phát triển để giải quyết các vấn đề trong quá trình phát triển LLM của Nhật Bản.