Sejak Juli 2023, Weights & Biases Japan telah mengoperasikan "Papan Peringkat Nejumi LLM" (selanjutnya disebut sebagai "Papan Peringkat Nejumi"), yang menerbitkan peringkat kinerja model bahasa skala besar (LLM) Jepang. Jumlah model LLM yang dievaluasi telah melebihi 20, menjadikannya salah satu papan peringkat model LLM terbesar untuk evaluasi kinerja Jepang di Jepang. Pemeringkatan ini dipublikasikan secara online, dan kode yang digunakan dalam evaluasi dipublikasikan dalam bentuk pekerjaan WandB yang dapat dieksekusi. Papan peringkat Nejumi mengevaluasi model menggunakan kumpulan data JGLUE. JGLUE merupakan kerjasama antara Universitas Waseda dan Yahoo! Sebuah tolok ukur pemahaman bahasa Jepang yang dikembangkan dan diterbitkan oleh JAPAN Institute, papan peringkat Nejumi menggunakan lima tugas yang sangat penting untuk mengukur kemampuan LLM. Saat memeriksa hasil evaluasi berbagai model, skor tinggi GPT-4 dan GPT-3.5, yang membentuk ChatGPT OpenAI, menonjol. Selain itu, model Llama 2 yang dirilis oleh Meta juga meraih skor yang sangat tinggi, dan model yang dilatih dengan data tambahan juga telah bermunculan. Pada papan peringkat Nejumi, StableBeluga2, versi model Llama 2 yang disempurnakan oleh Stability AI, mencapai hasil melebihi GPT-3.5 untuk pertama kalinya. Perkembangan lebih lanjut dapat dilihat pada perkembangan LLM, namun penting juga untuk dicatat bahwa arahnya semakin beragam. Selain itu, seiring dengan berkembangnya penelitian untuk meningkatkan kinerja model dengan parameter yang lebih sedikit dan penggunaan LLM dalam tugas hilir yang lebih luas, evaluasi kinerja juga perlu menjadi lebih beragam. Sebagai anggota yang berpartisipasi dalam kolaborasi LLM-jp yang diselenggarakan oleh Institut Informatika Nasional (NII), W&B Japan sedang mengerjakan pengembangan untuk menyelesaikan masalah dalam pengembangan LLM Jepang.