Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Weights ＆ Biases Japan（東京都中央区）は、大規模言語モデル（LLM）の開発手法に焦点を当てたホワイトペーパーの第2弾、「LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス」を公開したと発表した。このホワイトペーパーは、LLM導入を検討している企業向けに、自社のリソースやビジネスモデルに合わせたLLM開発手法を選択するための実践的ガイドとなる。第1弾の「LLMをゼロからトレーニングするためのベストプラクティス」を補完する形で、既存のLLMモデルを拡張し、自社用途に適応する手法について解説している。印刷済みの冊子は、10月11日に開催されるWandBユーザーコンファレンスFully Connected 2023および、10月24日から26日にかけて開催されるAI Expo 2023秋で配布予定だという。「LLMファインチューニングとプロンプトエンジニアリングのベストプラクティス」では、LLMが汎用的な性質を持っているため、チューニングを行わずに領域固有のタスクに使用することも可能だが、特定の領域で高い精度のアウトプットを得るためには、通常ファインチューニングを行うか、汎用LLMを下流のタスクに適応させるためのプロンプトエンジニアリングを行う必要があると指摘している。このホワイトペーパーでは、LLMを使って特定のユースケースに最適なアプローチを選択する上で、ファインチューニングとプロンプトエンジニアリング両トピックについて、最新の手法の概要とその比較に基づき、それぞれの手法の最も適した応用方法を考察している。Weights ＆ Biasesは、ML開発プロセスを可視化・管理・検証するための実験管理・MLOpsを提供するプラットフォームであるWandBにおいて、LLM開発を支援するPrompts機能やデプロイ後のモデルモニタリング機能をLangChainやLlamaIndexなどの主要なLLMアプリケーション開発フレームワークとのインテグレーションとともに提供している。また、これまでにもLLMホワイトペーパー第1弾「LLMをゼロからトレーニングするためのベストプラクティス」の公開などを通じ、速い速度で拡大しているLLMランドスケープに貢献しているという。日本においては、LLMモデルの日本語性能を評価する「Nejumi LLMリーダーボード」も運営し、主要なLLMモデルをJGLUEデータセットを使って順次評価し、結果を公開している。これまでに評価されたLLMモデルの数は25を超え、国内で最大級のLLM評価リーダーボードに成長している。本リーダーボードはWandBプラットフォームの機能群をもとに構築されており、LLM開発をリードする先進企業において、既に幅広く応用されているとのことだ。