Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Nhóm nghiên cứu LLM-jp (NII, Đại học Tohoku, Đại học Tokyo, Waseda Nhóm Nghiên cứu và Phát triển LLM, bao gồm các trường đại học và các tổ chức khác, sẽ bắt đầu phát triển một mô hình ngôn ngữ quy mô lớn (LLM) đẳng cấp thế giới sẽ đóng vai trò là cơ sở cho AI sáng tạo. Bước đầu tiên, LLM-jp sẽ bắt đầu xây dựng LLM với 175 tỷ thông số, gấp 10 lần quy mô của LLM thông thường được sản xuất trong nước. AIST sẽ cung cấp Đám mây cầu nối AI (ABCI), đây là tài nguyên tính toán cần thiết để xây dựng LLM. Ngoài ra, để phát triển trong tương lai, công ty sẽ hợp tác với Tokyo Tech và LLM-jp để tạo ra dữ liệu ngôn ngữ cần thiết cho quá trình phát triển.

Bằng cách tiến hành nghiên cứu và phát triển bằng cách tập hợp kiến ​​thức về dữ liệu, thuật toán và việc sử dụng tài nguyên tính toán liên quan đến xây dựng LLM do AIST, Tokyo Tech và LLM-jp sở hữu, chúng tôi sẽ tạo ra kết quả góp phần tăng cường khả năng cạnh tranh công nghiệp của Nhật Bản và giải quyết các vấn đề xã hội. vấn đề. Công nghệ AI là một trong những trụ cột hỗ trợ ngành công nghiệp của đất nước và rất cần thiết cho công việc hiệu quả nhằm bù đắp cho lực lượng lao động đang suy giảm và sử dụng nâng cao dữ liệu quy mô lớn được thu thập qua Internet. Đặc biệt, nghiên cứu về LLM, một yếu tố kỹ thuật của AI xử lý ngôn ngữ, đang được tiến hành. Tuy nhiên, chỉ cần sử dụng LLM đã được các công ty, tổ chức nghiên cứu bên ngoài Nhật Bản nghiên cứu và phát triển một cách khép kín sẽ biến quá trình xây dựng LLM thành một hộp đen. Do đó, những lo ngại như vi phạm quyền và rò rỉ thông tin không thể được loại bỏ khi sử dụng LLM. Để sử dụng LLM mạnh về tiếng Nhật, cần phải xây dựng LLM sản xuất trong nước có tính minh bạch cao và có thể yên tâm sử dụng, trong đó quy trình xây dựng và dữ liệu được sử dụng rõ ràng.

AIST cho đến nay đã tiến hành nghiên cứu và phát triển công nghệ AI với sự cộng tác của các viện nghiên cứu và trường đại học quốc gia. AIST và NII đã ký thỏa thuận hợp tác và hợp tác vào ngày 18 tháng 1 năm 2019 về việc sử dụng AIST ABCI và hợp tác nghiên cứu liên quan đến AI. Vào năm 2023, chúng tôi đã đạt được thỏa thuận với NII để xây dựng LLM sử dụng ABCI, đồng thời nỗ lực xây dựng và quản lý các bộ dữ liệu dùng chung quy mô lớn, chất lượng cao. Song song đó, AIST và Tokyo Tech cũng đang tiến hành nghiên cứu xây dựng LLM. Vào tháng 9 năm 2023, NII đã đăng ký tham gia Chương trình hỗ trợ xây dựng mô hình ngôn ngữ quy mô lớn lần thứ 2 của ABCI, với AIST, Tokyo Tech và LLM-jp là các tổ chức tham gia và đã được chọn. Chương trình hỗ trợ xây dựng mô hình ngôn ngữ quy mô lớn, nhằm đáp ứng nhu cầu xây dựng LLM ngày càng tăng, mang đến cho những ứng viên được chọn cơ hội sử dụng độc quyền một phần nhất định của ABCI (nút tính toán hiệu suất cao được gọi là nút A) trong tối đa 60 ngày. Điều này sẽ cho phép xây dựng LLM, đòi hỏi nguồn lực tính toán quy mô lớn.

Là bước đầu tiên hướng tới việc xây dựng LLM đẳng cấp thế giới, LLM-jp sẽ bắt đầu xây dựng LLM mở và mạnh mẽ bằng tiếng Nhật. Số lượng tham số đại diện cho quy mô của LLM sẽ được xây dựng lần này là 175 tỷ, cùng quy mô với GPT-3, LLM do OpenAI xây dựng. AIST sẽ cung cấp ABCI làm tài nguyên tính toán cần thiết để xây dựng LLM. Ngoài ra, AIST và Tokyo Tech sẽ hợp tác với LLM-jp để xây dựng bộ dữ liệu chia sẻ quy mô lớn, chất lượng cao cần thiết cho việc phát triển LLM. Thông qua sáng kiến ​​này, chúng tôi mong muốn xây dựng LLM tiếng Nhật cấp độ GPT-3 mở đầu tiên của Nhật Bản. Điều này sẽ góp phần phát triển công nghệ AI xử lý dữ liệu đa phương thức bằng LLM, quy trình xây dựng rõ ràng và có tính minh bạch cao cũng như cho các ứng dụng robot của AI tổng hợp. Công ty cũng có kế hoạch làm sáng tỏ hơn nữa các nguyên tắc của LLM, dẫn đến hiện thực hóa đời sống xã hội nơi LLM có thể được yên tâm sử dụng.