Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Orts (Minato-ku, Tokyo) là một công ty phát triển và thương mại hóa AI cá nhân, đồng thời đã phát triển mô hình ngôn ngữ quy mô lớn mới "LHTM-OPT" với số lượng tham số được tối ưu hóa có thể sử dụng trên các máy GPU quy mô nhỏ. Công ty thông báo rằng họ đã phát triển ``Opt'' và đã đạt được hiệu suất cao nhất với tư cách là LLM tư nhân thương mại Nhật Bản (Mô hình ngôn ngữ quy mô lớn). Đánh giá này dựa trên tiêu chuẩn LLM "Rakuda", đạt hiệu suất hàng đầu tại Nhật Bản khi so sánh với các mô hình ngôn ngữ quy mô lớn tại Nhật Bản.

Các mô hình ngôn ngữ quy mô lớn với các tham số quy mô lớn đòi hỏi nguồn lực và năng lượng tính toán khổng lồ, đồng thời có những lo ngại về gánh nặng gia tăng đối với môi trường. Do đó, hiện đang có những nghiên cứu tích cực về các mô hình tham số quy mô nhỏ, nhẹ nhưng có độ chính xác tương đương với các mô hình quy mô lớn. Orts đã bắt đầu tích cực và sớm phát triển AI tổng quát để giải quyết các vấn đề xã hội như vậy và đã thành công trong việc phát triển "LHTM-OPT", một mô hình tham số quy mô nhỏ.

Mô hình ngôn ngữ quy mô lớn "LHTM-2" do Alts cung cấp có số lượng tham số khổng lồ và được thiết lập để có mức độ tự do điều chỉnh rất cao. Ngược lại, ``LHTM-OPT'' là một mẫu nhẹ được tối ưu hóa cho mục đích sử dụng thực tế, vì các tham số của nó có thể được thực thi ngay cả trên các máy GPU quy mô nhỏ. Khi phát triển LHTM-OPT, Orts không chỉ học từ dữ liệu mở mà còn tạo ra các bộ dữ liệu hướng dẫn và dữ liệu tương tác của riêng mình để cải thiện độ chính xác.

Điểm đánh giá của “LHTM-OPT” đã đạt 1152, mức cao nhất tại Nhật Bản tính đến ngày 19 tháng 10 năm 2023. Nó cũng đạt được số điểm cao nhất của Nhật Bản là 56,12 trong số các mô hình thương mại ở mức trung bình 8 nhiệm vụ của tiêu chuẩn hiểu tiếng Nhật "JGLUE (Đánh giá hiểu ngôn ngữ chung tiếng Nhật)". Điểm trung bình cho bốn nhiệm vụ chính của JGLUE dành cho "LHTM-OPT" là 75,08. Việc họ có thể đạt được từng điểm dưới thông số 10B được coi là dấu hiệu cho thấy năng lực công nghệ của Alts ở mức độ cao trên cấp độ toàn cầu.