Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

GenerativeX (Shibuya-ku, Tokyo) thông báo rằng họ sẽ đưa ra các tham số tinh chỉnh cho mô hình ngôn ngữ quy mô lớn (LLM) được phát triển cho ngành tài chính. Trong ngành tài chính, cần phải xử lý chính xác nhiều thông tin định lượng khác nhau và cần có LLM hiệu suất cao. Tuy nhiên, LLM hiệu suất cao như ChatGPT yêu cầu dữ liệu phải được gửi ra bên ngoài công ty và việc sử dụng LLM đã bị hạn chế trong ngành tài chính, ngành xử lý thông tin nhạy cảm. Do đó, GenerativeX bổ sung cho mô hình Llama2 của Meta, mô hình có 70 tỷ tham số, lớn nhất trong số các nguồn mở, với kiến ​​thức từ ngành tài chính thông qua tinh chỉnh. Chúng tôi đã phát triển và phát hành LLM (bộ chuyển đổi LoRA) độc đáo cho phép.

GenerativeX dựa trên Llama2 (Llama-70B), một trong những mô hình nguồn mở lớn nhất và đã được tinh chỉnh bằng cách sử dụng các bộ dữ liệu công cộng chuyên về lĩnh vực tài chính. Bằng cách sử dụng các công nghệ như LoRA, lượng tử hóa và GPU hiệu suất cao, việc đào tạo mô hình có thể được thực hiện một cách hiệu quả trong một khoảng thời gian ngắn. Mô hình này cho thấy độ chính xác được cải thiện trong việc trả lời các câu hỏi liên quan đến tài chính so với LLM thông thường. Công ty có kế hoạch tiếp tục phát triển các mô hình hỗ trợ các trường hợp sử dụng cụ thể cho lĩnh vực tài chính, chẳng hạn như ngân hàng, chứng khoán và bảo hiểm.

Ngành tài chính không chỉ đòi hỏi khả năng phân tích và thao tác các con số một cách đơn giản mà còn phải có khả năng đưa ra các đề xuất kinh doanh cụ thể và hiểu biết sâu sắc về chiến lược từ những con số đó. Với suy nghĩ này, GenerativeX đã phát triển một mô hình hiểu rõ các đặc điểm của ngành tài chính và đã được tinh chỉnh để đáp ứng nhu cầu của ngành. Cụ thể, bằng cách trang bị cho nó khả năng đưa ra các đề xuất và diễn giải cụ thể cho ngành tài chính từ các giá trị số, nó sẽ góp phần hỗ trợ việc ra quyết định trong thực tế và cải thiện sự phức tạp trong kinh doanh.

Việc phát triển model này được thực hiện bằng GPU mới nhất của NVIDIA "GPU NVIDIA H100 Tensor Core (sau đây gọi là NVIDIA H100"). Điều này có thể thực hiện được nhờ việc áp dụng GenerativeX trong phiên bản dùng thử của "ConoHa byGMO", mà GMO Internet Group bắt đầu cung cấp vào tháng 8 năm 2023 dưới dạng dịch vụ lưu trữ GPU có thể sử dụng "NVIDIA H100", công ty lưu trữ trong nước đầu tiên làm như vậy. Người ta nói rằng anh ấy đã làm như vậy. GenerativeX đã tuyên bố rằng họ sẽ tiếp tục sử dụng các dịch vụ của "ConoHa by GMO" để phát triển các mô hình.