Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Viện Đổi mới Công nghệ đã công bố ra mắt Falcon LLM, một loạt mô hình AI nguồn mở được thiết kế để tối ưu hóa hiệu quả tính toán. Falcon LLM bao gồm Falcon-40B và Falcon-7B.

Falcon-40B, một mô hình chỉ dành cho bộ giải mã, đã được đào tạo trên tập dữ liệu gồm 1 nghìn tỷ mã thông báo từ RefinedWeb và một kho văn bản được quản lý. Mô hình này vượt trội hơn các mô hình nguồn mở khác như LLaMA, StableLM, RedPajama và MPT và đã cho thấy hiệu suất vượt trội như đã được Bảng xếp hạng OpenLLM xác minh. TTI nhấn mạnh rằng Falcon-40B được trang bị FlashAttention, mang lại kiến ​​trúc được tối ưu hóa cho các tác vụ suy luận hiệu quả.


Falcon-40B là mẫu được đào tạo trước, nhưng TII khuyến nghị tinh chỉnh thêm cho các trường hợp sử dụng cụ thể. Tuy nhiên, đối với các ứng dụng liên quan đến hướng dẫn chung ở dạng trò chuyện, Falcon-40B-Instruct đưa ra giải pháp thay thế phù hợp hơn. Điều quan trọng là Falcon-40B được cung cấp theo giấy phép TII Falcon LLM, cho phép sử dụng mẫu này cho mục đích thương mại. Tính sẵn có về mặt thương mại của nó có nghĩa là nó sẽ trở thành một nguồn tài nguyên có giá trị cho các nhà nghiên cứu, nhà phát triển và công ty trong nhiều lĩnh vực khác nhau sử dụng trong các dự án của họ.

Một sự bổ sung đáng chú ý khác cho dòng sản phẩm Falcon LLM là Falcon-7B. Mô hình chỉ dành cho bộ giải mã nhân quả tiên tiến này tự hào có số lượng tham số là 7 tỷ, đã được đào tạo rộng rãi trên tập dữ liệu gồm 1,5 nghìn tỷ mã thông báo có nguồn gốc từ RefinedWeb và được làm giàu bằng kho văn bản được quản lý. Falcon-7B đã thể hiện hiệu suất vượt trội so với các mẫu mã nguồn mở tương tự như MPT-7B, StableLM và RedPajama. TII cho biết việc tích hợp FlashAttention và công nghệ đa truy vấn sẽ làm tăng thêm hiệu suất và hiệu quả của Falcon-7B trong các nhiệm vụ suy luận. Giống như Falcon-40B, Falcon-7B sẽ được phát hành theo Giấy phép TII Falcon LLM, cho phép sử dụng mẫu này cho mục đích thương mại.