Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Viện AI Allen đã công bố OLMo 7B, một mô hình ngôn ngữ quy mô lớn nguồn mở toàn diện với dữ liệu đào tạo trước và mã đào tạo. Bản phát hành này là một bước quan trọng nhằm tăng cường tính minh bạch và hợp tác trong phát triển AI, vì nó cung cấp quyền truy cập chưa từng có vào các tài nguyên chưa từng có trong mô hình mở ở quy mô này trước đây. Bằng cách chia sẻ OLMo 7B, viện hướng tới mục tiêu giúp các nhà nghiên cứu và nhà phát triển hiểu rõ hơn về các mô hình AI.

Khung của OLMo được thiết kế riêng để hỗ trợ cộng đồng AI trong việc đào tạo và tinh chỉnh các mô hình ngôn ngữ trên quy mô lớn. Các tài nguyên, bao gồm cả các mô hình, có thể dễ dàng truy cập để tải xuống từ các nền tảng như Ôm mặt và GitHub. Công việc này được thực hiện nhờ sự hợp tác với nhiều tổ chức và đối tác, bao gồm Viện Kempner của Đại học Harvard và các công ty công nghệ như AMD và Databricks. Việc phát hành khuôn khổ này sẽ củng cố tiến bộ chung trong lĩnh vực nghiên cứu mô hình ngôn ngữ.

Bộ công cụ được cung cấp trong khuôn khổ OLMo rất phong phú. Nó bao gồm một tập dữ liệu đào tạo trước khổng lồ được gọi là bộ Dolma, được xây dựng trên kho dữ liệu mở gồm 3 nghìn tỷ mã thông báo. Ngoài ra, khung này còn cung cấp trọng số mô hình hoàn chỉnh cho các biến thể mô hình khác nhau, cùng với mã suy luận và nhật ký đào tạo chi tiết. Bộ đánh giá cũng là một phần của gói, với các điểm kiểm tra mở rộng để đánh giá mô hình kỹ lưỡng.

Việc Viện AI Allen phát hành OLMo là một động thái chiến lược nhằm thúc đẩy cách tiếp cận hợp tác và minh bạch hơn để phát triển mô hình ngôn ngữ. Viện có kế hoạch mở rộng dòng OLMo với nhiều kích cỡ mô hình và tính năng khác nhau trong tương lai gần. Nỗ lực này dự kiến ​​sẽ dẫn đến nghiên cứu AI chính xác hơn, giảm lượng khí thải carbon trong phát triển AI và tạo ra nguồn tài nguyên lâu dài cho cộng đồng khoa học. Siêu máy tính LUMI của Phần Lan, được biết đến với các hoạt động trung hòa carbon, đã đóng một vai trò then chốt trong quá trình đào tạo trước của OLMo, nêu bật tầm quan trọng của các hoạt động bền vững trong sự tiến bộ của công nghệ AI.