Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Tại NeurIPS 2024, Cerebras Systems đã công bố CePO, một khung mới được thiết kế để nâng cao khả năng suy luận của AI tổng hợp. CePO, viết tắt của Cerebras Planning and Optimization, sẽ cải thiện hiệu suất của dòng mô hình Llama của Meta. Khung này cho phép Llama 3.3-70B vượt trội hơn so với phiên bản tiền nhiệm Llama 3.1-405B trên nhiều điểm chuẩn khác nhau trong khi vẫn duy trì tốc độ 100 mã thông báo mỗi giây, thể hiện mức tăng đáng kể trong các mô hình suy luận thời gian thử nghiệm.

Công ty nhấn mạnh rằng việc CePO giới thiệu mô hình Llama, được công nhận rộng rãi là mô hình ngôn ngữ quy mô lớn (LLM) nguồn mở hàng đầu, là một bước tiến đáng chú ý đối với cộng đồng AI. Khả năng thực hiện suy luận nâng cao của khung mà không cần tăng kích thước mô hình khiến nó khác biệt so với các mô hình AI khác như OpenAI o1 và Alibaba QwQ, những mô hình cũng sử dụng tính toán bổ sung trong quá trình suy luận.

Ganesh Venkatesh, người đứng đầu ML ứng dụng tại Cerebras Systems, đã nhấn mạnh cách tiếp cận độc đáo của khung, kết hợp suy luận từng bước với phân tích so sánh và đầu ra có cấu trúc. Phương pháp này cho phép Llama 3.3-70B hoạt động tốt trên nhiều tiêu chuẩn khác nhau như MMLU-Pro (Toán học), GPQA và CRUX, đồng thời nêu bật tiềm năng của các kỹ thuật suy luận nâng cao để cải thiện đáng kể hiệu suất mô hình.

Cerebras Systems cũng đã chứng minh khả năng vượt trội của CePO trong việc xử lý các nhiệm vụ suy luận phức tạp. Nó hoạt động ngang bằng hoặc tốt hơn các mẫu AI hàng đầu khác như GPT-4 Turbo và Claude 3.5 Sonnet trên các điểm chuẩn như CRUZ, LiveCodeBench và GPQA. Sự thành công của khuôn khổ này trong các nhiệm vụ lý luận cổ điển hỗ trợ thêm cho khả năng thực hiện lý luận thực sự của nó. Quy trình bốn giai đoạn của CePO bao gồm lập kế hoạch từng bước và phân tích thực hiện chéo, có thể tạo ra nhiều kế hoạch để tự kiểm tra và tối ưu hóa phần cứng của Cerebras duy trì hiệu suất nhanh chóng cho Masu.

Andrew Feldman, Giám đốc điều hành và đồng sáng lập của Cerebras Systems, cho biết sự cân bằng giữa tốc độ suy luận và tương tác nâng cao của CePO sẽ mở đường cho các ứng dụng AI mới. Bằng cách cung cấp các kỹ thuật suy luận phức tạp này trong các mô hình Llama, công ty đặt mục tiêu dân chủ hóa khả năng tiếp cận các khả năng AI tiên tiến. Cerebras có kế hoạch mở mã nguồn khung CePO để khuyến khích sự đổi mới và phát triển hơn nữa về suy luận AI của cộng đồng các nhà nghiên cứu và phát triển toàn cầu.