Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Quadric đã công bố hỗ trợ ngay lập tức cho Mô hình ngôn ngữ quy mô lớn (LLM) Llama 2 trên lõi sở hữu trí tuệ (IP) của Bộ xử lý thần kinh mục đích chung Chimera (GPNPU). Không giống như các nhà cung cấp bộ xử lý ứng dụng bán dẫn và IP khác, Quadric có thể bổ sung hỗ trợ này thông qua một cổng phần mềm đơn giản mà không thực hiện bất kỳ thay đổi phần cứng nào. Điều này có nghĩa là các thiết kế hiện có có thể chạy mô hình này ngay lập tức, trong khi các nhà cung cấp khác đang lên kế hoạch thay đổi phần cứng để cung cấp hỗ trợ từ năm 2024 trở đi. Llama2 LLM, được Meta giới thiệu vào ngày 18 tháng 7 năm nay cho AI tổng quát, trước đây được cho là chỉ khả thi trong các trung tâm dữ liệu đám mây. Tuy nhiên, mối quan hệ hợp tác được công bố của Meta và Qualcomm nhằm chuyển Llama2 sang các chip Qualcomm Snapdragon trong tương lai dự kiến ​​vào năm 2024 đã thu hút sự chú ý của thị trường và đầu tư vào việc triển khai LLM trên thiết bị giữa các nhà cung cấp chip và IP. Nhóm của Quadric đã chuyển thành công phiên bản lượng tử hóa INT8 của Llama2 sang nền tảng Chimera và điều chỉnh hiệu suất chỉ trong 13 trên tổng số bốn tuần kỹ thuật. Điều này đạt được bằng cách mã hóa hai lớp toán tử ML mới và hai biến thể của nhân toán tử hiện có trong C++ để chạy mô hình. Hai tuần kỹ thuật bổ sung được dành để tinh chỉnh hiệu suất và độ chính xác của vỏ góc để đảm bảo rằng nó hoạt động đáng tin cậy với cả ba kích cỡ của bộ xử lý dòng Chimera QB. Trong khi đó, các nhà cung cấp giải pháp suy luận máy học khác với các nhóm lớn vẫn đang gặp khó khăn để đạt được mục tiêu chuyển đổi trong tháng 6. Hiệu suất của Chimera QB4 4 TOPs GPNPU của Quadric chạy Llama2 15M rất ấn tượng, đạt hiệu suất 225 token/giây/watt với công nghệ 5nm trong khi chỉ chiếm 2,5 mm2. Để so sánh, CPU đơn có hiệu suất cao nhất trong máy tính xách tay M1 Pro chỉ đạt được 11 token/giây/W khi chạy cùng phiên bản Int8 của Llama2. Điều này có nghĩa là Quadric mang lại khả năng suy luận ML trên mỗi watt cải thiện gấp 20 lần so với các CPU hiện đại.