Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

VSORA (Pháp) đã phát triển một kiến trúc mới trong lĩnh vực suy luận AI và đang tập trung vào việc mở rộng sản xuất chip để đáp ứng nhu cầu thị trường. Khaled Maalej, nhà sáng lập kiêm giám đốc điều hành của công ty, cho biết: "Với nguồn tài trợ này, chúng tôi sẽ đáp ứng nhu cầu của thị trường".

Kiến trúc do công ty phát triển đã phá vỡ nút thắt về giới hạn băng thông bộ nhớ của các kiến trúc dựa trên GPU truyền thống. Như thể hiện trong Hình 1, kiến trúc này áp dụng phương pháp nhóm thanh ghi khác với cấu trúc bộ nhớ đệm phân cấp để cải thiện đáng kể việc sử dụng tính toán.

Ngoài ra, kiến trúc của VSORA cho phép hỗ trợ độ chính xác hỗn hợp và quản lý phạm vi động để hỗ trợ các ứng dụng nâng cao như LLM. Với các lõi điện toán có thể định cấu hình lại khi đang chạy, kiến trúc này hỗ trợ các hoạt động hỗn hợp TensorCore và DSP ở nhiều cấp độ chính xác khác nhau từ FP8 đến FP32.

Ngoài ra, VSORA đã phát triển một trình biên dịch thông minh giúp đơn giản hóa việc giới thiệu suy luận AI hiệu suất cao. Nó hỗ trợ các khuôn khổ tiêu chuẩn công nghiệp như TensorFlow, PyTorch và ONNX, và ánh xạ các mô hình AI trực tiếp vào kiến trúc phần cứng với phần phụ trợ dựa trên LLVM. Điều này loại bỏ nhu cầu điều chỉnh thủ công tốn thời gian, cho phép triển khai nhanh chóng và đơn giản.