Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

MangoBoost đã công bố Mango LLMBoost™, một phần mềm tối ưu hóa hệ thống mới nhằm mục đích cải thiện hiệu suất của các trung tâm dữ liệu AI. Phần mềm này hứa hẹn sẽ cải thiện đáng kể hiệu quả suy luận AI, tự hào có hiệu suất cải thiện lên đến 12,6 lần và giảm 92% chi phí so với các công cụ suy luận LLM cạnh tranh. Mango LLMBoost™ tận dụng các kỹ thuật tiên tiến như lập lịch hệ thống, tối ưu hóa hạt nhân và cơ chế tìm nạp trước độc đáo để tối ưu hóa việc sử dụng GPU bằng cách sử dụng lượng tử hóa mô hình.

Công ty đã cung cấp Mango LLMBoost™ trên AWS Marketplace, với kế hoạch cung cấp cho các dịch vụ đám mây khác và triển khai tại chỗ. Phần mềm hỗ trợ nhiều loại GPU từ NVIDIA và AMD và có thể quản lý nhiều mô hình AI, bao gồm Llama và Gemma, trên một máy chủ duy nhất. Mango LLMBoost™ đơn giản hóa việc triển khai với API web và API phát trực tuyến, đồng thời tự động cấu hình cài đặt hiệu suất tối ưu cho phần cứng và mô hình cụ thể.

CEO của MangoBoost, Jangwoo Kim, đã nhấn mạnh cam kết của công ty trong việc cải thiện hiệu suất và hiệu quả ở cấp độ hệ thống. Mango LLMBoost™ là minh chứng cho cam kết này, xây dựng dựa trên chuyên môn DPU của MangoBoost để tối ưu hóa cả thành phần phần cứng và phần mềm. Sự đổi mới này giúp các doanh nghiệp nhận ra toàn bộ tiềm năng của cơ sở hạ tầng AI của họ.

Những người quan tâm đến Mango LLMBoost™ có thể tìm hiểu thêm trên trang web sản phẩm. Được thành lập vào năm 2022, MangoBoost được hỗ trợ bởi hơn 60 triệu đô la tiền tài trợ và một đội ngũ hơn 100 chuyên gia, bao gồm nhiều tiến sĩ, và đang nhanh chóng tạo dựng tên tuổi trong lĩnh vực hiệu quả của trung tâm dữ liệu AI. Cốt lõi của giải pháp là công nghệ DPU của công ty được bảo vệ bởi hơn 30 bằng sáng chế và được thiết kế để hoạt động liền mạch với nhiều sản phẩm GPU và lưu trữ.