Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Novita AI đã hợp tác chiến lược với vLLM, một công ty hàng đầu về công cụ suy luận nguồn mở cho các mô hình ngôn ngữ lớn. Quan hệ đối tác này nhằm mục đích thúc đẩy sự đổi mới trong AI và phát triển cộng đồng nguồn mở. Thuật toán PagedAttention của vLLM, được biết đến với khả năng tối ưu hóa hiệu suất của các mô hình ngôn ngữ lớn, hiện sẽ khả dụng cho các nhà phát triển, cung cấp phương pháp tiếp cận hiệu quả hơn về bộ nhớ cho các ứng dụng AI trên nhiều nền tảng khác nhau đồng thời cũng giảm chi phí.

Junyu Huang, đồng sáng lập kiêm giám đốc điều hành của Novita AI, bày tỏ kỳ vọng mạnh mẽ rằng quan hệ đối tác này có thể đóng góp đáng kể vào việc cải thiện hiệu quả triển khai AI. Novita AI đang cung cấp các tài nguyên điện toán hiệu suất cao để giúp vLLM tiếp tục cải thiện các công cụ của mình. Sự hỗ trợ này dự kiến sẽ cải thiện hơn nữa khả năng của vLLM và cho phép các nhà phát triển triển khai các mô hình ngôn ngữ lớn hiệu quả hơn.

Thông qua quan hệ đối tác này, người dùng nền tảng của Novita AI sẽ có thể hưởng lợi từ khả năng suy luận tiên tiến của vLLM, đơn giản hóa quy trình phát triển và đẩy nhanh việc triển khai các giải pháp AI. Huang coi đây là khởi đầu cho hành trình đẩy nhanh tiến trình phát triển AI và cung cấp các tài nguyên tiên tiến có tác động lớn hơn đến các nhà phát triển.

Cả Novita AI và vLLM đều cam kết thúc đẩy một môi trường thúc đẩy việc sử dụng AI nguồn mở. Bằng cách kết hợp nền tảng đám mây mạnh mẽ của Novita AI với công cụ suy luận hiệu quả của vLLM, chúng tôi hướng đến mục tiêu cung cấp các công cụ cần thiết cho các giải pháp AI có tác động và kích thích một hệ sinh thái thúc đẩy sự đổi mới. Huang coi quan hệ đối tác này là cam kết chung nhằm tăng cường AI nguồn mở và mở rộng cơ hội cho các nhà phát triển trên toàn thế giới.