Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Anyscale, một công ty cơ sở hạ tầng AI, đã ra mắt Anyscale Endpoint, một dịch vụ cho phép các nhà phát triển kết hợp các mô hình ngôn ngữ quy mô lớn (LLM) vào ứng dụng của họ. Dịch vụ này đã được công bố tại Ray Summit 2023, một hội nghị hàng đầu về LLM và AI tổng hợp. Điểm cuối được quảng cáo là tiết kiệm chi phí hơn đáng kể so với các giải pháp độc quyền tương tự, với một số nhiệm vụ nhất định có chi phí thấp hơn tới 10 lần. Điểm cuối cho phép các nhà phát triển thêm chức năng LLM vào các ứng dụng sản xuất mà không cần phát triển nền tảng AI tùy chỉnh. Theo Bloomberg Intelligence, nhu cầu về AI tổng quát và các ứng dụng LLM chất lượng cao đang gia tăng, với thị trường AI tổng quát dự kiến ​​sẽ tăng từ 40 tỷ USD vào năm 2022 lên 1,3 nghìn tỷ USD trong thập kỷ tới. Nền tảng Anyscale cung cấp các điểm cuối LLM mã nguồn mở tiên tiến như Llama-2 70B với giá 1 USD trên một triệu token, giúp các nhà phát triển ứng dụng dễ dàng tiếp cận các dịch vụ LLM hơn. LLM mang lại giá trị đáng kể cho doanh nghiệp vì nó có thể được tùy chỉnh cho các trường hợp sử dụng cụ thể và được tinh chỉnh với nội dung và bối cảnh bổ sung để đáp ứng nhu cầu cụ thể của người dùng cuối. Anyscale cũng cho phép khách hàng chạy và sử dụng các dịch vụ Điểm cuối trong tài khoản đám mây hiện có của họ trên AWS hoặc GCP. Khách hàng có thể nâng cấp lên nền tảng ứng dụng Anyscale AI hoàn chỉnh để tận dụng khả năng tùy chỉnh hoàn toàn của LLM, kiểm soát chi tiết dữ liệu và mô hình cũng như khả năng triển khai nhiều ứng dụng AI trên cùng một cơ sở hạ tầng. Dịch vụ này tích hợp với các thư viện và khung công tác Python và machine learning phổ biến, cho phép các nhà phát triển giải quyết nhiều trường hợp sử dụng khác nhau trên bất kỳ đám mây nào khi ứng dụng AI của họ phát triển.