Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

FriendliAI đã công bố Điểm cuối không máy chủ Friendli mới, một dịch vụ được thiết kế để dễ dàng tích hợp các mô hình AI tổng hợp vào nhiều ứng dụng khác nhau. Sản phẩm này nhằm mục đích đơn giản hóa quá trình phát triển bằng cách loại bỏ nhu cầu người dùng quản lý cơ sở hạ tầng thường được liên kết với các mô hình đó. Dịch vụ này tự hào có khả năng tương thích với các mô hình được sử dụng rộng rãi như Llama 2, CodeLlama, Mistral và Stable Diffusion, mang lại cho bạn quyền kiểm soát chi tiết đối với việc sử dụng tài nguyên.

Công ty cho biết họ sẽ giới thiệu một mô hình định giá cạnh tranh cho Serverless Endpoint, tính phí 0,2 USD trên một triệu token cho mô hình Llama 2 13B và 0,8 USD trên một triệu token cho mô hình Llama 2 70B. FriendliAI cũng tuyên bố rằng dịch vụ của họ cung cấp phản hồi truy vấn nhanh hơn 2 đến 4 lần so với các giải pháp hàng đầu khác. Hiệu suất này là do công cụ Friendli độc quyền của hãng, được cho là giúp giảm đáng kể số lượng GPU cần thiết để hoạt động, từ đó giảm chi phí và tăng hiệu suất.

FriendliAI cho biết họ cũng cung cấp các điểm cuối dành riêng cho Friendli cho khách hàng có nhu cầu cụ thể, cung cấp các phiên bản GPU dựa trên đám mây được điều chỉnh theo yêu cầu riêng của họ. Ngoài ra, công ty cũng đang phục vụ những người dùng thích các giải pháp đóng gói với Friendli Container có sẵn thông qua Docker. Nhiều tùy chọn này nhằm mục đích hỗ trợ nhiều dự án AI tổng hợp khác nhau, đảm bảo người dùng có thể tìm thấy giải pháp phù hợp cho mục đích riêng của họ.