Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Fastly Inc. đã công bố ra mắt rộng rãi Bộ tăng tốc AI nhanh mới, một giải pháp được thiết kế để cải thiện hiệu suất của các ứng dụng AI được tạo bằng mô hình ngôn ngữ quy mô lớn (LLM). Trình tăng tốc này được báo cáo là cải thiện thời gian phản hồi trung bình gấp 9 lần và ban đầu được hỗ trợ OpenAI ChatGPT, nhưng hiện đã được mở rộng sang Microsoft Azure AI Foundry.

Kip Compton, giám đốc sản phẩm của Fastly, nhấn mạnh tầm quan trọng của tốc độ trong các ứng dụng do AI điều khiển và cho biết Bộ tăng tốc AI nhanh giúp giảm đáng kể độ trễ của người dùng cuối. Bằng cách cập nhật lên các điểm cuối API mới, nhà phát triển có thể tận dụng các tính năng bộ nhớ đệm ngữ nghĩa của Fastly. Tính năng này cung cấp phản hồi được lưu vào bộ nhớ đệm nhanh hơn cho các truy vấn lặp lại, tăng hiệu quả và giảm chi phí.

Dave McCarthy, phó chủ tịch nghiên cứu tại IDC, đã ghi nhận những đóng góp của Fastly cho môi trường đám mây biên và nêu bật việc sử dụng bộ nhớ đệm ngữ nghĩa một cách sáng tạo của công ty. Cách tiếp cận này không chỉ giảm số lượng lệnh gọi API mà còn duy trì hiệu suất cao và tiết kiệm chi phí cho các ứng dụng AI do LLM tạo ra. Chiến lược của Fastly nhằm cải thiện trải nghiệm người dùng tổng thể và hỗ trợ các dự án của nhà phát triển.

Nếu bạn là khách hàng hiện tại của Fastly, bạn có thể sử dụng AI Accelerator trực tiếp thông qua tài khoản của mình. Các nhà phát triển quan tâm đến việc tận dụng công nghệ này có thể truy cập trang web của Fastly để tìm hiểu thêm và bắt đầu. Fastly cam kết cải thiện tương tác internet trên toàn thế giới và chúng tôi tiếp tục giúp các thương hiệu hàng đầu mang lại trải nghiệm trực tuyến an toàn và hiệu quả.