Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Akamai (Cambridge, Massachusetts) đã công bố một dịch vụ mới, Akamai Cloud Inference, cung cấp hỗ trợ nhanh chóng và hiệu quả cho các tổ chức muốn đưa các mô hình ngôn ngữ quy mô lớn vào sử dụng thực tế. Dịch vụ này chạy trên Akamai Cloud và sử dụng nền tảng phân tán để giải quyết các hạn chế của đám mây tập trung.

Adam Karon chỉ ra những thách thức trong việc xử lý dữ liệu AI. "Đào tạo được thực hiện tại trung tâm dữ liệu, nhưng xử lý suy luận được thực hiện tại biên", ông nói, nhấn mạnh rằng nền tảng biên của Akamai là thiết yếu cho tương lai của AI. Công ty đã xây dựng công nghệ biên trong hơn 25 năm.

Công nghệ suy luận AI của Akamai tăng gấp ba lần thông lượng và giảm latency tới 60%. Nó có thể giảm đáng kể khối lượng công việc AI so với cơ sở hạ tầng truyền thống. Nó cung cấp nhiều tùy chọn điện toán bao gồm GPU và ASIC VPU, và đang tích hợp với hệ sinh thái AI của NVIDIA.

Công ty cũng đã hợp tác với VAST Data để quản lý dữ liệu nhằm tăng tốc độ truy cập vào dữ liệu thời gian thực. Tích hợp với lưu trữ đối tượng và cơ sở dữ liệu vector tăng cường quản lý các tập dữ liệu cần thiết cho các ứng dụng AI. Containerization cải thiện khả năng chịu lỗi và cho phép hỗ trợ đa đám mây, và đối với điện toán biên, các chức năng WebAssembly được sử dụng để đơn giản hóa công việc của nhà phát triển.

Akamai Cloud Inference chạy trên nền tảng phân tán quy mô lớn cung cấp thông lượng hơn 1 petabyte/giây. Nó cung cấp tài nguyên điện toán từ đám mây đến biên thông qua hơn 1.200 mạng tại hơn 130 quốc gia, giúp tăng tốc hiệu suất ứng dụng.