Akamai (Cambridge, Massachusetts) telah mengumumkan layanan baru, Akamai Cloud Inference, yang menyediakan dukungan cepat dan efisien bagi organisasi yang ingin menerapkan model bahasa berskala besar ke dalam praktik. Layanan ini berjalan di Akamai Cloud dan memanfaatkan platform terdistribusi untuk mengatasi keterbatasan cloud terpusat.

Adam Karon mengemukakan tantangan dalam pemrosesan data AI. "Pelatihan dilakukan di pusat data, tetapi pemrosesan inferensi dilakukan di edge," katanya, seraya menekankan bahwa platform edge Akamai sangat penting bagi masa depan AI. Perusahaan tersebut telah membangun teknologi edge selama lebih dari 25 tahun.

Teknologi inferensi AI Akamai melipatgandakan throughput dan mengurangi latency hingga 60%. Teknologi ini dapat mengurangi beban kerja AI secara signifikan dibandingkan dengan infrastruktur tradisional. Teknologi ini menawarkan berbagai opsi komputasi termasuk GPU dan VPU ASIC, dan terintegrasi dengan ekosistem AI NVIDIA.

Perusahaan ini juga bermitra dengan VAST Data untuk manajemen data guna mempercepat akses ke data real-time. Integrasi dengan penyimpanan objek dan basis data vektor memperkuat manajemen set data yang diperlukan untuk aplikasi AI. Kontainerisasi meningkatkan toleransi kesalahan dan memungkinkan dukungan multi-cloud, dan untuk komputasi edge, fungsi WebAssembly digunakan untuk menyederhanakan pekerjaan pengembang.

Akamai Cloud Inference berjalan pada platform terdistribusi berskala besar yang menyediakan throughput lebih dari 1 petabyte/detik. Platform ini menyediakan sumber daya komputasi dari cloud ke edge melalui lebih dari 1.200 jaringan di lebih dari 130 negara, sehingga mempercepat kinerja aplikasi.