mengumumkan ketersediaan umum Fastly AI Accelerator barunya, sebuah solusi yang dirancang untuk meningkatkan kinerja aplikasi AI yang dihasilkan model bahasa skala besar (LLM). Akselerator ini dilaporkan meningkatkan waktu respons rata-rata 9x, dan awalnya mendukung OpenAI ChatGPT, namun kini telah diperluas ke Microsoft Azure AI Foundry.

Kip Compton, chief product officer di Fastly, menekankan pentingnya kecepatan dalam aplikasi berbasis AI dan mengatakan Fastly AI Accelerator secara signifikan mengurangi latensi pengguna akhir. Dengan memperbarui ke titik akhir API baru, pengembang dapat memanfaatkan fitur cache semantik Fastly. Fitur ini memberikan respons cache yang lebih cepat untuk kueri berulang, meningkatkan efisiensi, dan mengurangi biaya.

Dave McCarthy, wakil presiden penelitian di IDC, mengakui kontribusi Fastly terhadap lingkungan edge cloud dan menyoroti penggunaan cache semantik yang inovatif oleh perusahaan. Pendekatan ini tidak hanya mengurangi jumlah panggilan API, namun juga mempertahankan kinerja tinggi dan efisiensi biaya untuk aplikasi AI yang dihasilkan LLM. Strategi Fastly bertujuan untuk meningkatkan pengalaman pengguna secara keseluruhan dan mendukung proyek pengembang.

Jika Anda sudah menjadi pelanggan Fastly, Anda dapat menggunakan AI Accelerator langsung melalui akun Anda. Pengembang yang tertarik memanfaatkan teknologi ini dapat mengunjungi situs web Fastly untuk mempelajari lebih lanjut dan memulai. Fastly berkomitmen untuk meningkatkan interaksi internet di seluruh dunia, dan kami terus membantu merek ternama menghadirkan pengalaman online yang aman dan efisien.