Google Cloud secara aktif mengatasi tantangan spesifik jaringan yang dihadapi oleh perusahaan yang menerapkan model bahasa skala besar (LLM) untuk aplikasi AI generatif. Tidak seperti aplikasi web tradisional yang memiliki pola lalu lintas yang dapat diprediksi, aplikasi AI generatif memiliki waktu permintaan/respons yang bervariasi dan dapat sepenuhnya menggunakan sumber daya GPU atau TPU, sehingga menghasilkan waktu pemrosesan yang lebih lama. Teknik manajemen lalu lintas tradisional tidak cukup untuk mengelola hal ini secara efektif.

Untuk memenuhi kebutuhan spesifik AI generatif, Google Cloud telah memperkenalkan beberapa fitur jaringan baru. Penyempurnaan ini dirancang untuk mengoptimalkan lalu lintas untuk aplikasi AI dan menggunakan sumber daya GPU dan TPU secara efisien untuk meningkatkan pengalaman pengguna akhir. Ketika inovasi seperti Vertex AI diintegrasikan ke dalam jaringan cloud, perusahaan dapat memanfaatkan kemajuan ini di berbagai platform LLM.

Salah satu layanan utamanya adalah jaringan lintas cloud yang memungkinkan transfer data berkecepatan tinggi antar cloud, yang penting untuk melatih model AI generatif. Jaringan ini memanfaatkan jaringan global Google untuk aplikasi terdistribusi guna menyediakan konektivitas yang andal, aman, dan didukung SLA. Selain itu, titik akhir model-as-a-service yang dikembangkan untuk mendukung aplikasi inferensi AI menyediakan konektivitas yang aman dan memungkinkan penemuan dan penggunaan kembali model AI.

Google Cloud juga memperkenalkan penyeimbangan beban khusus yang mendukung AI untuk meminimalkan latensi inferensi. Fitur baru ini memungkinkan Anda mendistribusikan lalu lintas berdasarkan metrik khusus seperti kedalaman antrean dan mempertahankan waktu respons yang konsisten. Selain itu, Google Cloud Networking menyertakan fitur bawaan yang membuat aplikasi AI generatif lebih andal dan efisien, seperti health check untuk penyeimbangan beban dan pemisahan lalu lintas berbobot untuk meningkatkan efektivitas model.

Ekstensi layanan untuk Google Cloud Application Load Balancer kini tersedia secara umum, memungkinkan Anda mengintegrasikan solusi dan penyesuaian SaaS ke dalam jalur data Anda. Hal ini meningkatkan pengalaman pengguna dengan memungkinkan permintaan diblokir dengan cepat dan dialihkan ke model backend yang paling sesuai.

Peningkatan jaringan oleh Google Cloud ini menunjukkan komitmennya dalam menyediakan solusi yang memungkinkan perusahaan memanfaatkan sepenuhnya kekuatan AI dan mengoptimalkan performa serta skalabilitas aplikasi AI generatif mereka. saus: