Google Cloud (AS) menawarkan pendekatan terintegrasi tumpukan penuh untuk mengatasi tantangan infrastruktur pembelajaran penguatan (RL) bagi model bahasa skala besar (LLM). Dalam sebuah postingan blog, perusahaan tersebut merinci bagaimana mereka memenuhi tuntutan RL skala besar, mulai dari perangkat keras TPU kustom hingga lapisan orkestrasi GKE.

RL adalah siklus umpan balik yang menggabungkan pelatihan dan inferensi, di mana "model penghargaan" memberikan skor pada jawaban yang dihasilkan oleh LLM, dan algoritma RL memperbarui parameternya. Google Cloud menyediakan opsi komputasi yang fleksibel dengan TPU dan GPU, optimasi tumpukan penuh, kepemimpinan sumber terbuka, dan orkestrasi skala besar untuk mendukung proses ini.

Pendekatan Google Cloud mencakup akselerator TPU khusus, penyimpanan throughput tinggi, dan orkestrasi GKE, yang memungkinkan latency sistem terendah untuk beban kerja RL, dan integrasi dengan alat sumber terbuka memungkinkan pelanggan memilih alat terbaik untuk pekerjaan tersebut.

Megakluster AI GKE mendukung hingga 65.000 node, dan Google berinvestasi dalam solusi multi-kluster untuk meningkatkan skala beban kerja RL. Infrastruktur GKE sangat ideal untuk beban kerja RL dan menawarkan efisiensi. Membangun alur kerja RL memerlukan identifikasi kasus penggunaan yang jelas, pemilihan algoritma, penyediaan kluster GKE, dan penerapan Ray sebagai orkestrator.