Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Google Cloud (Hoa Kỳ) cung cấp giải pháp tích hợp toàn diện để giải quyết các thách thức về cơ sở hạ tầng của học tăng cường (RL) cho các mô hình ngôn ngữ quy mô lớn (LLM). Trong một bài đăng trên blog, công ty đã trình bày chi tiết cách họ giải quyết các nhu cầu của RL quy mô lớn, từ phần cứng TPU tùy chỉnh đến lớp điều phối GKE.

RL là một vòng phản hồi kết hợp giữa đào tạo và suy luận, trong đó "mô hình khen thưởng" sẽ gán điểm cho câu trả lời do LLM tạo ra, và thuật toán RL sẽ cập nhật các tham số. Google Cloud cung cấp các tùy chọn điện toán linh hoạt với TPU và GPU, tối ưu hóa toàn bộ, khả năng lãnh đạo nguồn mở và khả năng điều phối quy mô lớn để hỗ trợ quá trình này.

Phương pháp của Google Cloud bao gồm bộ tăng tốc TPU tùy chỉnh, bộ lưu trữ thông lượng cao và điều phối GKE, cho phép latency toàn hệ thống thấp nhất cho khối lượng công việc RL và tích hợp với các công cụ nguồn mở cho phép khách hàng lựa chọn những công cụ tốt nhất cho công việc.

Megacluster AI của GKE hỗ trợ tới 65.000 nút, và Google đang đầu tư vào các giải pháp đa cụm để mở rộng quy mô khối lượng công việc RL. Cơ sở hạ tầng GKE hoàn toàn phù hợp với khối lượng công việc RL và mang lại hiệu quả cao. Việc xây dựng quy trình làm việc RL đòi hỏi phải xác định trường hợp sử dụng rõ ràng, lựa chọn thuật toán, cung cấp cụm GKE và triển khai Ray làm bộ điều phối.