Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã điều phối việc huấn luyện mô hình ngôn ngữ-hình ảnh phi tập trung bằng cách sử dụng các công cụ phần mềm mã nguồn mở. Khung kiến ​​trúc vận hành cho phép các địa điểm cục bộ duy trì các bản ghi dữ liệu thô một cách an toàn trong khi truyền các bộ điều hợp nhẹ qua mạng.

Khung này truyền tải các bản cập nhật tham số lớn một cách hiệu quả bằng cách sử dụng các kỹ thuật tổng hợp dựa trên ổ đĩa. Thiết kế kỹ thuật này giảm thiểu gánh nặng bộ nhớ trên các máy chủ tính toán trong quá trình cập nhật mô hình đa địa điểm phức tạp.

Thử nghiệm đánh giá hiệu năng thực nghiệm đã chứng minh hiệu suất tác vụ cao trên các địa điểm phân tán trong khi giảm đáng kể kích thước truyền dữ liệu. Sáng kiến ​​này cho phép các tổ chức cộng tác trên phần mềm đa phương thức mà không cần tập trung hóa các bản ghi cục bộ nhạy cảm.