Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Công nghệ AI tiếp tục phát triển, chuyển từ đào tạo mô hình sang suy luận phân tán và sau đó là phát triển mô hình suy luận. Sự phức tạp của quy trình làm việc AI đòi hỏi phải triển khai hiệu quả và đó là lúc F5 BIG-IP ADC cho Kubernetes phát huy tác dụng. Được hỗ trợ bởi NVIDIA BlueField-3 DPU, giải pháp này hợp lý hóa việc phân phối ứng dụng Kubernetes và nâng cao triển khai AI dựa trên tác nhân đồng thời tập trung vào việc giảm chi phí sở hữu thông qua hiệu quả hoạt động và tối ưu hóa mức tiêu thụ điện năng.

Sự tiến hóa của AI đã dẫn đến sự xuất hiện của AI tác nhân, không chỉ trả lời các câu hỏi mà còn giải quyết các vấn đề phức tạp thông qua lập kế hoạch và suy luận. Quy trình làm việc Digital Human Blueprint của NVIDIA là một ví dụ về AI tác nhân, tận dụng nhiều dịch vụ vi mô suy luận của NVIDIA để xây dựng một quy trình làm việc tích hợp. Việc giải quyết tính phức tạp của các quy trình làm việc này đòi hỏi một cơ sở hạ tầng phân tán với khả năng tính toán, mạng và lưu trữ được tăng tốc để quản lý hiệu quả việc di chuyển dữ liệu.

Để giải quyết những thách thức trong việc triển khai và vận hành nhà máy AI, NVIDIA đã phát triển một kiến ​​trúc tham chiếu cho các nhà điều hành đám mây AI có chủ quyền. Kiến trúc này tận dụng BlueField-3 DPU để quản lý hiệu quả quyền truy cập mạng và lưu trữ. BIG-IP Next for Kubernetes ADC của F5, được tăng cường với BlueField-3, cung cấp khả năng cân bằng tải động, bảo mật mạnh mẽ và khả năng đa thuê bao gốc trên đám mây để cho phép mạng hiệu suất cao và bảo mật không tin cậy ở quy mô lớn trong đám mây AI.

SoftBank đã trình diễn BINK trên cụm GPU NVIDIA H100 để chứng minh tính hiệu quả của nó. Trong bằng chứng về khái niệm, BINK tăng tốc với BlueField-3 vượt trội hơn đáng kể so với Nginx nguồn mở về thông lượng, latency, mức sử dụng CPU và hiệu quả năng lượng mạng. Bằng chứng về khái niệm này chứng minh mạnh mẽ tiềm năng của bộ điều khiển phân phối ứng dụng của F5 được tăng tốc với BlueField-3 để quản lý hiệu quả lưu lượng truy cập đến đám mây AI.