Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Phòng thí nghiệm AI Hao tại Đại học California, San Diego, gần đây đã tích hợp hệ thống NVIDIA DGX B200 vào cơ sở hạ tầng nghiên cứu của mình. Hệ thống AI tiên tiến này nhằm mục đích tăng cường nghiên cứu của phòng thí nghiệm về suy luận mô hình ngôn ngữ quy mô lớn (LLM). Trong lĩnh vực này, nhiều nền tảng sản xuất, bao gồm NVIDIA Dynamo, đã áp dụng các khái niệm nghiên cứu của Phòng thí nghiệm AI Hao, chẳng hạn như DistServe.

Việc phòng thí nghiệm được tiếp cận với siêu máy tính DGX B200, được lắp đặt tại Trung tâm Siêu máy tính San Diego, mở ra những khả năng nghiên cứu mới cho cộng đồng Đại học California, San Diego. Phó giáo sư Hao Zhang thuộc Viện Khoa học Dữ liệu Harithiogul nhấn mạnh rằng hiệu năng vượt trội của hệ thống sẽ đẩy nhanh đáng kể quá trình tạo mẫu và thử nghiệm. Các dự án Current đang tận dụng DGX B200 bao gồm FastVideo, nhằm mục đích nhanh chóng tạo ra các video ngắn từ các lời nhắc văn bản, và Lmgame-bench, một bộ công cụ đo hiệu năng kiểm tra LLM bằng cách sử dụng các trò chơi phổ biến như Tetris và Super Mario Bros.

Ngoài các dự án này, Phòng thí nghiệm AI Hao đang nghiên cứu các phương pháp giảm latency trong dịch vụ LLM, nhằm mục đích cải thiện khả năng phản hồi của mô hình theo thời gian thực. Nghiên cứu sinh tiến sĩ Junda Chen nhấn mạnh trọng tâm của phòng thí nghiệm là tận dụng khả năng của DGX B200 để vượt qua giới hạn của các dịch vụ LLM có độ trễ thấp.

Khái niệm suy luận tách biệt, được nhóm DistServe tiên phong, cũng là trọng tâm chính của phòng thí nghiệm chúng tôi. Cách tiếp cận này tối ưu hóa thông lượng hệ thống trong khi vẫn duy trì latency yêu cầu người dùng thấp và giới thiệu một chỉ số hiệu suất mới gọi là "goodput", có tính đến cả chi phí và chất lượng dịch vụ, dẫn đến một hệ thống phục vụ LLM hiệu quả hơn và thân thiện hơn với người dùng. Nghiên cứu của chúng tôi về việc tách biệt quá trình điền trước/giải mã đã chứng minh rằng việc cô lập các quy trình này trên các GPU khác nhau có thể tối đa hóa goodput, tạo điều kiện thuận lợi cho việc mở rộng khối lượng công việc mà không làm giảm chất lượng phản hồi.

Phòng thí nghiệm AI Hao đang hợp tác với nhiều khoa tại Đại học UC San Diego, bao gồm cả y tế và sinh học, để khai thác tối đa sức mạnh của hệ thống NVIDIA DGX B200. Những nỗ lực này là một phần của nỗ lực rộng lớn hơn nhằm khám phá cách các nền tảng AI có thể thúc đẩy nghiên cứu và đổi mới liên ngành.