Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Sarvam AI, một công ty khởi nghiệp về trí tuệ nhân tạo có trụ sở tại Bengaluru, Ấn Độ, đã bắt đầu một dự án đầy tham vọng nhằm xây dựng một mô hình nền tảng đa ngôn ngữ quy mô lớn để đáp ứng nhu cầu ngôn ngữ đa dạng của Ấn Độ. Công ty đã hợp tác với NVIDIA để cải thiện hiệu suất của mô hình Sovereign 30B, nhằm đáp ứng các mục tiêu độ trễ nghiêm ngặt và cải thiện hiệu quả suy luận. Sự hợp tác này đã mang lại tốc độ suy luận nhanh hơn gấp 4 lần trên GPU Blackwell của NVIDIA so với hiệu suất cơ bản trên GPU H100 của NVIDIA.

Thông qua những nỗ lực kỹ thuật chung giữa Sarvam AI và NVIDIA, công ty đã phát triển thành công các mô hình nền tảng hỗ trợ 22 ngôn ngữ Ấn Độ, tiếng Anh, toán học và lập trình. Các mô hình này được tối ưu hóa bằng nền tảng AI từ dữ liệu đến triển khai của NVIDIA, mang lại hiệu suất cao và khả năng AI được bản địa hóa. Quan hệ đối tác này cũng đã tạo ra một dòng mô hình nền tảng Sovereign mới được đào tạo bằng thư viện Nemotron của NVIDIA, bao gồm khung NeMo và NeMo-RL.

Các mô hình của Sarvam AI sử dụng kiến ​​trúc Mixture-of-Experts (MoE) được thiết kế cho khả năng đọc sâu và mật độ ngôn ngữ cao. Mô hình Sarvam 30B có 19 lớp với 128 chuyên gia, trong khi mô hình Sarvam 100B có thể mở rộng lên đến 32 lớp. Cả hai mô hình đều có thiết kế chuyên gia chung để xử lý các đặc điểm chung và các tác vụ chuyên biệt. Sự hợp tác này tập trung vào việc tối ưu hóa các mô hình này cho GPU Hopper và Blackwell của NVIDIA để giải quyết những thách thức riêng biệt trong việc cung cấp dịch vụ.

Quá trình tối ưu hóa cho mô hình Sarvam 30B không chỉ xem xét tốc độ xử lý thô mà còn tối đa hóa mật độ trong giới hạn độ trễ nghiêm ngặt. Nhóm đã thiết lập các thỏa thuận mức dịch vụ (SLA) giữa các tác nhân thoại với mục tiêu thời gian phản hồi token đầu tiên (TTFT) ở phân vị thứ 95 nhỏ hơn 1000 mili giây và độ trễ giữa các token (ITL) nhỏ hơn 15 mili giây. Phân tích hiệu năng ban đầu được thực hiện bằng cách sử dụng công cụ suy luận SGLang, quản lý bộ nhớ cache KV dưới dạng cây radix, một thành phần quan trọng của kiến ​​trúc Sarvam 30B. Nhóm đã triển khai mô hình trên hai GPU NVIDIA H100 SXM, cân bằng các yêu cầu về bộ nhớ và tính toán của lớp MoE.

Phân tích hiệu năng cho thấy cần tối ưu hóa sâu hơn để đáp ứng SLA. Nhóm đã xác định các điểm nghẽn trong phạm vi xử lý đồng thời 32-64 yêu cầu và ghi lại dấu vết thực thi bằng NVIDIA Nsight Systems. Bằng cách nhắm mục tiêu vào các nhân xử lý tốn kém nhất để tối ưu hóa, họ đã giảm thời gian xử lý lớp transformer xuống 34%. Hơn nữa, việc lập lịch trình hỗn hợp điền trước và giải mã đã cải thiện việc sử dụng GPU, và việc phân phối phục vụ đã loại bỏ các điểm nghẽn trong đường dẫn quan trọng, dẫn đến thông lượng tăng 1,5 lần.

Việc cải thiện hiệu năng đầu cuối đã đạt được thông qua tối ưu hóa nhân xử lý, lập lịch trình hiệu quả và phân phối phục vụ. Hiệu năng của mô hình Sarvam 30B trên GPU NVIDIA Blackwell đạt tới 20 petaflops hiệu năng tính toán FP4 đỉnh và 8TB/s băng thông bộ nhớ, chứng minh tiềm năng của kiến ​​trúc NVIDIA Blackwell trong việc tăng tốc trí tuệ nhân tạo tạo sinh. Việc lượng tử hóa mô hình sang định dạng NVFP4 bằng NVIDIA Model Optimizer đã giúp tăng thông lượng xử lý suy luận lên gấp 4 lần tại một điểm vận hành cụ thể.

Sự hợp tác giữa Sarvam AI và NVIDIA chứng minh tiềm năng của việc tối ưu hóa đồng thời thiết kế mô hình, kỹ thuật nhân, chiến lược lập lịch, lượng tử hóa và kiến ​​trúc GPU. Kết quả là một hệ thống suy luận nhanh hơn, khả thi về mặt kinh tế và có thể sử dụng trên phạm vi quốc gia, có khả năng mở rộng quy mô cho các khối lượng công việc cấp quốc gia. Cách tiếp cận này đóng vai trò là bản mẫu cho các nhóm khác đang xây dựng các hệ thống AI quy mô lớn, cấp độ sản xuất trên nền tảng NVIDIA.