Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã đạt được những tiến bộ đáng kể trong lĩnh vực AI tạo âm thanh với sự phát triển của BigVGAN, một mô hình được thiết kế đặc biệt để tổng hợp các dạng sóng âm thanh với tốc độ và độ bền đáng kinh ngạc. Là sự hợp tác giữa nhóm Nghiên cứu học sâu ứng dụng của NVIDIA và nhóm NeMo, mô hình này được thiết kế để xử lý nhiều loại âm thanh khác nhau, bao gồm lời nói, âm thanh xung quanh và âm nhạc. BigVGAN v2, phiên bản mới nhất của BigVGAN, nhằm mục đích cải thiện cả tốc độ tổng hợp và chất lượng âm thanh, tạo ra âm thanh gần như không thể phân biệt được với bản ghi âm thực.

Model BigVGAN v2 được đặc trưng bởi khả năng cung cấp âm thanh chất lượng cao với nhiều loại âm thanh. Nó được đào tạo trên một tập dữ liệu khổng lồ bao gồm nhiều ngôn ngữ, âm thanh môi trường và nhạc cụ, cho phép bạn tạo ra các sóng âm thanh chi tiết từ một mô hình duy nhất. Kiến trúc của mô hình bao gồm một mô-đun mới có tên là Tổng hợp đa chu kỳ chống răng cưa (AMP), có chức năng tạo ra sóng âm thanh tần số cao và định kỳ. Sự đổi mới này cho phép BigVGAN v2 giải quyết thách thức tạo ra chi tiết tinh tế trong âm thanh tần số cao, một thiếu sót chung của các phương pháp mã hóa truyền thống.

Là một bước đột phá trong công nghệ tổng hợp âm thanh, BigVGAN v2 mở rộng công suất tốc độ lấy mẫu lên 44 kHz, bao phủ toàn bộ phạm vi thính giác của con người. Cải tiến này cho phép mô hình tái tạo chính xác nhiều loại âm thanh, từ những nốt trầm của trống đến những nốt cao của chũm chọe. Ngoài ra, BigVGAN v2 tăng tốc đáng kể tốc độ tổng hợp bằng cách kết hợp nhân CUDA được tối ưu hóa, mang lại khả năng suy luận nhanh hơn gấp 3 lần so với phiên bản tiền nhiệm.

Cam kết của NVIDIA trong việc thúc đẩy AI tạo âm thanh được thể hiện bằng việc phát hành BigVGAN v2, một chuẩn mực mới cho công nghệ bộ mã hóa thần kinh và chất lượng âm thanh. Hiệu suất vượt trội và khả năng tổng hợp nhanh của mô hình mang lại lợi ích cho nhiều ứng dụng, từ thực tế ảo đến tạo nội dung số. Với BigVGAN v2, NVIDIA tiếp tục vượt qua ranh giới của những gì có thể có trong lĩnh vực thính giác bằng cách tạo ra âm thanh chất lượng cao thậm chí còn dễ tiếp cận và hiệu quả hơn.