Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Viettel Solutions tận dụng NVIDIA NeMo Curator để nâng cao đáng kể năng lực AI của Việt Nam. Công cụ này đã giúp chúng tôi tạo ra bộ dữ liệu chất lượng cao để đào tạo mô hình ngôn ngữ nâng cao Llama 3 VietSolution 8B. Bằng cách quản lý một tập dữ liệu mở rộng, Giải pháp Viễn thông đã cải thiện độ chính xác của mô hình, giảm thời gian đào tạo và giảm đáng kể kích thước tập dữ liệu.

Quá trình này bắt đầu bằng việc thu thập nhiều dữ liệu văn bản tiếng Việt từ nhiều nguồn, bao gồm dữ liệu được thu thập trên web và Wikipedia. Dữ liệu này sau đó được chuẩn hóa và định dạng để đảm bảo tính nhất quán. Giải pháp Viettel đã tinh chỉnh tập dữ liệu bằng nhiều kỹ thuật quản lý dữ liệu khác nhau, bao gồm định dạng lại Unicode và sao chép chính xác. Các bước này rất quan trọng trong việc đảm bảo tính duy nhất và chất lượng của dữ liệu đào tạo.

Các phương pháp lọc dựa trên heuristic và phân loại cũng được áp dụng để nâng cao hơn nữa chất lượng của bộ dữ liệu. Những bộ lọc này đã giúp loại bỏ nội dung chất lượng thấp và tinh chỉnh dữ liệu dựa trên các mẫu phức tạp mà các quy tắc đơn giản có thể bỏ sót. Kết quả là một tập dữ liệu có sự phân bố đồng đều hơn về độ dài văn bản và số lượng mã thông báo, đồng thời giảm đáng kể các dữ liệu ngoại lệ và nhiễu.

Những nỗ lực của Viettel Solutions không chỉ cải thiện hiệu suất của mô hình ngôn ngữ mà còn duy trì tính đa dạng của tập dữ liệu, điều cần thiết để xây dựng các mô hình ngôn ngữ đa năng và có mục đích chung. Sự hợp tác của công ty với NVIDIA và sử dụng NeMo Curator chứng tỏ tiềm năng của AI trong việc đáp ứng nhu cầu ngôn ngữ cụ thể của các quốc gia không nói tiếng Anh và đảm bảo trải nghiệm khách hàng toàn diện và có tác động hơn.