Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA đã giới thiệu một quy trình lặp đi lặp lại để tạo ra hơn 500.000 tiêu đề tin tức tài chính độc đáo nhằm giải quyết vấn đề dữ liệu hạn chế và không cân bằng được sử dụng để huấn luyện mô hình ngôn ngữ lớn trong lĩnh vực tài chính. Quy trình này kết hợp các mô hình NeMo Data Designer, NeMo Curator và Nemotron để cải thiện tính đa dạng và chất lượng ngữ nghĩa.

Quá trình này liên tục tạo ra các tiêu đề, lọc các đầu ra không đúng định dạng, loại bỏ các bản sao ngữ nghĩa, làm mới các ví dụ ít được sử dụng và điều chỉnh trọng số danh mục. Sau 82 lần lặp, quy trình đã tạo ra 502.536 tiêu đề độc đáo trải rộng trên 12 chủ đề tài chính và một danh mục chung bổ sung.

Việc loại bỏ các bản sao ngữ nghĩa dựa trên việc khớp độ tương đồng dựa trên nhúng, trong khi các ví dụ ít được sử dụng được chọn bằng chiến lược xa nhất khỏi tâm để khuyến khích tạo ra các tiêu đề mới. Việc điều chỉnh trọng số danh mục động cũng được áp dụng để cải thiện phạm vi bao phủ các sự kiện tài chính ít được đại diện.

Bộ dữ liệu FinHeadlineMix thu được đã được phát hành cho nghiên cứu xử lý ngôn ngữ tự nhiên trong lĩnh vực tài chính, chưng cất mô hình và các quy trình tinh chỉnh. NVIDIA cũng cung cấp các quy trình làm việc có thể tái tạo bằng cách sử dụng NeMo Data Designer và NeMo Curator, cho phép các tổ chức điều chỉnh quy trình này cho các nhiệm vụ tạo dữ liệu tài chính tổng hợp của riêng họ.