Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

NVIDIA gần đây đã xuất bản một bài viết về việc nâng cao LLM bao gồm tinh chỉnh có giám sát (SFT) trong các cuộc trình diễn của con người. Các nhóm nghiên cứu của NVIDIA đã đạt được tiến bộ đáng kể trong lĩnh vực mô hình ngôn ngữ quy mô lớn (LLM) với sự phát triển của SteerLM, một công nghệ mới giúp đơn giản hóa việc tùy chỉnh LLM. Bất chấp những tiến bộ ấn tượng trong việc tạo ngôn ngữ tự nhiên với LLM như GPT-3 và Megatron-Turing, những mô hình này thường gặp khó khăn trong việc cung cấp các phản hồi có sắc thái phù hợp với sở thích của người dùng.

Các phương pháp hiện tại để nâng cao LLM bao gồm tinh chỉnh có giám sát (SFT) trên các cuộc trình diễn của con người, sau đó là học tăng cường từ phản hồi của con người (RLHF). Mặc dù RLHF có thể cải thiện hiệu suất nhưng nó gặp phải những thách thức như độ phức tạp trong đào tạo và khả năng kiểm soát người dùng hạn chế.

SteerLM, một phần của NVIDIA NeMo, giải quyết những vấn đề này bằng cách cho phép điều khiển linh hoạt các kết quả đầu ra của mô hình dựa trên các thuộc tính được chỉ định. Công nghệ tiên tiến này đơn giản hóa quá trình tùy chỉnh và giúp người dùng dễ tiếp cận hơn.

LLM được đào tạo trước về kho văn bản phong phú và có trình độ ngôn ngữ sâu rộng cũng như kiến ​​thức thế giới. Chúng đã được áp dụng thành công cho nhiều tác vụ xử lý ngôn ngữ tự nhiên, bao gồm dịch thuật, trả lời câu hỏi và tạo văn bản. Tuy nhiên, nó thường không tuân theo hướng dẫn do người dùng cung cấp và thay vào đó tạo ra văn bản chung chung hoặc vô nghĩa. Sự phát triển của SteerLM thể hiện một bước tiến lớn trong việc giải quyết những vấn đề này. nước xốt: