Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Trong một diễn biến gần đây, một tác nhân AI mới đã được huấn luyện để vận hành giao diện dòng lệnh (CLI) của nền tảng LangGraph mà không cần kiến ​​thức trước đó, chứng minh khả năng thích ứng của các mô hình suy luận quy mô lớn. Không giống như các tác nhân trước đây, tác nhân này có thể khởi chạy máy chủ, xây dựng container và tạo Dockerfile thông qua giao diện dòng lệnh có thể kiểm chứng, yêu cầu sự xác nhận của con người trước khi thực thi. Quá trình huấn luyện sử dụng học tăng cường với việc tạo dữ liệu tổng hợp và phần thưởng có thể kiểm chứng, đồng thời được tối ưu hóa bằng cách sử dụng tối ưu hóa chính sách tương đối nhóm để đảm bảo cả hiệu quả và an toàn.

Được thiết kế để chạy công cụ CLI mới, tác nhân chuyên dụng này được tinh chỉnh để đề xuất các lệnh CLI LangGraph hợp lệ và yêu cầu sự chấp thuận rõ ràng của người dùng trước khi thực hiện bất kỳ hành động nào. Tác nhân học các lệnh con mới từ dữ liệu hạt giống tổng hợp và được huấn luyện trên một GPU duy nhất bằng cách sử dụng học tăng cường với phần thưởng có thể kiểm chứng. Một tương tác điển hình với mô hình đã được huấn luyện bao gồm việc tác nhân đề xuất một lệnh và yêu cầu xác nhận của người dùng. Nếu người dùng chấp thuận, lệnh sẽ được thực thi và kết quả được báo cáo.

Phương pháp huấn luyện tác nhân AI của chúng tôi bao gồm việc vượt qua những thách thức về sự khan hiếm dữ liệu và sự đánh đổi giữa an toàn và độ chính xác vốn có khi vận hành các công cụ CLI chuyên dụng. Việc tạo dữ liệu tổng hợp cho phép chúng tôi tạo ra các tập dữ liệu huấn luyện toàn diện từ một số lượng lệnh gốc hạn chế, trong khi học tăng cường với phần thưởng có thể kiểm chứng đảm bảo việc tạo ra các lệnh đúng cú pháp. Kỹ thuật này đặc biệt có lợi trong môi trường doanh nghiệp, nơi yêu cầu khả năng thích ứng nhanh chóng với các công cụ độc quyền.

Việc thiết lập hệ thống này yêu cầu phần cứng chuyên dụng như GPU NVIDIA và RAM hệ thống, cũng như quyền truy cập vào phần mềm như Python và CUDA. Các thành phần cốt lõi bao gồm công cụ dòng lệnh LangGraph, NeMo Gym cho môi trường huấn luyện học tăng cường, Unsloth cho học tăng cường và NeMo Data Designer để tạo dữ liệu tổng hợp. Mô hình cơ sở được sử dụng là Nemotron-Nano-9B-V2, có sẵn từ Hugging Face. Hướng dẫn cài đặt và sử dụng chi tiết có thể được tìm thấy trong tài liệu được liên kết. Quy trình huấn luyện tiên tiến này cho phép triển khai nhanh chóng một tác nhân dòng lệnh chuyên dụng và an toàn, cung cấp một giải pháp mới cho tự động hóa quy trình làm việc và các công cụ tăng năng suất.