Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Các công ty đang ngày càng tùy chỉnh các mô hình ngôn ngữ lớn để nâng cao hiệu suất của từng nhiệm vụ cụ thể và cung cấp cho người dùng kết quả chính xác và phản hồi nhanh hơn. Tuy nhiên, việc tùy chỉnh này có thể dẫn đến một hiện tượng được gọi là sự lãng quên thảm khốc, trong đó mô hình mất khả năng thực hiện các nhiệm vụ đã học trước đó. Để duy trì hiệu quả, điều quan trọng là doanh nghiệp phải thường xuyên đánh giá các mô hình này trên cả nhiệm vụ ban đầu và nhiệm vụ mới để đảm bảo tối ưu hóa liên tục nhằm cải thiện trải nghiệm người dùng.

Để giải quyết thách thức đánh giá các mô hình ngôn ngữ trên quy mô lớn, nhóm NVIDIA NeMo đã giới thiệu chương trình truy cập sớm NeMo Evaluator. Dịch vụ vi mô gốc đám mây này tự động hóa quy trình đo điểm chuẩn và cho phép đánh giá cả mô hình cơ bản và mô hình tùy chỉnh. Chúng tôi sử dụng nhiều tiêu chuẩn khác nhau, bao gồm các nguồn học thuật, dữ liệu do khách hàng cung cấp và các đánh giá sử dụng LLM làm thẩm phán để đảm bảo phân tích toàn diện.

NeMo Evaluator là một phần trong bộ vi dịch vụ của NVIDIA NeMo và được thiết kế để hợp lý hóa việc phát triển và đánh giá các mô hình AI được tạo tùy chỉnh. Dịch vụ này cung cấp các điểm cuối API để dễ dàng tích hợp và cho phép các công ty liên tục tinh chỉnh và đánh giá các mô hình để cải thiện hiệu suất. Trình đánh giá hỗ trợ nhiều phương pháp đánh giá tự động khác nhau, bao gồm các tiêu chuẩn học thuật để đánh giá hiệu suất của mô hình qua nhiều nhiệm vụ ngôn ngữ và bộ dữ liệu tùy chỉnh phù hợp với nhu cầu cụ thể của công ty.

Đối với các công ty quan tâm đến việc tận dụng những khả năng này, chương trình truy cập sớm sẽ cung cấp một cổng vào các dịch vụ vi mô của NeMo Evaluator. Sau khi được phê duyệt, người tham gia sẽ có quyền truy cập vào dịch vụ và cũng sẽ có cơ hội sử dụng các dịch vụ vi mô NVIDIA NeMo bổ sung như NeMo Curator và NeMo Tùy biến. Cùng với nhau, những công cụ này tạo điều kiện thuận lợi cho việc tạo ra AI được tạo tùy chỉnh, cấp doanh nghiệp, đẩy nhanh thời gian đưa ra thị trường các giải pháp đổi mới. nước xốt: