Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

New Relic, một nền tảng có khả năng quan sát toàn diện, đã giới thiệu Giám sát AI Relic mới (AIM), một giải pháp quản lý hiệu suất ứng dụng (APM) tiên phong cho các ứng dụng hỗ trợ AI. AIM cung cấp cho các kỹ sư khả năng hiển thị và hiểu biết sâu sắc về toàn bộ ứng dụng AI, đơn giản hóa việc khắc phục sự cố và tối ưu hóa các ứng dụng AI từ góc độ hiệu suất, chất lượng, chi phí và sử dụng AI có trách nhiệm. AIM có hơn 50 tính năng và tích hợp, chẳng hạn như theo dõi phản hồi LLM và so sánh mô hình, để giúp các nhóm tự tin hơn trong việc xây dựng và chạy các ứng dụng dựa trên LLM.

Các tổ chức thậm chí còn trở nên phức tạp hơn với việc giới thiệu các ứng dụng hỗ trợ AI. Các thành phần AI như mô hình ngôn ngữ quy mô lớn (LLM) và cơ sở dữ liệu vectơ thường thách thức các kỹ sư, dẫn đến kết quả không chính xác và sai lệch, các vấn đề về bảo mật cũng như có khả năng tạo ra lượng lớn dữ liệu đo từ xa phải được theo dõi và phân tích. AIM giải quyết những vấn đề này bằng cách cung cấp khả năng quan sát từ đầu đến cuối cho các ứng dụng hỗ trợ AI. Các kỹ sư có thể truy cập vào một chế độ xem duy nhất để khắc phục sự cố, so sánh và tối ưu hóa các lời nhắc và phản hồi LLM khác nhau về các vấn đề về hiệu suất, chi phí, bảo mật và chất lượng như ảo giác, sai lệch, độc tính và tính công bằng.

AIM của Relic mới bao gồm các tính năng chính như thiết bị tự động, khả năng hiển thị ngăn xếp AI hoàn chỉnh, thông tin chi tiết về dấu vết về tất cả các phản hồi LLM và khả năng so sánh hiệu suất và chi phí. Các tính năng này cho phép kỹ sư theo dõi mức sử dụng, hiệu suất, chất lượng và chi phí cho tất cả mô hình của họ trong một chế độ xem duy nhất và sử dụng thông tin chi tiết về lời nhắc thường gặp, chuỗi suy nghĩ, mẫu lời nhắc và bộ nhớ đệm. Ngoài ra, AIM sử dụng thông tin chi tiết về theo dõi phản hồi để xác minh rằng các phản hồi được gắn thẻ chính xác để cho biết chúng được tạo bởi AI và không có sai lệch, độc tính và ảo giác. Công ty mong muốn đảm bảo việc sử dụng sản phẩm một cách an toàn và có trách nhiệm.