Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Datadog, Inc. có trụ sở tại San Francisco (NASDAQ:DDOG) cung cấp nền tảng giám sát và bảo mật cho các ứng dụng đám mây. Hôm nay, Datadog đã công bố các tính năng mới giúp bạn giám sát và khắc phục sự cố trong các ứng dụng dựa trên AI tổng quát của mình. Các tính năng dựa trên AI sáng tạo như AI Assistant và CoPilot đang nhanh chóng trở thành một phần quan trọng trong bất kỳ lộ trình sản phẩm phần mềm nào. Mặc dù các tính năng mới này rất thú vị nhưng việc triển khai chúng trong các ứng dụng hướng tới khách hàng đặt ra nhiều thách thức về chi phí, tính khả dụng và độ chính xác. Nhóm công nghệ được sử dụng trong AI thế hệ đang phát triển vượt bậc, với các khung ứng dụng, mô hình, cơ sở dữ liệu vectơ, chuỗi dịch vụ và công nghệ hỗ trợ mới nhanh chóng được áp dụng và sử dụng. Để thích ứng với những thay đổi này, các công ty cần các giải pháp về khả năng quan sát có thể thích ứng và phát triển với hệ thống AI của họ. Hôm nay, Datadog sẽ giới thiệu Khả năng quan sát AI sáng tạo để giúp các nhóm tự tin triển khai các ứng dụng dựa trên mô hình ngôn ngữ quy mô lớn (LLM) vào sản xuất và khắc phục sự cố, chi phí và độ chính xác trong thời gian thực. Những khả năng này bao gồm tích hợp ngăn xếp AI từ đầu đến cuối, bao gồm: - Cơ sở hạ tầng và điện toán AI: NVIDIA, CoreWeave, AWS, Azure, Google Cloud - Nhúng và quản lý dữ liệu: Weaviate, Pinecone, Airbyte - Cung cấp và triển khai mô hình: Torchserve, VertexAI, Amazon Sagemaker - Lớp mô hình: OpenAI, Azure OpenAI - Khung điều phối : LangChain Ngoài ra, Datadog cũng đã phát hành một giải pháp tích hợp cho Khả năng quan sát LLM ở bản beta. Khả năng quan sát LLM thu thập và kết hợp dữ liệu từ các ứng dụng, mô hình và các tính năng cộng tác khác nhau để giúp các kỹ sư nhanh chóng phát hiện và giải quyết các vấn đề của ứng dụng như chi phí mô hình tăng đột biến, suy giảm hiệu suất, sai lệch và ảo giác cải thiện hơn nữa trải nghiệm của người dùng cuối. Khả năng quan sát LLM bao gồm các tính năng sau: - Danh mục mô hình: Theo dõi và cảnh báo về việc sử dụng mô hình, chi phí và hiệu suất API. - Hiệu suất mô hình: Xác định các vấn đề về hiệu suất mô hình dựa trên nhiều đặc điểm dữ liệu sẵn có, chẳng hạn như độ dài lời nhắc và phản hồi, độ trễ API và số lượng mã thông báo. - Model Drift: Phân loại các lời nhắc và phản hồi thành các cụm, cho phép bạn theo dõi hiệu suất và phát hiện độ lệch theo thời gian. Yrieix Garnier, phó chủ tịch sản phẩm của Datadog cho biết. “Điều cần thiết là phải đo lường thời gian và nguồn lực mà các nhóm đang đầu tư vào các mô hình AI, đặc biệt là khi khả năng tích hợp AI/LLM của Datadog hiện đã sẵn có. Khả năng quan sát LLM của Datadog hiện có sẵn ở phiên bản beta.