Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Galileo, một công ty máy học nổi tiếng, đã công bố Chỉ số ảo giác để giúp người dùng các mô hình học ngôn ngữ (LLM) hàng đầu của họ xác định mô hình nào ít có khả năng gây ảo giác nhất trong một ứng dụng nhất định. Được phát triển bởi Phòng thí nghiệm Galileo, Chỉ số này là một phản ứng trước thách thức do ảo ảnh AI đặt ra, trong đó AI tạo ra thông tin trông có vẻ thực tế nhưng cuối cùng lại không chính xác hoặc nằm ngoài ngữ cảnh. Đây là trở ngại lớn đối với các công ty thuộc mọi quy mô đang phát triển các ứng dụng dựa trên LLM.

Chỉ số ảo giác đánh giá 11 LLM từ các nhà phát triển khác nhau và đánh giá xu hướng gây ảo giác của từng mô hình trong các nhiệm vụ AI tổng quát thông thường. Những hiểu biết sâu sắc chính từ Chỉ số bao gồm GPT-4 của OpenAI, một công cụ thực hiện hàng đầu trong các nhiệm vụ hỏi và trả lời không cần tìm kiếm, thể hiện độ chính xác ấn tượng và khả năng xảy ra ảo giác thấp nhất. Trong số các mô hình nguồn mở, Llama-2-70b của Meta dẫn đầu, nhưng các mô hình khác đã được chứng minh là dễ gây ảo giác hơn.

Trong nhiệm vụ hỏi đáp bằng tìm kiếm, GPT-4-0613 của OpenAI hoạt động tốt hơn và hiệu suất của nó gần như ngang bằng với mẫu GPT-3.5 Turbo nhanh hơn và tiết kiệm chi phí hơn. Điều thú vị là, mô hình nguồn mở của Hugging Face, Zephyr-7b, hoạt động tốt hơn Llama-2-70b lớn hơn của Meta, bác bỏ quan điểm cho rằng các mô hình lớn hơn vốn đã tốt hơn. Trong quá trình tạo văn bản dài, GPT-4-0613 của OpenAI một lần nữa có hiệu suất cao nhất và được chứng minh là ít bị ảo giác nhất.

Chỉ số này cũng nêu bật các cơ hội tiết kiệm chi phí thông qua các mô hình nguồn mở. Ví dụ: đối với các tác vụ tạo văn bản dài, mô hình trò chuyện Llama-2-13b-chat mã nguồn mở của Meta là một giải pháp thay thế khả thi cho các mô hình của Open AI. Đối với các câu hỏi và câu trả lời liên quan đến nhiệm vụ tìm kiếm, người dùng có thể tự tin thử nghiệm mô hình Zephyr của Hugging Face thay vì OpenAI. Chỉ số này được hỗ trợ bởi các số liệu độc đáo của Galileo về độ chính xác và tuân thủ ngữ cảnh, được hỗ trợ bởi ChainPoll, một phương pháp phát hiện ảo giác do Galileo Labs phát triển.