Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Jina AI (không rõ trụ sở chính) đã phát triển thành công "Jina AI Reader", một công cụ chuyển đổi nội dung web sang định dạng dễ sử dụng cho AI. Giám đốc điều hành của công ty, Han Xiao, đã chia sẻ chi tiết về việc xây dựng hệ thống thu thập dữ liệu bằng Cloud Run.

Jina Reader, ra mắt vào tháng 4 năm 2024, có khả năng xử lý 100 tỷ token mỗi ngày để đáp ứng nhu cầu nội dung web. Công cụ này chuyển đổi các trang web sang định dạng Markdown, giúp các hệ thống AI dễ dàng xử lý hơn.

Công nghệ cốt lõi của "Jina Reader" là mô hình ngôn ngữ chuyên dụng "ReaderLM-v2" với 1,5 tỷ tham số, đã được đào tạo trên hàng triệu tài liệu để hiểu cấu trúc web và trích xuất nội dung.

Bằng cách sử dụng Google Cloud Run, Jina Reader đã tạo ra một hệ thống an toàn, đáng tin cậy và có khả năng mở rộng, sử dụng GPU không máy chủ để chuyển đổi HTML sang Markdown một cách hiệu quả.

Các tính năng của Cloud Run bao gồm hiệu suất được tối ưu hóa, khả năng mở rộng thực sự bằng không, triển khai đa vùng cloud-native architecture.