Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

Jina AI（本社所在地不明）は、ウェブコンテンツをAIが利用しやすい形式に変換するツール「Jina AI Reader」の開発に成功。同社のCEO、Han Xiao氏がCloud Runを用いたスクレイピングシステムの構築について詳細を語った。

2024年4月にリリースされた「Jina Reader」は、1日に1,000億トークンを処理する能力を持ち、ウェブコンテンツの需要に応える。同ツールは、ウェブページをMarkdown形式に変換し、AIシステムが容易に扱えるようにする。

「Jina Reader」の核心技術は、15億パラメータを持つ専用言語モデル「ReaderLM-v2」。数百万のドキュメントでトレーニングされ、ウェブ構造を理解し、コンテンツを抽出する。

Google Cloud Runの導入により、「Jina Reader」は安全かつ信頼性の高いスケーラブルなシステムを実現。サーバーレスGPUを活用し、HTMLからMarkdownへの変換を効率的に行う。

Cloud Runの特徴は、最適化されたパフォーマンス、真のゼロへのスケーリング、グローバルなマルチリージョンデプロイ、大規模かつ自動のスケーリング、経済的実現可能性など。これらにより、Jina AIは毎日1,000億トークンを処理するシステムを維持している。Han Xiao氏は、AI機能とクラウドネイティブアーキテクチャの相乗効果を強調した。