SAN FRANCISCO, 20 November 2025 – Crusoe mengumumkan layanan terbarunya, Crusoe Managed Inference, yang dirancang untuk meningkatkan inferensi model AI dengan kecepatan dan skalabilitas yang luar biasa. Kini tersedia secara umum di Crusoe Cloud, layanan ini menghadirkan latency yang sangat rendah dan kecepatan time-to-first-token (TTFT) yang impresif, memenuhi kebutuhan pengembang AI yang mengerjakan tugas-tugas kompleks seperti pembuatan teks berformat panjang dan agen AI. Crusoe Managed Inference memungkinkan penerapan yang cepat dan penskalaan otomatis model siap produksi, sehingga menyederhanakan proses pengembangan.

Layanan ini didukung oleh mesin inferensi milik Crusoe, yang menggabungkan teknologi MemoryAlloy. Teknologi cache KV di seluruh klaster ini memungkinkan GPU untuk mengakses cache prefiks secara instan dari node lokal maupun jarak jauh, sehingga menghindari pengisian awal yang berlebihan. MemoryAlloy dari Crusoe adalah struktur memori asli klaster yang memastikan kontinuitas sesi dan konteks yang persisten serta memungkinkan penskalaan yang lancar di seluruh klaster. Inovasi ini memberikan pendekatan inferensi yang lebih efisien dan hemat biaya bagi pengembang AI.

Erwan Menard, SVP Produk di Crusoe, menyoroti tantangan yang dihadapi para pengembang dalam menyeimbangkan kecepatan inferensi, throughput, dan biaya infrastruktur. Crusoe Managed Inference mengatasi tantangan ini dengan menghilangkan kompleksitas tumpukan inferensi, sehingga para pengembang dapat berfokus pada pengembangan aplikasi AI tingkat lanjut tanpa beban manajemen infrastruktur. Teknologi MemoryAlloy dari layanan ini menjamin TTFT dan throughput yang tak tertandingi, sehingga secara signifikan meningkatkan penyampaian aplikasi AI skala besar.

Crusoe Managed Inference merupakan bagian dari Crusoe Intelligence Foundry, sebuah pusat komprehensif yang mempercepat proses pengembangan model hingga produksi bagi para pengembang AI. Pusat ini menyediakan akses ke model-model sumber terbuka terkemuka, titik akhir terkelola dengan optimasi MemoryAlloy, serta berbagai alat untuk memantau dan mengaktifkan throughput yang disediakan dalam skala besar. Lingkungan terintegrasi ini memungkinkan tim untuk bertransisi dengan lancar antara tugas-tugas inferensi dan manajemen sumber daya infrastruktur. Layanan baru Crusoe kini tersedia bagi para pengembang AI, yang dapat menelusuri pustaka model-model terbaik dan memulai proyek mereka melalui Crusoe Intelligence Foundry.