Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

SAN FRANCISCO, ngày 20 tháng 11 năm 2025 – Crusoe đã công bố dịch vụ mới nhất của mình, Crusoe Managed Inference, được thiết kế để nâng cao khả năng suy luận mô hình AI với tốc độ và khả năng mở rộng vượt trội. Hiện đã có sẵn trên Crusoe Cloud, dịch vụ này mang lại latency cực thấp và tốc độ xử lý mã thông báo đầu tiên (TTFT) ấn tượng, đáp ứng nhu cầu của các nhà phát triển AI đang xử lý các tác vụ phức tạp như tạo văn bản dài và tác nhân AI. Crusoe Managed Inference cho phép triển khai nhanh chóng và tự động mở rộng quy mô các mô hình sẵn sàng cho sản xuất, giúp đơn giản hóa quy trình phát triển.

Dịch vụ này được hỗ trợ bởi công cụ suy luận độc quyền của Crusoe, tích hợp công nghệ MemoryAlloy. Công nghệ bộ nhớ đệm KV toàn cụm này cho phép GPU truy cập tức thời vào bộ nhớ đệm tiền tố từ cả nút cục bộ và nút từ xa, tránh việc điền trước dư thừa. MemoryAlloy của Crusoe là một nền tảng bộ nhớ gốc cụm, đảm bảo tính liên tục của phiên và ngữ cảnh, đồng thời cho phép mở rộng liền mạch trên các cụm. Sự đổi mới này mang đến cho các nhà phát triển AI một phương pháp suy luận hiệu quả và tiết kiệm chi phí hơn.

Erwan Menard, Phó Chủ tịch Cấp cao phụ trách Sản phẩm tại Crusoe, đã nêu bật những thách thức mà các nhà phát triển phải đối mặt trong việc cân bằng tốc độ suy luận, thông lượng và chi phí cơ sở hạ tầng. Crusoe Managed Inference giải quyết những thách thức này bằng cách loại bỏ sự phức tạp của ngăn xếp suy luận, cho phép các nhà phát triển tập trung vào việc phát triển các ứng dụng AI tiên tiến mà không phải chịu gánh nặng quản lý cơ sở hạ tầng. Công nghệ MemoryAlloy của dịch vụ đảm bảo TTFT và thông lượng vượt trội, cải thiện đáng kể việc triển khai các ứng dụng AI quy mô lớn.

Crusoe Managed Inference là một phần của Crusoe Intelligence Foundry, một trung tâm toàn diện giúp đẩy nhanh quá trình phát triển mô hình đến sản xuất của các nhà phát triển AI. Foundry cung cấp quyền truy cập vào các mô hình nguồn mở hàng đầu, các điểm cuối được quản lý với tối ưu hóa MemoryAlloy, cùng các công cụ giám sát và cho phép lưu lượng được cung cấp ở quy mô lớn. Môi trường tích hợp này cho phép các nhóm chuyển đổi mượt mà giữa các tác vụ suy luận và quản lý tài nguyên cơ sở hạ tầng. Dịch vụ mới của Crusoe hiện đã có sẵn cho các nhà phát triển AI, những người có thể duyệt qua thư viện các mô hình hàng đầu và bắt đầu dự án của họ thông qua Crusoe Intelligence Foundry.