Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

Personal AI đã thiết lập quan hệ đối tác chiến lược với Comcast để tăng cường khả năng trí tuệ nhân tạo (AI) bằng cách sử dụng AI Grid, một khung công tác mới được thiết kế để tối ưu hóa việc phân phối khối lượng công việc AI. Sự hợp tác này, được công bố tại NVIDIA GTC, nhằm mục đích đẩy nhanh việc cung cấp các ứng dụng thế hệ tiếp theo bằng cách khai thác sức mạnh của điện toán biên mạng. Mô hình ngôn ngữ nhỏ (Small Language Models) của Personal AI, vốn là một phần không thể thiếu trong các thử nghiệm AI Grid, hứa hẹn mang lại thời gian phản hồi được cải thiện và bộ nhớ dành riêng cho người dùng, đồng thời giảm chi phí vận hành cho các ứng dụng thoại cá nhân hóa theo thời gian thực.

Cơ sở hạ tầng mạng lưới rộng lớn của Comcast, trải rộng đến hơn 65 triệu địa điểm tại Mỹ, sẽ được hưởng lợi từ sáng kiến ​​này bằng cách đưa sức mạnh tính toán đến gần hơn với người tiêu dùng. Động thái này có thể thiết lập một trong những nền tảng rộng lớn nhất quốc gia cho suy luận AI thời gian thực. Các thử nghiệm tại trụ sở chính của Comcast ở Philadelphia đã chứng minh tính khả thi về mặt kỹ thuật và kinh tế của kiến ​​trúc sẵn sàng cho lưới điện của Personal AI, cho thấy một tương lai đầy hứa hẹn cho suy luận phân tán trong các dịch vụ AI.

Khái niệm AI Grid hướng đến việc khắc phục những hạn chế vốn có của các kiến ​​trúc dựa trên đám mây truyền thống bằng cách phân tán khối lượng công việc suy luận trên nhiều thành phần mạng khác nhau. Cách tiếp cận của Personal AI, tích hợp bộ nhớ trực tiếp vào các mô hình, giúp giảm sự phụ thuộc vào các mô hình lớn hơn, phụ thuộc vào ngữ cảnh. Thay vào đó, nó sử dụng các mô hình chuyên biệt với Lõi Bộ nhớ để phục vụ các nhóm khách hàng khác nhau. Các mô hình này không chỉ đủ nhỏ gọn để hoạt động ở rìa mạng mà còn năng động, duy trì bộ nhớ hội thoại theo thời gian. Chiến lược này cho phép cung cấp trải nghiệm AI đa phương thức, thời gian thực và được cá nhân hóa cao trên quy mô lớn.

GPU RTX PRO 6000 Blackwell Server Edition của NVIDIA đang tăng tốc các Mô hình Ngôn ngữ Nhỏ của Personal AI, cho phép đạt được latency, khả năng xử lý đồng thời và hiệu suất thông lượng tương tự như trên nền tảng đám mây, gần hơn với người dùng cuối. Bước tiến công nghệ này đánh dấu một thời điểm quan trọng khi trí tuệ nhân tạo (AI) và viễn thông đang hợp nhất, tạo ra một mạng lưới AI phân tán ở biên, lý tưởng cho các tác vụ suy luận. Sự hợp tác giữa Comcast và Personal AI, được hỗ trợ bởi NVIDIA, nhằm đáp ứng các yêu cầu khắt khe về dịch vụ AI thời gian thực trong ngành viễn thông.