top of page

Generatived (Beta) | Cung cấp tin tức và xu hướng mới nhất về AI sáng tạo

logo.png

NVIDIA công bố mô hình ngôn ngữ Llama 3.2 Vision

Generatived

24/11/20 4:30

Meta đã công bố loạt mô hình ngôn ngữ tầm nhìn Llama 3.2 mới nhất. Model này cung cấp cả phiên bản tham số 11B và 90B để xử lý đầu vào văn bản và hình ảnh. Cũng được giới thiệu là các biến thể mô hình ngôn ngữ chỉ có văn bản nhỏ hơn với tham số 1B và 3B. NVIDIA tận dụng nhiều loại GPU, từ các thiết bị trung tâm dữ liệu hiệu suất cao đến máy trạm RTX cục bộ cho đến các thiết bị NVIDIA Jetson công suất thấp, để mang lại hiệu suất hiệu quả và triển khai tiết kiệm chi phí cho các mô hình này trên toàn thế giới. Tôi đã thực hiện một số điều chỉnh nhỏ.

Llama 3.2 VLM được thiết kế để xử lý nhiều độ dài ngữ cảnh và hình ảnh có độ phân giải cao, mang lại thời gian phản hồi nhanh và thông lượng cao để mang lại trải nghiệm liền mạch cho người dùng. Tối ưu hóa toàn diện trên nền tảng công nghệ của NVIDIA đóng vai trò quan trọng trong việc đạt được các chỉ số hiệu suất này. SLM đã được cải tiến tương tự để hoạt động tốt nhất trên PC và máy trạm NVIDIA RTX, đồng thời với các điều chỉnh lượng tử hóa để chạy trên các thiết bị biên NVIDIA Jetson.

Những tiến bộ về thông lượng suy luận AI cho các mô hình Llama 3.2 của NVIDIA là rất đáng chú ý. Mô hình này bao gồm bộ mã hóa tầm nhìn và bộ giải mã văn bản, cả hai đều được tối ưu hóa để suy luận hiệu suất cao bằng thư viện TensorRT của NVIDIA. Cơ chế chú ý chéo của bộ giải mã văn bản cho phép VLM tạo văn bản có ngữ cảnh trực quan, tăng hiệu quả. NVIDIA cũng đã phát triển các công thức lượng tử hóa sau đào tạo FP8 tùy chỉnh, khi kết hợp với Lõi Tensor FP8 thế hệ thứ 4, sẽ tăng thông lượng mô hình và giảm độ trễ mà không làm giảm độ chính xác.

Hiệu suất của mô hình Llama 3.2 trên nền tảng NVIDIA rất ấn tượng, với các phép đo nội bộ thể hiện khả năng của nó trong cả các tình huống thông lượng tối đa và độ trễ tối thiểu. Những kết quả này nêu bật hiệu năng vượt trội của GPU NVIDIA H200 được tối ưu hóa bằng phần mềm TensorRT. Ngoài ra, trong môi trường Windows, Llama 3.2 SLM được tối ưu hóa để hoạt động với ONNX Runtime Generative API và mang lại hiệu suất thông lượng tuyệt vời trên GPU NVIDIA GeForce RTX 4090. Nền tảng điện toán tăng tốc của NVIDIA cho phép bạn xây dựng các mô hình hiệu suất cao trên nhiều nền tảng khác nhau, từ trung tâm dữ liệu đến máy trạm cục bộ, đáp ứng nhu cầu của các doanh nghiệp muốn nhanh chóng triển khai và nhận ra giá trị.

Chia sẻ bài viết này:

Tin tức mới nhất
Microsoft 365 Copilot Chat tăng cường tính linh hoạt cho các khoản đầu tư AI

Microsoft 365 Copilot Chat tăng cường tính linh hoạt cho các khoản đầu tư AI

25/2/14 4:45

Khi các công ty đang vật lộn với thách thức xác định lợi tức đầu tư vào AI, một thị trường phát triển nhanh chóng đang làm tăng thêm sự phức tạp cho việc ra quyết định.

Google Chat giới thiệu tính năng đặt tên nhóm thân thiện với người dùng

Google Chat giới thiệu tính năng đặt tên nhóm thân thiện với người dùng

25/2/14 4:45

Google Chat đã giới thiệu một tính năng mới cho phép người dùng đặt tên cho tin nhắn trực tiếp theo nhóm.

GeForce NOW bổ sung Batman Series và Civilization VII

GeForce NOW bổ sung Batman Series và Civilization VII

25/2/14 4:45

GeForce NOW đã hợp tác với Warner Bros. Games để mang loạt game được đánh giá cao Batman: Arkham đến với những người đam mê trò chơi điện toán đám mây.

Google Chat giới thiệu bảng cộng tác nhóm mới

Google Chat giới thiệu bảng cộng tác nhóm mới

25/2/14 4:45

Google Chat đã giới thiệu những tính năng mới được thiết kế để tăng cường giao tiếp và cộng tác nhóm.

Copyright © 2024 Generatived - All right Reserved.

Chia sẻ bài viết này:

Chia sẻ bài viết này:

Generatived AI Logo

Generatived là dịch vụ cung cấp thông tin và xu hướng chuyên về Generative AI. Chúng tôi sẽ cố gắng hết sức để cung cấp thông tin về thế giới đang thay đổi nhanh chóng.

  • Facebook
  • X

Hãy theo dõi chúng tôi

Ngôn ngữ

Tin tức mới nhất
Microsoft 365 Copilot Chat tăng cường tính linh hoạt cho các khoản đầu tư AI

Microsoft 365 Copilot Chat tăng cường tính linh hoạt cho các khoản đầu tư AI

25/2/14 4:45

Khi các công ty đang vật lộn với thách thức xác định lợi tức đầu tư vào AI, một thị trường phát triển nhanh chóng đang làm tăng thêm sự phức tạp cho việc ra quyết định.

Google Chat giới thiệu tính năng đặt tên nhóm thân thiện với người dùng

Google Chat giới thiệu tính năng đặt tên nhóm thân thiện với người dùng

25/2/14 4:45

Google Chat đã giới thiệu một tính năng mới cho phép người dùng đặt tên cho tin nhắn trực tiếp theo nhóm.

GeForce NOW bổ sung Batman Series và Civilization VII

GeForce NOW bổ sung Batman Series và Civilization VII

25/2/14 4:45

GeForce NOW đã hợp tác với Warner Bros. Games để mang loạt game được đánh giá cao Batman: Arkham đến với những người đam mê trò chơi điện toán đám mây.

Google Chat giới thiệu bảng cộng tác nhóm mới

Google Chat giới thiệu bảng cộng tác nhóm mới

25/2/14 4:45

Google Chat đã giới thiệu những tính năng mới được thiết kế để tăng cường giao tiếp và cộng tác nhóm.

bottom of page