Meta phát hành Llama 3.2 - công nghệ đổi mới AI biên và thị giác với các mô hình tùy biến mở

 (ai.meta.com)
11 điểm bởi GN⁺ 2024-09-26 | 1 bình luận | Chia sẻ qua WhatsApp

  • Meta phát hành Llama 3.2

    • Bao gồm các vision LLM cỡ nhỏ và trung bình (11B và 90B) cùng các mô hình chỉ văn bản hạng nhẹ (1B và 3B)
    • Có thể sử dụng trên phần cứng Qualcomm và MediaTek, được tối ưu cho bộ xử lý Arm
    • Các mô hình phù hợp cho tác vụ tóm tắt, làm theo chỉ thị và viết lại

  • Đặc điểm của các mô hình Llama 3.2

    • Các mô hình thị giác 11B và 90B nổi trội trong các tác vụ hiểu hình ảnh
    • Có thể tinh chỉnh cho các ứng dụng tùy biến bằng torchtune
    • Có thể triển khai cục bộ bằng torchchat
    • Có thể sử dụng thông qua trợ lý thông minh Meta AI

  • Triển khai Llama Stack

    • Đơn giản hóa việc làm việc với các mô hình Llama trong môi trường một nút, on-premise, đám mây và on-device
    • Triển khai với sự hợp tác của AWS, Databricks, Dell Technologies, Fireworks, Infosys và Together AI

  • Tải xuống các mô hình Llama 3.2

    • Có thể tải từ llama.com và Hugging Face
    • Có thể bắt đầu phát triển ngay trên các nền tảng đối tác như AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud và Snowflake

  • Hiệu năng của Llama 3.2

    • Các mô hình 11B và 90B phù hợp cho hiểu tài liệu ở cấp độ toàn tài liệu, tạo chú thích ảnh và các tác vụ dựa trên thị giác
    • Các mô hình 1B và 3B cung cấp khả năng sinh văn bản đa ngôn ngữ và gọi công cụ
    • Khi chạy cục bộ, mang lại phản hồi tức thì và duy trì mức riêng tư cao

  • Đánh giá mô hình

    • Hiệu năng được đánh giá trên hơn 150 bộ dữ liệu benchmark
    • Hiệu năng có thể cạnh tranh với Claude 3 Haiku và GPT4o-mini

  • Mô hình thị giác

    • Giới thiệu kiến trúc mô hình mới để hỗ trợ đầu vào hình ảnh
    • Kết hợp prompt hình ảnh và văn bản trong khi vẫn giữ các khả năng chỉ văn bản để đạt được hiểu biết và suy luận sâu hơn

  • Mô hình hạng nhẹ

    • Phát triển các mô hình 1B và 3B bằng phương pháp pruning và knowledge distillation
    • Có thể chạy hiệu quả trên máy cục bộ

  • Triển khai Llama Stack

    • Cung cấp giao diện chuẩn hóa thông qua API Llama Stack
    • Đơn giản hóa việc làm việc với các mô hình Llama trong nhiều môi trường khác nhau

  • An toàn ở cấp hệ thống

    • Phát hành Llama Guard 3 11B Vision
    • Mô hình Llama Guard 3 1B giúp giảm đáng kể chi phí triển khai

  • Sử dụng Llama 3.2

    • Cung cấp các công cụ và tài nguyên cần thiết cho nhà phát triển
    • Có thể phát triển các ứng dụng đổi mới bằng Llama 3.2 và Llama Stack

Tổng hợp của GN⁺

  • Llama 3.2 cung cấp nhiều mô hình thị giác và văn bản khác nhau, bao gồm các mô hình hạng nhẹ có thể chạy trên thiết bị biên và thiết bị di động
  • Thông qua hợp tác với Qualcomm, MediaTek, Arm và các bên khác, hệ thống mang lại hiệu năng được tối ưu trên nhiều loại phần cứng
  • Với triển khai Llama Stack, các nhà phát triển được hỗ trợ để dễ dàng sử dụng mô hình Llama trong nhiều môi trường khác nhau
  • Llama 3.2 phù hợp để phát triển ứng dụng cục bộ nhờ mức riêng tư cao và phản hồi tức thì
  • Hệ thống mang lại hiệu năng có thể cạnh tranh với Claude 3 Haiku và GPT4o-mini, đồng thời chứng minh kết quả xuất sắc trên nhiều benchmark khác nhau

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-09-26
Ý kiến Hacker News

  • Bất ngờ với hiệu năng của mô hình 1B mới. Kích thước tải xuống là 1.3GB

    • Đã thử dùng để tóm tắt toàn bộ codebase. Chưa hoàn hảo, nhưng với một mô hình nhỏ thì hiệu năng rất ấn tượng
    • Có thể xem thêm ghi chú tại đây
    • Cũng đã thử mô hình ảnh lớn hơn. Có thể tải ảnh lên qua "Direct Chat" trên lmarena.ai

  • Trong ví dụ "The Llama jumped over the ______!", với mã hóa 1-hot thì "wall" là đáp án đúng với xác suất 100%

    • Nếu nói "fence" cũng có khả năng thì là sai. Tôi nghĩ đó là lý do việc chưng cất mô hình hoạt động hiệu quả
    • Mô hình gốc được huấn luyện thông qua câu trả lời dạng văn bản, còn mô hình con học cách bắt chước dự đoán để tạo ra câu trả lời có ý nghĩa hơn
    • Giờ thì hiểu vì sao các mô hình Llama 3.2 của Meta nhỏ nhưng mạnh. Thật ấn tượng với sự tiến bộ của mô hình

  • Rất khâm phục sự cởi mở của đội Llama tại Meta. Không chỉ cho truy cập mô hình mà còn công khai cả cách xây dựng

    • Không biết các mô hình tương lai sẽ ra sao, nhưng vẫn biết ơn thái độ cởi mở của Meta

  • Câu hỏi cho người mới: tôi cần một mô hình có năng lực như kỹ sư phần mềm gấp 10 lần, nhưng không cần kiến thức của con người. Không biết có mô hình nào như vậy không

  • Đã thử dùng mô hình 3B trên Ollama. Trả lời nhanh và có nhiều kiến thức về quang học, sinh học và Rust

    • Một mô hình rất ấn tượng

  • Bài blog của Ollama: liên kết

  • Mô hình llama3.2:3b-instruct-q8_0 cho hiệu năng tốt hơn 3.1 8b-q4. Chạy nhanh hơn trên MacBook Pro M1 và kết quả cũng tốt hơn

    • Trả lời tốt hơn cho một số câu đố và thí nghiệm tư duy
    • Đã gỡ bản cài 3.1-8b
    • Danh sách Ollama hiện tại:
      • llama3.2:3b-instruct-q8_0: 3.4GB, sửa đổi 2 giờ trước
      • gemma2:9b-instruct-q4_1: 6.0GB, sửa đổi 3 ngày trước
      • phi3.5:3.8b-mini-instruct-q8_0: 4.1GB, sửa đổi 3 ngày trước
      • mxbai-embed-large:latest: 669MB, sửa đổi 3 tháng trước

  • Hỏi xem có thể đề xuất một client web UI cho Ollama hay không

  • Hỏi xem có bảng xếp hạng nào có benchmark LLM mới nhất không

    • Livebench và Lmsys chậm vài tuần và không thêm các mô hình lớn
    • Nếu chưa có thì sẵn sàng tự làm

  • Mô hình 3B khá tốt ở tác vụ đa phương thức (tiếng Na Uy), nhưng đôi khi trả lời rất nhiều điều vô nghĩa. Nhạy hơn 8B, nhưng vẫn dùng được hơn Gemma 2 2B

    • Ổn với câu hỏi về sắp xếp danh sách Python
    • Mô hình vision 90B từ chối các tác vụ hữu ích. Không thể tái tạo ảnh bằng HTML hoặc tận dụng dữ liệu hình ảnh theo cách hữu ích
    • Không gặp vấn đề này với 70B hay OpenAI. Từ chối quá nhiều