Mô hình tạo ảnh FLUX nhanh và mã nguồn mở

 (replicate.com)
3 điểm bởi GN⁺ 2024-10-15 | 1 bình luận | Chia sẻ qua WhatsApp
  • FLUX chạy nhanh hơn trên Replicate, và mã đã được tối ưu hóa được công khai dưới dạng mã nguồn mở để bất kỳ ai cũng có thể kiểm tra và cải thiện nó
  • Bí quyết đằng sau việc tăng tốc
    • Mô hình FLUX được quản lý cùng với Black Forest Labs, và đã thực hiện hai hạng mục tối ưu hóa chính
      • Tối ưu hóa mô hình: cải thiện hiệu năng bằng torch.compile và các kernel attention của CuDNN
      • Việc bổ sung API HTTP đồng bộ mới đã cải thiện đáng kể tốc độ của các mô hình ảnh
    • Việc lượng tử hóa của flux-fp8-api tạo ra một số thay đổi nhỏ ở đầu ra nhưng không ảnh hưởng nhiều đến chất lượng
    • Công khai minh bạch các phương pháp tối ưu hóa, đồng thời cho phép người dùng tắt các tối ưu hóa
  • Tốc độ của mã nguồn mở
    • Các mô hình mã nguồn mở thường mặc định chậm, và nhiều nhà cung cấp mô hình tối ưu hóa chúng rồi cung cấp dưới dạng API độc quyền
    • Mọi cải tiến của FLUX đều được công khai mã nguồn mở để cùng cộng đồng hợp tác phát triển mô hình nhanh hơn nữa
  • Cách sử dụng FLUX
    • Ngoài việc chạy FLUX trên Replicate, còn có nhiều cách ứng dụng khác
      • Có thể tinh chỉnh FLUX bằng dữ liệu của người dùng
      • Có thể sửa đổi mã để triển khai phiên bản tùy chỉnh
      • Có thể thử mô hình trong playground mới và so sánh đầu ra

Tóm tắt của GN⁺

  • FLUX mang đến cơ hội để bất kỳ ai cũng có thể sử dụng mô hình đã được tối ưu hóa thông qua việc cải thiện hiệu năng trên Replicate và công khai mã nguồn mở
  • Nỗ lực giải quyết vấn đề tốc độ của mã nguồn mở cho phép phát triển các mô hình nhanh hơn nữa thông qua hợp tác với cộng đồng
  • Nhiều khả năng ứng dụng của FLUX mang lại cơ hội cung cấp các giải pháp tùy chỉnh cho người dùng
  • Các dự án khác có chức năng tương tự bao gồm TensorFlow và PyTorch

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-10-15
Ý kiến Hacker News

  • Có ý kiến cho rằng các mô hình chuyển văn bản thành hình ảnh là không hiệu quả, và sẽ tốt hơn nếu chia việc xử lý thành nhiều bước. Mỗi bước có thể được huấn luyện độc lập nên sẽ có tính mô-đun hơn, đồng thời việc chỉnh sửa hình ảnh cũng sẽ dễ hơn

    • Ví dụ, họ giải thích rằng sẽ dễ tạo ra một hình ảnh kiểu "đối tượng x nằm cạnh đối tượng y, và phía trên có dòng chữ foo"
    • Cũng đề cập rằng mô hình render cuối cùng có thể tồn tại tách biệt với prompt để điều chỉnh phong cách nghệ thuật hoặc mức độ chân thực

  • Nhấn mạnh rằng phần mềm phi thương mại không phải là mã nguồn mở, và giải thích rằng nếu tác giả gốc ngừng bảo trì thì người khác либо không thể tiếp tục, либо phải làm miễn phí

    • Mã nguồn mở cung cấp giấy phép cho phép mọi người tiếp tục phát triển khi tác giả gốc dừng công việc
    • Chỉ FLUX.1 [schnell] là mã nguồn mở (Apache2), còn FLUX.1 [dev] là phi thương mại

  • Đề xuất rằng để dùng FLUX.schnell dễ dàng, chỉ cần nhập prompt vào URL của Pollinations

    • Có nhắc đến việc tốc độ của FLUX rất đáng kinh ngạc, và giải thích rằng chỉ với ba GPU L40S có thể tạo ra 8000 hình ảnh mỗi 30 phút

  • Nói rằng họ thích dùng FLUX để tạo hình ảnh nền trắng cho Substack

    • Giải thích rằng điều này hữu ích vì có thể truyền tải điều gì đó về mặt thị giác cùng với văn bản

  • Nhắc đến việc FLUX hiện dẫn đầu trong số các hệ thống tạo ảnh tự host xét về khả năng bám prompt, nhưng khá khó chịu vì hiệu ứng độ sâu trường ảnh nông luôn xuất hiện

  • Cho biết đã hủy đăng ký Midjourney và đang cân nhắc Replicate cùng Ideogram

  • Tò mò về dữ liệu huấn luyện của FLUX 1.1, và giải thích rằng các hình ảnh được tạo ra trông giống ảnh cá nhân

    • Đặt câu hỏi liệu dữ liệu huấn luyện có được lấy từ các bài đăng Facebook công khai, Snapchat, Vkontakte, v.v. hay không

  • Cho rằng mô hình FLUX 1.1 pro có lẽ không dùng dữ liệu huấn luyện quá khác biệt so với các mô hình mở trước đó

  • Nhắc đến trang so sánh của FLUX, và giải thích rằng bản tốc độ hiển thị những hình ảnh hoàn toàn khác so với mô hình gốc

  • Nhắc đến tranh cãi mã nguồn mở quanh mô hình của Meta, và giải thích rằng trong trường hợp của FLUX thì chỉ FLUX schnell là mã nguồn mở

    • Có nhắc rằng mô hình Llama của Meta có giấy phép dễ dãi hơn và cũng dễ tinh chỉnh hơn FLUX schnell

  • Lập luận rằng cộng đồng mã nguồn mở nên ủng hộ các dự án như OpenFLUX

  • Đặt câu hỏi vì sao họ vẫn chưa giải quyết được vấn đề bàn tay vẫn trông kỳ lạ