Chủ đề nóng trên HN: Diffusion Mirror treo tường biến hình phản chiếu thành tranh

 (matthieulc.com)
1 điểm bởi GN⁺ 2024-10-24 | 1 bình luận | Chia sẻ qua WhatsApp

  • PabloNet

  • Tôi cho rằng cuộc tranh luận về việc AI kết nối Internet có thể sáng tạo hay không là khá xa rời vấn đề cốt lõi. Nghệ thuật là sự bộc lộ thế giới nội tâm, còn công nghệ chỉ là một phần trong đó. Việc nghệ thuật đòi hỏi quá nhiều kỹ thuật là điều đáng tiếc. Có vẻ đang xuất hiện khả năng tách hai yếu tố này ra. Một dạng sáng tạo nội suy giá rẻ được 8 tỷ người không phải nghệ sĩ sử dụng có thể bộc lộ những thế giới quan mới.

  • Vì lý do đó, một người không có năng khiếu nghệ thuật như tôi lại thấy cực kỳ hứng thú với nhiều hình thức nghệ thuật dựa trên AI. Từ vài tháng trước, tôi đã bắt đầu dùng StreamDiffusion để khuếch tán luồng webcam theo thời gian thực. Mục tiêu là tạo ra những hiệu ứng thị giác đẹp mắt và khơi gợi những cảm xúc mới. Tuy nhiên, hình thức laptop lại phá vỡ ảo giác. Vì vậy gần đây tôi đã làm một khung LCD có thể treo tường để giảm tối đa các yếu tố làm mất đi cảm giác nhập vai. Ưu điểm lớn nhất của thiết lập này là nó mở ra một kênh tương tác mới như một vật thể thường trực, chứ không chỉ là một màn hình đơn thuần.

  • Vấn đề lớn nhất của thiết lập hiện tại là tốc độ khung hình thấp. Tôi đã dùng TensorRT và tăng tốc bằng nén hình ảnh, nhưng vẫn còn rất nhiều chỗ để cải thiện.

  • Tôi chia sẻ cách chế tạo và đóng góp cho những ai quan tâm:

    • Cung cấp mã client và server
    • Dùng RunPod để host server
    • Client chạy trên Raspberry Pi 5
    • Dùng màn hình Pi 10.1 inch
    • Dùng đèn hồng ngoại
    • Dùng khung thông thường
    • Dùng camera Pi hồng ngoại
    • Dùng dụng cụ đục lỗ để tạo lỗ cho camera (drill không hoạt động)
    • Thử nghiệm với nhiều bộ lọc tiền xử lý khác nhau; chỉ prompt đơn giản là chưa đủ. img2img trông quá thực nếu không có tiền xử lý. Để có được phong cách Picasso màu xanh như trong bài viết này, tôi đã kết hợp phát hiện biên Canny, nhuộm xanh và làm mờ.

Tóm tắt của GN⁺

  • Nghệ thuật dựa trên AI cho thấy khả năng mang lại góc nhìn mới bằng cách tách biệt công nghệ và sáng tạo.
  • Việc khuếch tán luồng webcam theo thời gian thực bằng StreamDiffusion mang lại cảm xúc mới và trải nghiệm thị giác mới.
  • Thiết lập dùng khung LCD mở ra khả năng vượt ra ngoài một màn hình đơn thuần để trở thành một tác phẩm nghệ thuật thường trực.
  • Các vấn đề kỹ thuật như tốc độ khung hình thấp vẫn còn nhiều dư địa để cải thiện.
  • Một số dự án có chức năng tương tự được khuyến nghị gồm DeepArt.io và RunwayML.

Bài viết liên quan

1 bình luận

 
GN⁺ 2024-10-24
Ý kiến trên Hacker News

  • Mã hóa byte JPEG sang Base64 làm kích thước payload tăng khoảng 30% và tiêu tốn chu kỳ CPU ở cả client lẫn server. Giao thức WebSocket có thể truyền payload nhị phân, nên không cần chuyển sang văn bản

    • Có thể cân nhắc bỏ nén JPG có mất dữ liệu và truyền byte RGB thô qua mạng
    • StreamDiffusion có thể đạt tốc độ khung hình cao nhờ batching quy mô lớn trong pipeline. Ở đây không tận dụng được lợi thế đó vì client chỉ gửi từng khung hình một rồi chờ phản hồi
    • Các mô hình SDXL Turbo và Lightning rất nhanh trong img2img, nhưng bị giới hạn ở độ phân giải 512² hoặc 1024² pixel. Có thể chạy thời gian thực trên GPU tiêu dùng cao cấp

  • Nghệ thuật là sự bộc lộ thế giới nội tâm, còn kỹ thuật chỉ là một phần. Có người nghi ngờ quan điểm cho rằng khoảng cách kỹ năng chỉ đơn thuần là một sự bất tiện

    • Học vẽ hoặc sáng tác nhạc có thể mang lại những thay đổi gì cho bản thân, đồng thời dạy những bài học sâu sắc hơn về cuộc sống
    • Tác phẩm nghệ thuật vĩ đại không phải do thiên tài tạo ra; thiên tài là thứ đến một cách bất ngờ. Xóa bỏ khoảng cách kỹ năng cũng là xóa bỏ những cơ hội như vậy

  • Không bàn đến giá trị nghệ thuật, nhưng dưới góc nhìn của một người thích sưu tầm công cụ thì vẫn có điểm thú vị

    • Đã dùng dụng cụ bấm lỗ để đục lỗ trên tấm bìa của khung cho camera. Máy khoan thì không hiệu quả
    • Muốn biết thêm chi tiết hoặc cách lý giải về việc vì sao máy khoan không hoạt động với bìa cứng

  • Nếu camera được đặt ở chỗ khác thay vì ngay trên khung thì có lẽ sẽ thú vị hơn. Việc nhìn vào một chiếc gương nghệ thuật hơi nhàm chán

    • Có thể làm chiếc gương thứ hai đặt ở nhà người khác, rồi đưa hình từ camera của một gương sang gương kia để hai bên nhìn thấy “phản chiếu” của nhau

  • Luôn nghĩ nghệ thuật là thứ lưu giữ và tạo ra cảm xúc. Quả chuối dán trên tường cũng là nghệ thuật, và nhạc đại chúng vẫn là nghệ thuật

    • Phát minh này chắc chắn là một tác phẩm nghệ thuật, nhưng đầu ra của nó thì không hẳn. Nó có thể tạo ra nhiều hình dạng khác nhau như mây trời, nhưng vẫn chỉ là sự ngẫu nhiên ở mức trung bình

  • Có người hỏi liệu đã từng cân nhắc hiệu ứng biến đổi tốc độ khung hình cao giữa các ảnh hay chưa. Điều đó có thể làm tăng tốc độ khung hình hiệu dụng và trông sẽ rất đẹp

  • Vấn đề chính của thiết lập hiện tại là tốc độ khung hình thấp. Có người xem đó là một tính năng, vì có thời gian để xử lý hình ảnh cũng không phải điều xấu

    • Tăng khoảng thời gian cập nhật lên 5–15 phút, và mỗi khi phát hiện thay đổi hoặc chuyển động thì chụp rồi tạo ảnh mới

  • Trao giải cho chiếc gương ngốn điện nhất. Có người nhận thấy tranh không ổn định trước những thay đổi nhỏ của đầu vào

  • Có người hỏi liệu có cách nào để ghim một số hình ảnh lại không. Một số hình nếu được giữ nguyên sẽ khá đẹp (ví dụ: ảnh đại diện hoặc ảnh màn hình khóa)