Riffusion - Stable Diffusion được fine-tune để tạo nhạc

• Giữ nguyên SD 1.5 và tinh chỉnh mô hình để tạo ảnh Spectrogram bằng img2txt
• Có thể chuyển ảnh được tạo thành clip âm thanh có thể phát lại
• Có thể chỉnh sửa âm thanh bằng img2img
• Nội suy để các clip âm thanh ngắn có thể lặp vô hạn
• Được làm thành ứng dụng web để dễ sử dụng và cũng đã công khai mã nguồn (Next.js + React + Three.js + Tailwind)

Spectrogram: Waveform + Spectrum

• Cách biểu diễn trực quan phổ âm thanh bằng tần số, biên độ (cường độ) và thời gian
• Có thể tính từ âm thanh bằng STFT (Short-Time Fourier Transform)