Triforce - Beamformer cho laptop Apple Silicon

• Triforce triển khai beamformer thích ứng Minimum Variance Distortionless Response cho mảng microphone của laptop Apple Silicon
• Các mẫu được hỗ trợ: MacBook Pro/Air từ M1 trở lên
• Các laptop Apple Silicon ở trên có microphone được bố trí theo hình tam giác hoặc đường thẳng
• Apple triển khai beamformer thích ứng trong không gian người dùng để tách tín hiệu mong muốn khỏi tiếng ồn nền
• Nếu không có beamforming, mảng microphone quá nhạy và đa hướng nên không hữu ích
• Cần có beamformer để dùng hữu ích bên ngoài macOS
• Danh sách mẫu được hỗ trợ
  • MacBook Pro 13" (M1/M2)
  • MacBook Air 13" (M1/M2)
  • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Air 15" (M2)

Quản lý kỳ vọng

• Rất khó tìm được tài liệu dễ tiếp cận về các chủ đề DSP, đặc biệt là beamforming thích ứng băng rộng
• Dự án này là một nỗ lực xây dựng beamformer dựa trên kiến thức ở mức toán kỹ thuật năm nhất và các nguyên lý thu thập từ trang web cùng PDF
• Hiện tại không nên kỳ vọng nó sẽ vượt qua cách triển khai của Apple
• Các bản vá cải tiến luôn được hoan nghênh

Các hạn chế đã biết

• nalgebra không thực hiện tối ưu hóa SIMD tường minh mà dựa vào tự động vector hóa của LLVM
• Hiệu năng và hiệu quả của các routine toán ma trận chưa tốt
• Không thực hiện phân rã băng rộng do gánh nặng tính toán bổ sung
• Nếu không có hỗ trợ SIMD/NEON thì quá chậm để dùng làm plugin âm thanh thời gian thực
• Đầu ra chỉ hỗ trợ mono
• Việc xử lý ma trận bổ sung để giả lập đầu ra stereo gây tốn kém tính toán quá lớn

[GN⁺]

Ý kiến trên Hacker News

• 20 năm trước, các mẫu Toshiba Tablet PC dạng chuyển đổi đã có mảng microphone tạo chùm sóng. Có thể chỉ định hướng ghi âm bằng phần mềm

  • Hữu ích trong các buổi giảng, có thể chỉnh chùm sóng hướng về phía giáo sư để ghi âm
  • Từ đó đến nay chưa từng thấy lại tính năng này

• Luận văn thạc sĩ còn dang dở nói về việc dùng microphone của điện thoại thông minh để định vị và tách loa trong không gian 3D

  • Tốc độ lấy mẫu giữa các thiết bị hơi khác nhau
  • Đặc tính phổ của microphone tiêu dùng rất đa dạng
  • Âm thanh phản xạ từ khắp nơi, đặc biệt rõ với tường bê tông
  • Ô tô khá giống một buồng tiêu âm dễ tiếp cận
  • Biến đổi Fourier của Gaussian là Gaussian, điều này hữu ích cho việc ước lượng tần số

• Nhận ra rằng cần rất nhiều công sức để chạy Linux trên Apple Silicon Mac

  • Microphone tích hợp hầu như không được dùng tới
  • Không phải mọi thứ của Apple đều đơn giản

• Ngay cả với phần cứng laptop giá rẻ, công nghệ DSP bằng phần mềm vẫn có thể cho kết quả đáng kinh ngạc

  • Công việc âm thanh của Asahi cũng có thể áp dụng cho laptop thông thường
  • Đã dùng plugin tổng hợp hài âm bass Bankstown và convolution EQ để có kết quả ấn tượng

• Về tối ưu hóa SIMD, có thể cân nhắc faer

  • Trải nghiệm với thư viện pulp không tốt, nhưng nếu mục tiêu chủ yếu là tăng tốc các phép toán đại số tuyến tính thì có lẽ sẽ ổn
  • Đang có kế hoạch viết bài blog và podcast về Rust SIMD

• Câu hỏi về mảng microphone trên laptop Apple Silicon

  • Tò mò không biết các mẫu M2/M3 có mảng microphone tương tự hay chỉ là chưa được thử nghiệm
  • Cũng thắc mắc liệu có được hỗ trợ trên Linux và macOS hay không

• Có vẻ Apple đang tiếp cận microphone quá phức tạp, giống như với loa

  • Với tư cách là người dùng MBP, rất ấn tượng với cách họ triển khai loa
  • Ngoài việc biết cách bố trí driver, không có nhiều kiến thức, nhưng có vẻ họ đang dùng các mẹo để khai thác hiệu năng từ những loa nhỏ

• Thảo luận chung về báo cáo tiến độ Asahi Linux mới nhất

  • Microphone PDM có tính đa hướng rất cao và rất nhạy
  • Cần có beamforming
  • Công việc trước đây về đầu ra loa đã được tái sử dụng cho đầu vào microphone
  • Nhờ PipeWire và WirePlumber, việc nối chuỗi DSP cho microphone khá đơn giản

• Sẽ rất tốt nếu việc triển khai này giúp các nhà sản xuất khác cũng dễ dàng xây dựng mảng microphone