Những edge case kinh khủng cần cân nhắc khi xử lý nhạc (2022)

• Đây là các trường hợp được tổng hợp khi xem mã nguồn và mô hình dữ liệu của Navidrome; chỉ riêng tiêu đề, nghệ sĩ, album, bìa và bản phát hành của metadata âm nhạc cũng đã có nhiều ngoại lệ khó chuẩn hóa
• Những cái tên như †, ★, ', (), <|°_°|>, dấu gạch chéo, khoảng trắng, emoji, công thức, hay chuỗi kiểm thử EICAR rất dễ xung đột với tên tệp, tìm kiếm, sắp xếp và công cụ bảo mật
• Album không tiêu đề, nhiều bìa, nhiều album cùng tiêu đề, track dài 7 giờ/13 giờ/4723 giờ, hay EP có 99 track mà phần lớn là 4 giây im lặng phá vỡ các giả định đơn giản về độ dài và cấu trúc của đơn vị âm nhạc
• Nhiều bí danh của cùng một người, đổi tên ban nhạc, khác biệt tên theo khu vực, nhiều ban nhạc trùng tên và tên quốc tế hóa chồng chéo khiến việc định danh nghệ sĩ bằng một chuỗi duy nhất trở nên khó khăn
• Lý do các schema cơ sở dữ liệu như MusicBrainz chia album, bản phát hành, nghệ sĩ, bí danh và track một cách chi tiết là vì chúng phải xử lý các ngoại lệ này trong thực tế

---

Những giả định cơ bản bị phá vỡ bởi tiêu đề và tên gọi

• Trong metadata âm nhạc, tên album có thể sáng tạo với con người, nhưng với hệ thống lại trở thành vấn đề xử lý ký tự đặc biệt
  • † của Justice
  • ★ của David Bowie
  • ' của Frank Zappa
  • () của Sigur Rós
  • Love Symbol của Prince; năm 1993 Prince cũng đổi nghệ danh trên sân khấu thành biểu tượng này và được gọi là “The Artist Formerly Known as Prince”
  • <|°_°|> của Caravan Palace
• Hệ điều hành và hệ thống tệp cũng bị dao động bởi tên gọi
  • Quy ước tên album của MASTER BOOT RECORD có thể gây vấn đề trên cả Windows lẫn Linux
  • Trong môi trường Linux, những cái tên như ///////-//-///// của The You Suck Flying Circus đặc biệt nổi bật
  • C:/del*mp3 của Marco.V là một tiêu đề trông giống đường dẫn tệp
  • Another Round Won't Get Us Down của Auto!Automatic!! có một track tên \\\\\ và một track tên //////////
• Tìm kiếm và sắp xếp cũng không đơn giản
  • Nghệ sĩ thể loại vaporwave đôi khi chèn khoảng trắng giữa các chữ cái, như A T R I U M của Hallmark '87
  • Laughing Mantis đã phát hành ca khúc có tên giống chuỗi của tệp kiểm thử EICAR: X5O!P%@AP[4\PZX54(P^)7CC)7}$EICAR-STANDARD-ANTIVIRUS-TEST-FILE!$H+H*

Không tiêu đề, tiêu đề gây nhầm lẫn và tiêu đề dài

• Album có thể không có tiêu đề
  • Album mới nhất của Rammstein
  • Album thứ tư của Led Zeppelin
  • Album thứ tám của KoЯn
• Cũng có nhiều tên album trông như không có tiêu đề hoặc dễ gây nhầm lẫn
  • (untitled) của The Byrds
  • untitled của R Kelly
  • untilted của Autechre
  • Self-Titled Long-Playing Debut Album của +/-
  • Mặt A của đĩa vinyl single 7 inch của Tintern Abbey là Beeside
  • Weezer đã phát hành nhiều album có tiêu đề Weezer, thậm chí có trường hợp phát hành hai lần trong cùng một năm
  • Ø (Disambiguation) của Underoath gây nhầm lẫn với trang phân biệt Ø của Wikipedia
  • Title của Meghan Trainor
• Tiêu đề album rất dài gây áp lực lên UI, tìm kiếm và khu vực hiển thị
  • Tên album dài Prajecyrujučy Sinhuliarnaje Wypramieńwańnie... của Eximperituserqethhzebibšiptugakkathšulweliarzaxułum
  • When the Pawn... của Fiona Apple
  • Music to Listen to~Dance to~Blaze to... của Bring Me the Horizon

Bìa, số track, độ dài và phiên bản phát hành

• Một số album có nhiều bìa, nên giả định “một album = một bìa” không đúng
  • Synchronicity của The Police có 36 biến thể bìa
  • Fate for Breakfast của Art Garfunkel có 6 bìa, nhưng thất bại thương mại ở Mỹ nên hầu hết mọi người chỉ thấy một bìa
  • Do It Yourself của Ian Dury & The Blockheads có ít nhất 34 sleeve
• Bản thân hình ảnh bìa cũng có thể gây tranh cãi hoặc tạo ra bản kiểm duyệt
  • Virgin Killer của Scorpions
  • No Image của GGGOLDDD
  • There Will Be No Intermission của Amanda Palmer dùng ảnh khỏa thân hoàn toàn, dẫn đến việc có bản kiểm duyệt
  • Unfinished Music No. 1: Two Virgins của John Lennon & Yoko Ono
• Track có thể không có tiêu đề hoặc chính tên gọi của chúng gây rối
  • Selected Ambient Works Volume II của Aphex Twin
  • Yantra Material Action của Mezbrow
  • EP7 của Autechre có một track không tiêu đề ở pregap, và một trong các track thông thường tên là “Left Blank”
• Độ dài và cấu trúc track có những trường hợp cực đoan
  • “Doom Apocalypse X, The Ultimate Fate Of The Universe (Part IX: The Photon Era)” của NǽnøĉÿbbŒrğ VbëřřĦōlökäävsŦ dài gần 7 giờ, còn toàn bộ album “The Ultimate Fate Of The Universe” dài chưa đến 23 giờ một chút
  • The Rise and Fall of Bossanova của Pipe Choir Three chia một bài dài 13 giờ thành 5 phần
  • 209: Blurred With Tears And Suffering Beyond Hope của Bull of Heaven có một track dài 4723 giờ 54 phút 37 giây
  • Broken của Nine Inch Nails có 99 track, trong đó từ track 7 đến 97 mỗi track là 4 giây im lặng
• Hầu hết album có nhiều phiên bản hoặc bản phát hành
  • The Eminem Show có 15 phiên bản
  • All Lights Fucked on the Hairy Amp Drooling có bản cassette 27 track năm 1994, bản tái phát hành 4 track năm 2022 và bản bootleg 31 track
  • God Speed You Black Emperor! đổi tên thành “Godspeed You! Black Emperor” vào năm 2002
  • Antares của Sybreed có số track và track thứ 11 khác nhau giữa bản Nhật, Mỹ, Nga, promo Thụy Sĩ và promo châu Âu
  • Single Close-Up của Art of Noise có 4 bản phát hành ở Anh cùng số catalog và cùng sleeve nhưng chứa các track khác nhau, trong đó có một bản không có chính track “Close-Up”
  • Taylor Swift thu âm lại album để giành lại toàn quyền sở hữu âm nhạc của mình
• Vấn đề giấy phép cũng tạo ra khác biệt giữa các bản phát hành
  • MM..FOOD của MF DOOM ra mắt năm 2004, và do các sample Sesame Street chưa được xử lý quyền nên năm 2007 có phiên bản thu âm lại

Khi việc định danh nghệ sĩ trở nên khó khăn

• Một track có thể gắn với rất nhiều nghệ sĩ
  • “119 REMIX” của GRAY có 119 nghệ sĩ tham gia như chính tiêu đề gợi ý
• Ban nhạc có thể đổi tên hoặc dùng tên khác nhau theo khu vực
  • GZR được ghi là g//z/r ở album đầu tiên, geezer ở album thứ hai và GZR ở album thứ ba
  • Ghost từng được biết đến với tên Ghost B.C. chỉ riêng tại Mỹ trong một thời gian
  • Suede được biết đến ở Mỹ với tên “The London Suede”
  • Zoviet France có các cách ghi như :$OVIET:FRANCE:, Soviet France, :Zoviet-France:, :zoviet*france:
  • Invent, Animate đổi tên thành “Invent, Animate” để tránh bị nhầm thành hai nghệ sĩ
• Một số nghệ sĩ dùng nhiều tên
  • Aphex Twin có nhiều bí danh như Blue Calx, Caustic Window, Brian Tregaskin, The Dice Man, Polygon Window, Power-Pill, Richard D. James, GAK, The Tuss, user48736353001
  • Filipe Santos cũng được nêu như một trường hợp có nhiều tên
• Bản thân tên ban nhạc làm lung lay quy tắc tìm kiếm và sắp xếp
  • The The
  • “The” của Jad and The
  • The Band
  • Artist Unknown và Unknown Artist
  • !!!
  • A
  • Có 8 ban nhạc tên Live và 12 ban nhạc tên LP
• Các ban nhạc khác nhau có thể dùng cùng một tên
  • “Emperor” có thể chỉ nhiều đối tượng, gồm ban nhạc black metal Na Uy, nhà sản xuất drum and bass, nghệ sĩ trance, ban nhạc metal Nhật Bản và nghệ sĩ hip-hop chim cánh cụt hư cấu trong thế giới Arknights
  • Havamal có thể chỉ cả một ban nhạc Viking metal lẫn một ban nhạc Viking metal khác
  • Bulldog Breed có thể chỉ hai ban nhạc đến từ Anh, và cả hai đều phát hành album tên “Made in England”
  • Avishai Cohen chỉ hai nhạc sĩ jazz đến từ Israel
  • Những cái tên “ngầu” phổ biến như Revolver, Peace, Hybrid, End bị trùng rất nhiều
• Quốc tế hóa cũng khiến việc định danh khó hơn
  • Пётр Ильич Чайковский, tức Tchaikovsky, có 31 tên trên MusicBrainz

Mã hóa ký tự, hệ điều hành và mô hình dữ liệu

• Một số nghệ sĩ và album thử thách hỗ trợ UTF-8 và cách xử lý của hệ điều hành
  • ･ ･－･ ･－ ･･･ ･ －･･ có nhiều single với tên kiểu mã Morse tương tự
  • Spın̈al Tap dùng chữ i không có chấm và metal umlaut
  • ⣎⡇ꉺლ༽இ•̛)ྀ◞ ༎ຶ ༽ৣৢ؞ৢ؞ؖ ꉺლ của Four Tet trông như các ký tự chảy tràn xuống trên trang Wikipedia, và cũng dùng tên 00110100 01010100; trong ASCII, đó là “4T”
  • KEYGEN CHURCH phát hành các album tên “░█░█░░█░█░█░” và “░ ▒ ▓ █”
  • Ngôn ngữ nhân tạo Kobaïan của Magma chứa các dấu phụ tùy chỉnh không có trong UTF-8
  • Aphex Twin có track tên ∆Mᵢ⁻¹=−α ∑ Dᵢ[η][ ∑ Fjᵢ[η−1]+Fextᵢ [η⁻¹]]
  • Music of the Spheres của Coldplay dùng emoji cho hầu hết tiêu đề track
  • Ed Sheeran phát hành các album tên -, =, ÷, x, +
• “Nhạc cổ điển” cũng được nêu như một lĩnh vực vấn đề riêng
• Trường hợp được yêu thích nhất là brouillard
  • Tên ban nhạc là brouillard, thành viên duy nhất cũng là brouillard, và mọi album cũng như mọi track đều là brouillard
• Có thể nhìn thấy phần nào cách xử lý sự hỗn loạn này qua schema cơ sở dữ liệu MusicBrainz

[kunggom]

Bài viết này đã từng được đăng trên GeekNews.
https://vi.news.hada.io/topic?id=6319

[GN⁺]

Ý kiến trên Hacker News

• Tôi nhớ có lần bán đĩa CD cũ "Kill 'Em All" của Metallica cho một cửa hàng CD đã qua sử dụng, rồi lại mua đúng "Kill 'Em All" đó; nhân viên trông khá bối rối
  Một số phiên bản có thêm hai bản cover Am I Evil và Blitzkrieg, mà mã nhận dạng của hai CD lại giống nhau nên càng dễ lẫn
  Anh ta tất nhiên hỏi vì sao tôi lại mua lại cái CD vừa bán, tôi cho xem thì anh ấy sững sờ nói đây là lần đầu gặp trường hợp như vậy

• The The, so much for skipping articles like "A" or "The" I guess.

  Hồi trước có một ảnh meme tìm "The Who" trên Google, phía trên kết quả hiện rằng "'The' là từ phổ biến nên đã bị loại khỏi truy vấn" / "'Who' là từ phổ biến nên đã bị loại khỏi truy vấn"

  • Một phần mềm diễn đàn phổ biến từng có mặc định là bỏ qua hoặc chặn toàn bộ từ khóa tìm kiếm từ 3 ký tự trở xuống
    Với các diễn đàn kỹ thuật dùng nhiều từ viết tắt thì đây là một thiết lập gây khó chịu khó tin
  • Tên ban nhạc làm hỏng Siri là một vấn đề có thật trong đời tôi
    Them, đang nói các anh đấy O_o
  • Đầu những năm 2000 đến giữa thập niên đó, tôi đã làm khá nhiều việc với phần mềm thống kê nổi tiếng R
    Khi ấy muốn tìm trên Google cách làm gì đó bằng R thì cần các mẹo khá cụ thể, như biết vị trí kho lưu trữ mailing list rồi giới hạn tìm kiếm trong domain đó
    Sau này, khi Google bắt đầu dùng R nhiều trong nội bộ, vấn đề đó bỗng biến mất

• Việc Taylor Swift thu âm lại và tái phát hành toàn bộ các bài cũ cũng là một ví dụ khá nổi tiếng
  Nếu ai đó bảo Alexa phát "Love Story", nó nên phát bản mang lại nhiều tiền bản quyền hơn cho Taylor, hay bản mang lại nhiều hơn cho một nhà xuất bản âm nhạc nào đó?
  Khi xếp hạng độ phổ biến của bài hát, rất có thể không nên coi các phiên bản khác nhau như những bài khác nhau

  • Trong danh sách các bài được phát nhiều trên dịch vụ streaming, có khi cùng một bài xuất hiện hai lần trong bảng xếp hạng
    Vì có cả bản single lẫn bản album

• Liên quan: https://github.com/minimaxir/big-list-of-naughty-strings
  Big List of Naughty Strings là danh sách các chuỗi có khả năng cao gây vấn đề khi được dùng làm dữ liệu nhập của người dùng

  • Một bài liên quan và cũng hài hước: https://www.sempf.net/post/On-Testing1
  • Cũng nên thêm các chuỗi injection LLM phổ biến vào danh sách này
  • Sau nhiều thập kỷ làm quản trị hệ thống, tôi có thể khẳng định phần lớn coder chưa từng thấy danh sách này và sau này cũng sẽ không xem :|

• Hình như đã bỏ sót một ban nhạc tên đơn giản là A
  Ban nhạc này có một bài tên “nothing” https://en.wikipedia.org/wiki/Nothing_(A_song)
  Tôi nhớ hồi trước từng rất vất vả tìm album của họ trên Amazon, và đến giờ trông cũng chẳng dễ hơn là bao

  • Hoặc còn có album A của Jethro Tull đầu thập niên 80
  • Tôi đã rất thích album đó khi nó ra mắt
    Nhưng tìm kiếm thì thật sự bất khả thi, nên cuối cùng phải mua CD

• Some tracks are long

  Có vẻ đang nói riêng các track đã được ghi âm, nhưng 13 giờ chỉ là con số cho người mới bắt đầu thôi[0]
  [0] https://en.wikipedia.org/wiki/As_Slow_as_Possible#Halberstad...

  • Trong số các track đã ghi âm còn có bản dài 4.700 giờ
    https://www.discogs.com/release/3580802-Bull-Of-Heaven-209-B...
    Cũng có track dài 5,5 năm nhưng chỉ được công bố một phần
    https://www.discogs.com/release/3580806-Bull-Of-Heaven-210-L...
    Dù vậy vẫn khoảng 13.000 giờ
  • Có một khúc piano ngắn[1], nhưng chỉ dẫn ban đầu của nhà soạn nhạc là lặp lại hơn một nghìn lần[2], nên khi biểu diễn thực tế sẽ vượt quá 24 giờ
    Vì thế tất nhiên gần như không được biểu diễn
    Cũng có những tác phẩm như As Slow as Possible của John Cage, hiện vẫn đang có buổi biểu diễn diễn ra
    Bắt đầu năm 2001 và kết thúc năm 2640, nên nếu muốn xem đoạn kết thì có lẽ phải nhanh lên
    [1] Có lẽ là một tác phẩm của Ravel, nhưng trí nhớ lẫn tìm nhanh bây giờ đều không khớp lắm
    [2] Tôi nhớ là một con số đặc biệt nghe hơi tùy ý kiểu như 2347
  • Không hẳn đang nói chuyện này, nhưng tiêu đề cũng có thể rất dài
    Tôi nghĩ đến "The Black Hawk War, or, How to Demolish an Entire Civilization and Still Feel Good About Yourself in the Morning, or, We Apologize for the Inconvenience but You're Going to Have to Leave Now, or, 'I Have Fought the Big Knives and Will Continue to Fight Them Until They Are Off Our Lands!'" của Sufjan Stevens
    Bài hát đã dạy cho tôi, khi còn là một script kiddie non trẻ, về giới hạn độ dài đường dẫn đầy đủ 255 ký tự của FAT32

• C:\del.mp3* của Marco V cũng đáng được nhắc riêng
  https://www.discogs.com/release/133498-MarcoV-Cdelmp3-Solari...

  • Gần như là Bobby Tables của giới âm nhạc

• Từ khi bắt đầu nghe nhạc của emma essex, tôi mới nhận ra ngay cả trong thời đại này việc xử lý Unicode vẫn được triển khai nửa vời đến mức nào
  Những ví dụ tôi thích gồm "⎆" trong album "𝅙𝅙" (U+1D159), "HHSU 𓃚 𝕮𝖆𝖒𝖇𝖎𝖚𝖒, 𝕏𝕪𝕝𝕖𝕞, 𝓗𝓮𝓪𝓻𝓽𝔀𝓸𝓸𝓭", "♫♫♩♫‿♩ but it's 怒首領蜂 大往生", "ｒｔｒｃ{（''»''）²２}：≞（''»''０１）；", v.v.

  • Có vẻ Apple Music ghét bài "⎆" đến mức trong tài khoản của tôi, bài đó bị thiếu hẳn khỏi album
  • Thấy vậy tôi đã tìm một công cụ dòng lệnh để chuyển UTF-8 thành code point Unicode, và hóa ra đó là uconv -x hex/unicode
    Ví dụ đầu tiên trông phần lớn giống các ký hiệu chữ-số toán học
    https://en.wikipedia.org/wiki/Mathematical_Alphanumeric_Symb...
    Tôi tự hỏi đã có ai thử dùng các ký tự thuộc Private Use Area của Unicode chưa
    Có thể sẽ cho ra kết quả thú vị
  • Tôi đoán HN đã xóa mất một số ký tự

• GZR, also known as g//z/r on their first album, geezer on their second, and GZR on their third.

  Nếu họ đổi tên ban nhạc theo từng album, mà tên của cả ba album lại giống hệt nhau thì chắc sẽ rất ấn tượng

  • Nếu có thứ như album_grouping_key hay musicbrainz_albumid thì lẽ ra chuyện này đã được giải quyết từ 20 năm trước rồi
    “Kinh khủng thật”
  • Trường hợp biên kiểu đổi tên ban nhạc như thế này có thể giải quyết bằng cách gán ID cho thực thể trong nội bộ dataset để tách chúng ra
    Ở mức này, tôi cũng không chắc còn nên gọi là trường hợp biên nữa không

• Untilted của Autechre là một trong những ví dụ tôi thích nhất về tiêu đề album được cố tình đặt để gây nhầm lẫn
  Như bài viết cũng nói, khi được render bằng cỡ chữ nhỏ, dù đang nhìn trực tiếp cũng không rõ ràng rằng tiêu đề không phải là "Untitled"

  • Tôi thề là đã nghe suốt nhiều năm, vậy mà gần đây mới nhận ra tên album không phải là "untitled"
    Làm tốt lắm, Ae!