EEG xác nhận não mã hóa đồng thời hai luồng giọng nói

• Kết quả phân tích EEG của 24 người trưởng thành có thính lực bình thường cho thấy khi chuyển hướng chú ý, việc theo dõi thần kinh đối với người nói mới bắt đầu trước khi tách khỏi người nói cũ, khiến hai giọng nói tạm thời được biểu diễn đồng thời
• Đường bao giọng nói, thời điểm bắt đầu từ và thông tin dự đoán của hai người nói được mô hình hóa bằng hàm đáp ứng theo thời gian (TRF); ngay cả với cửa sổ giải mã 1 giây, hệ thống vẫn phân biệt chính xác người nói được chú ý ở mức cao hơn đáng kể so với ngẫu nhiên
• Sự tham gia với người nói mới bắt đầu và kết thúc sớm hơn đáng kể so với sự tách khỏi người nói cũ; bất đối xứng tham gia–tách rời này vẫn duy trì trong các cửa sổ trượt 1, 2, 4, 8 và 16 giây
• Sau khi chuyển chú ý, công suất dải alpha của EEG giảm; điểm thấp nhất xuất hiện muộn hơn điểm chuyển đổi mã hóa giọng nói, cho thấy mối liên hệ theo thời gian giữa việc theo dõi người nói mới và nỗ lực nghe
• Khi so sánh bốn chiến lược ngữ cảnh từ vựng bằng Mistral-7B-v0.1, entropy của mô hình Reset — loại bỏ ngữ cảnh trước đó — dự đoán EEG tốt nhất, nhưng không thể kết luận chắc chắn rằng con người cũng đặt lại ngữ cảnh

---

Câu hỏi nghiên cứu và thiết kế thí nghiệm

• Trong môi trường có nhiều người nói, ta phải vừa duy trì chú ý vào một người nói vừa nhanh chóng chuyển sang người khác, nhưng phần lớn nghiên cứu sinh lý thần kinh trước đây tập trung vào chú ý duy trì
• Nghiên cứu chia chuyển hướng chú ý thành tách rời (disengagement), tức mức theo dõi thần kinh đối với người nói cũ giảm, và tham gia (engagement), tức mức theo dõi người nói mới tăng, để khảo sát quan hệ thời gian giữa hai quá trình
• 24 người bản ngữ tiếng Anh, 18–39 tuổi, có thính lực bình thường tham gia; họ không có tiền sử bệnh thần kinh hoặc tâm thần, và có thị lực bình thường hoặc đã được điều chỉnh
• Bố trí 6 loa theo vòng tròn bán kính 1,5 m
  • Phát hai giọng nói TED Talk khác nhau ở phía trước trái/phải ±30°, mỗi giọng ở mức 60 dB SPL
  • Từ 4 loa phía sau, phát tiếng ồn babble 16 người nói ở mức 54 dB SPL, mỗi loa là hỗn hợp của 4 người, thiết lập SNR tiền cảnh so với nền là 3 dB
• Người tham gia thực hiện 20 phiên thử nghiệm dài 180 giây, mỗi phiên chuyển chú ý 6 lần giữa người nói trái và phải theo mũi tên trên màn hình
  • Các đoạn chú ý duy trì được cấu thành theo khoảng thời gian bán ngẫu nhiên
  • Kích thích tiền cảnh sử dụng 40 TED Talk của 20 nam và 20 nữ
  • Sau mỗi phiên, người tham gia trả lời câu hỏi kiểm tra nội dung, người nói ưa thích và độ khó khi chuyển chú ý

Kết quả hành vi và giải mã chú ý

• Do sự cố kỹ thuật, dữ liệu hành vi của một người bị thiếu; độ chính xác trung bình cho câu hỏi nội dung tính trên 23 người là 86,3%
• Tỷ lệ ưa thích giọng bên trái trung bình là 49,79%, khá cân bằng; độ khó khi chuyển chú ý trung bình là 3,1 điểm trên thang 1–5
• EEG 64 kênh được ghi ở 512 Hz, sau tiền xử lý được downsample xuống 64 Hz; quan hệ tuyến tính có độ trễ giữa giọng nói và EEG được mô hình hóa bằng hàm đáp ứng theo thời gian (TRF)
• Dùng TRF ngược để tái tạo đường bao giọng nói được chú ý từ EEG, rồi so sánh tương quan với giọng trái/phải
  • Sử dụng các cửa sổ giải mã 1, 2, 4, 8, 16 và 32 giây
  • Cửa sổ càng dài thì hiệu năng phân loại càng cao, nhưng mọi điều kiện, bao gồm cửa sổ 1 giây, đều cao hơn đáng kể so với bách phân vị 95 của phân bố ngẫu nhiên thu được bằng cách xáo trộn nhãn 100 lần
• Ngay cả trong tình huống chuyển đổi động, việc tái tạo đường bao giọng nói từ EEG vẫn có thể theo dõi ổn định người nói đang được chú ý

Tham gia với người nói mới nhanh hơn tách rời khỏi người nói cũ

• TRF đa biến thuận bao gồm đường bao giọng nói, thời điểm bắt đầu từ và độ bất ngờ của từ; tương quan giữa EEG thực tế và EEG dự đoán được tính bằng cửa sổ trượt
• Trước khi chuyển, giọng của người nói cũ được theo dõi mạnh hơn; sau khi chuyển, theo dõi người nói mới mạnh lên, phù hợp với chỉ dẫn chú ý bằng hình ảnh
• 21 người thể hiện độ lệch chú ý đáng tin cậy trên 50% trước và sau chuyển đổi được dùng cho phân tích thời gian
  • Những người bị loại không thể ước tính điểm bắt đầu/kết thúc của tách rời và tham gia
  • Trong phân tích tiếp theo có thêm 3 người bị loại, mẫu hình định tính rằng tham gia diễn ra sớm hơn vẫn duy trì, nhưng ý nghĩa thống kê biến mất
• Áp dụng hồi quy tuyến tính theo từng đoạn cho tương quan dự đoán EEG của từng người tham gia để ước tính điểm bắt đầu/kết thúc của tách rời và tham gia
  • Ở cửa sổ 4 giây, tham gia với người nói mới bắt đầu sớm hơn đáng kể so với tách rời khỏi người nói cũ
  • Thời điểm kết thúc tham gia cũng sớm hơn đáng kể so với kết thúc tách rời
• Khi phân tích đồng thời các cửa sổ 1, 2, 4, 8 và 16 giây, bất đối xứng tham gia–tách rời vẫn duy trì
  • Cửa sổ càng dài thì thời gian chuyển đổi ước tính càng dài
  • Việc làm mượt theo thời gian của cửa sổ trượt có thể kéo dài chuyển đổi, nhưng không tự tạo ra bất đối xứng giữa hai quá trình
• Trong khoảng ngắn khi theo dõi người nói mới xuất hiện trước khi theo dõi người nói cũ suy giảm, hai luồng giọng nói được biểu diễn đồng thời về mặt thần kinh

Dải alpha và nỗ lực nghe

• Biến thiên phổ liên quan sự kiện (ERSP) dải alpha 8–12 Hz quanh thời điểm chuyển chú ý được dùng làm chỉ báo nỗ lực nghe
• Trong quá trình chuyển đổi, công suất alpha giảm đáng kể ở vùng chẩm–đỉnh, và mức giảm lớn được đo khoảng 4,5 giây sau tín hiệu chuyển đổi
• Ở cửa sổ 4 giây, điểm thấp nhất của alpha ERSP xuất hiện muộn hơn đáng kể so với điểm chuyển đổi mã hóa, nơi tương quan dự đoán EEG của hai người nói giao nhau
  • Thứ tự này vẫn được giữ ở nhiều độ dài cửa sổ
  • Điểm thấp nhất của alpha gần tương ứng với thời điểm hoàn tất tham gia với người nói mới, và sớm hơn thời điểm hoàn tất tách rời khỏi người nói cũ
• Quan hệ thời gian này để ngỏ khả năng công suất alpha liên quan đến nỗ lực tái tập trung vào người nói mới, ức chế chủ động người nói gây nhiễu mới, hoặc kết hợp cả hai
• Khi ngữ cảnh âm học và ngôn ngữ của luồng mới đã tích lũy đủ, việc theo dõi có thể trở nên dễ hơn và giải phóng tài nguyên nhận thức, nhưng cần kiểm chứng thêm theo độ khó chuyển chú ý

Bốn mô hình ngữ cảnh từ vựng

• Khi đối tượng chú ý thay đổi, ngữ cảnh ngữ nghĩa dùng cho dự đoán từ vựng cũng thay đổi; do đó nghiên cứu tính độ bất ngờ của từ và entropy bằng Mistral-7B-v0.1
  • Độ bất ngờ cho biết từ hiện tại ngoài dự đoán đến mức nào so với ngữ cảnh trước đó
  • Entropy cho biết độ bất định trong dự đoán từ tiếp theo
• So sánh bốn chiến lược tích lũy ngữ cảnh
  • Oracle: dùng toàn bộ phát ngôn trước đó của người nói hiện tại, bất kể có được chú ý hay không, và không nhận biết chuyển đổi
  • Speaker-Specific: chỉ dùng các đoạn chú ý trước đó của cùng người nói
  • Attention: dùng tất cả các đoạn đã được chú ý trước đó, bất kể người nói
  • Reset: loại bỏ toàn bộ ngữ cảnh trước chuyển đổi và chỉ tích lũy ngữ cảnh mới trong đoạn chú ý hiện tại
• Ngay sau chuyển đổi, entropy của mô hình Reset tăng vọt mạnh nhất rồi giảm khi các từ tiếp tục xuất hiện
  • Attention và Speaker-Specific tương tự nhau và ổn định hơn
  • Oracle, vốn không nhận biết chuyển đổi, hầu như không thay đổi trước/sau chuyển đổi
  • Ở trung bình toàn cục, entropy của Reset cao hơn Oracle và ở mức trung gian thấp hơn Attention cùng Speaker-Specific

Kết quả dự đoán EEG của mô hình Reset

• So với TRF cơ sở chỉ dùng đặc trưng âm học, các mô hình Speaker-Specific, Attention và Reset có thêm entropy cho thấy cải thiện dự đoán đáng kể, nhưng Oracle không cải thiện
• Khi dùng độ bất ngờ, ba mô hình ngoại trừ Oracle cũng xác nhận mã hóa thông tin ngữ nghĩa
• Trái với dự đoán, mô hình Reset dựa trên entropy có tương quan dự đoán EEG cao hơn đáng kể so với Oracle, Speaker-Specific và Attention
  • Biên độ TRF-N400 ở 350–550 ms của Reset thấp hơn ba mô hình còn lại
• Trong phân tích dựa trên độ bất ngờ, Reset cao hơn Oracle, nhưng so sánh giữa các mô hình còn lại không có ý nghĩa; biên độ TRF-N400 cũng không khác biệt đáng kể
• Entropy phản ánh độ bất định của từ sắp tới, trong khi độ bất ngờ phản ứng với từ đã xuất hiện; khác biệt này có thể đã ảnh hưởng đến kết quả
  • Người tham gia nhận tín hiệu chuyển đổi và dự đoán sẽ có giọng nói khác, nhưng LLM không nhận tín hiệu này, nên độ bất ngờ của con người và mô hình có thể không khớp
  • Mistral chỉ được tối ưu hóa cho dự đoán từ tiếp theo, chứ không nhắm đến tính hợp lệ sinh lý thần kinh
• Kết quả phù hợp với khả năng con người đặt lại ngữ cảnh từ vựng khi chuyển đổi, nhưng vẫn để ngỏ khả năng con người và LLM xử lý sự gián đoạn giọng nói theo cách hoàn toàn khác nhau

Hạn chế và khả năng ứng dụng

• Thời điểm tham gia/tách rời tính bằng cửa sổ trượt phụ thuộc vào độ dài cửa sổ, nên cần diễn giải là thời gian tương đối giữa các quá trình, không phải thời gian xử lý thần kinh tuyệt đối
• Nhiệm vụ chuyển đổi theo chỉ dẫn kém tự nhiên hơn hội thoại thực tế, và vì khuyến khích theo dõi giọng gây nhiễu nên có thể tạo ra chiến lược khác với nhiệm vụ chú ý duy trì
• Bất đối xứng có thể thay đổi theo tải nhận thức, tuổi tác, năng lực nhận thức, vấn đề thính lực, mức quan tâm đến nội dung giọng nói, tần suất chuyển đổi và đặc điểm nhiệm vụ
• Thay vì loại bỏ hoàn toàn ngữ cảnh trước đó, con người cũng có thể duy trì nó dưới dạng tóm tắt trừu tượng như ý chính của câu chuyện
  • Có thể so sánh với Large Concept Model được tối ưu cho dự đoán câu, hoặc các mô hình kết hợp ngữ cảnh token ngắn với tóm tắt quá khứ
• Phương pháp tách riêng thay đổi mã hóa theo từng giọng nói tinh vi hơn phân loại chú ý đơn giản, và có thể dùng cho nghiên cứu máy trợ thính điều khiển bằng nhận thức cũng như so sánh giữa các nhóm tuổi và thính lực
• EEG đã tiền xử lý, tệp phân tích, mã và kích thích giọng nói được công khai trên Zenodo

[GN⁺]

Ý kiến trên Hacker News

• Điều này làm tôi nhớ đến câu chuyện Richard Feynman thử xem mình có thể làm gì đồng thời khi đếm 60 giây trong đầu. Feynman có thể vừa đếm vừa đọc nhưng không thể nói, còn John Tukey thì ngược lại, có thể nói nhưng không thể đọc
  Đó là vì Tukey hình dung các con số như một cuộn băng, còn Feynman thì tự nói thầm trong đầu. Ngay cả với cùng một việc là đếm số, quá trình trong đầu của mỗi người cũng khác nhau, và quan sát xem họ có thể hay không thể làm gì trong lúc đếm cho thấy điều này có thể được kiểm chứng một cách khách quan
  Feynman cũng nghĩ rằng bản thân ông nhìn chữ trong các phương trình dưới dạng màu sắc, và các sinh viên có thể nhận thức hàm Bessel hoàn toàn khác
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • Khi ru con gái ngủ, tôi thường bế con, hát và đếm 300 bước; nếu hình dung các con số thay vì độc thoại nội tâm thì tôi có thể vừa hát vừa đếm. Tuy vậy cần tập trung hơn, và giờ khi nhìn con đã tự ngủ một mình, đôi khi tôi lại nhớ khoảng thời gian đó
  • Nếu không đọc chữ thì tôi có thể theo dõi nội dung audiobook mà không cần tập trung nhiều. Có vẻ tôi không thể vừa nghe audiobook vừa đọc vì khi đọc tôi phát âm thầm trong đầu, và tôi thích đọc chậm để cảm nhận từng từ hơn là đọc lướt
  • Có vẻ điều này liên quan đến việc hai bán cầu não đảm nhiệm các chức năng nhận thức khác nhau và điều khiển vận động nửa thân đối diện, đồng thời giao tiếp qua thể chai. Ở bệnh nhân não tách do thể chai bị cắt, hai bán cầu đôi khi hành động độc lập; có thể thấy điều này trong các thí nghiệm của Michael Gazzaniga và Roger Sperry
    Thí nghiệm của Feynman cho thấy cách xử lý nội bộ mà mỗi người phát triển có thể được kiểm chứng từ bên ngoài, và cảm nhận màu sắc với ký hiệu toán học cũng có thể là kết quả của bán cầu phải gán các định danh riêng cho bài toán logic của bán cầu trái
  • Tôi tự hỏi việc không thể làm việc, đọc hay tập trung khi nghe nhạc có phải cũng vì lý do đó không, hay đơn giản là vì âm nhạc chiếm hết sự chú ý
  • Vừa hát ru cho con vừa đọc thì rất dễ, nhưng khi cố vừa nói vừa đếm số trong đầu thì hoàn toàn bất khả thi, như thể đâm vào một bức tường

• Tôi có thể đọc to truyện cổ tích trong khi vẫn tiếp tục một dòng suy nghĩ hoàn toàn khác. Tuy nhiên đôi khi có lỗi rò sang lúc đọc thành tiếng, như đọc nhầm thành từ trong dòng suy nghĩ kia

  • Khi bố tôi, một nhà vật lý, bắt đầu buồn ngủ lúc đang đọc sách thì câu chuyện cổ tích đột nhiên trở nên vô nghĩa và đầy những thuật ngữ vật lý khó hiểu, nên tôi nhận ra ngay
  • Mỗi tối đọc sách cho con, tôi có thể nghĩ về vấn đề khác khoảng 15 phút, nhưng trong trạng thái đó tôi không theo được cốt truyện. Đến lúc đứa trẻ hỏi “Bố ơi, sao bố lại ăn trộm xe đạp thế?” thì mọi sự ngụy trang đều sụp đổ
  • Khi đọc cho con nghe hàng chục cuốn, gồm cả sách của Enid Blyton, tôi có thể đồng thời nghĩ về công việc hay việc nhà. Tôi hoàn toàn không theo được những gì mình đã đọc trong vài phút nên phải đọc lại từ đầu, và có vẻ đường đi của mắt và miệng trong vòng lặp âm vị hoạt động độc lập với các đường nhận thức về ghi nhớ, xử lý và điều hành
  • Khi ở trường phải thay phiên nhau đọc sách giáo khoa, tôi chỉ tập trung vào giọng đọc và ngữ điệu theo dấu câu. Đọc xong đoạn thì phải đọc lại trong im lặng để hiểu nội dung, và đến giờ nếu muốn đọc thành tiếng trong khi vẫn hiểu những văn bản phức tạp thì tôi vẫn phải dùng cả hai luồng xử lý
  • Khi dành nhiều tài nguyên nhận thức hơn cho suy nghĩ khác, đôi lúc tôi chợt nhận ra mình vẫn đang đọc thành tiếng dù chẳng hề cố gắng đọc

• Là phi công kiêm phụ trách liên lạc vô tuyến, kết quả này không làm tôi ngạc nhiên vì tôi luôn có thể xử lý hai luồng giọng nói cùng lúc

  • Nhân viên kiểm soát ở trung tâm điều phối và TRACON phải giám sát nhiều tần số bằng cả hai tai, đồng thời vẫn phải xử lý khi phi công nói đè lên liên lạc ở tần số khác. Trong lúc bàn giao họ còn phải trao đổi nội bộ, mà nội dung liên lạc cũng không phải chuyện tiệc nướng cuối tuần mà có mật độ thông tin cỡ METAR
  • Với vai trò giáo viên, đôi lúc tôi trò chuyện với nhiều đứa trẻ cùng lúc. Nếu không cần tập trung sâu thì vẫn làm được, nhưng vì mệt nên tôi cố tránh
  • Tôi tò mò không biết trên headset các giọng nói chồng lên nhau ở giữa hoặc mono, hay được tách ra thành tai trái và tai phải

• Nhiều thực hành chánh niệm dường như cố làm im tiếng nói nội tâm bằng cách đặt sự chú ý vào hai nơi cùng lúc. Trong The Fourth Way của George Gurdjieff và các ghi chép của P. D. Ouspensky, việc tập trung vào hai đối tượng để làm bão hòa luồng chú ý được mô tả là có thể tạo ra trạng thái ý thức giống thiền
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • Có lẽ vì thế mà nghe fugue lại thú vị đến vậy

• Thời đại học, ở các bữa tiệc tôi thường tham gia nhiều cuộc trò chuyện cùng lúc và đi qua lại giữa các nhóm. Không phải vì tôi quá giỏi, mà vì tôi nghe được mọi cuộc trò chuyện xung quanh; khi nhiều nhóm đều nói chuyện thú vị, tôi không muốn bỏ lỡ bên nào nên cứ qua lại giữa các cuộc trò chuyện

• Nếu không thể xử lý nhiều luồng cảm giác, chúng ta sẽ không thể theo dõi nguy hiểm trong nền hoặc chuyển ngữ cảnh. Trải nghiệm có ý thức và xử lý diễn ra ở nền là hai thứ khác nhau

  • Xử lý nhiều luồng và xử lý tuần tự đồng thời về mặt thời gian là hai việc khác nhau. Giống như CPU đơn lõi xử lý nhiều luồng, cái trước vẫn có thể xảy ra chỉ bằng cách chia thời gian, qua lại rất nhanh giữa A và B
    Bằng chứng cho thấy não thực sự tiếp tục xử lý và mã hóa nhiều luồng cùng lúc sẽ giúp hiểu cơ chế chính xác của multitasking, nên dù kết quả có vẻ hiển nhiên thì vẫn rất đáng nghiên cứu
  • Điều được bàn ở đây không phải xử lý đa giác quan nói chung mà là xử lý nhiều luồng giọng nói
  • Hiểu nghĩa của văn bản và phân biệt nguy hiểm từ tín hiệu cũng khác nhau về mức độ chất lượng của xử lý

• Tôi cứ tưởng đây đã là điều ai cũng biết rõ. Vấn đề của tôi là không thể phớt lờ lời người khác; ngay cả khi đang nói chuyện với ai đó, tôi vẫn nghe không sót một từ các cuộc trò chuyện xung quanh

• Nhóm điều khiển nhiệm vụ Apollo được huấn luyện để xử lý đồng thời nhiều luồng hội thoại, nhưng nổi tiếng là họ không thể tắt khả năng đó đi, nên tiệc cocktail trở thành cơn ác mộng

  • Các kiểm soát viên không lưu ở sân bay và những nghề tương tự trong đường sắt hay tàu điện ngầm có lẽ cũng gặp khó khăn như vậy
  • Khi ăn với họ hàng, ai cũng nói cùng lúc và phần lớn đều tham gia hai cuộc trò chuyện. Em gái tôi rời nhà đi học đại học phải mất vài tuần mới bỏ lại được thói quen đó, nên trong lúc về thăm nhà nó hoàn toàn không nói gì trong bữa ăn
  • Tôi muốn có một liên kết để kiểm chứng nguồn gốc của giai thoại này

• Một trong những năng lực siêu phàm huyền thoại của Pythagoras là phân thân hiện diện ở hai nơi cùng lúc (bilocation) để giảng bài tại hai thành phố. Mỗi khi tham gia nhiều cuộc trò chuyện cùng lúc ở chỗ đông người, tôi lại nghĩ đến Pythagoras

• Khi hoạt hình và âm thanh lần đầu được kết hợp, nếu phát tiếng “tách” đúng vào khoảnh khắc con lắc chạm đến điểm cuối thì người ta lại cảm thấy âm thanh bị trễ. Người ta nói đó là vì cần khoảng 1/16 giây để chuyển sự chú ý từ kích thích này sang kích thích khác
  Có thể xem thêm các quan sát khác về cảm nhận thời gian tại https://en.wikipedia.org/wiki/Time_perception

  • Bản thân tốc độ truyền âm thanh cũng chậm
  • Tiếng tích tắc của đồng hồ thật ra dù sao cũng phát ra trước khi con lắc chạm điểm cuối