Mô hình hóa Bản thảo Voynich bằng SBERT để khám phá cấu trúc

 (github.com/brianmg)
1 điểm bởi GN⁺ 2025-05-19 | 1 bình luận | Chia sẻ qua WhatsApp
  • Đây là một dự án mã nguồn mở phân tích cấu trúc ngôn ngữ của Bản thảo Voynich bằng các kỹ thuật NLP hiện đại như SBERT
  • Dự án tập trung vào loại bỏ hậu tố và phân cụm để kiểm chứng xem có tồn tại cấu trúc tương đồng ngôn ngữ thực sự hay không, thay vì các mẫu giả
  • Kết quả phân tích cấu trúc đa chiều như vai trò của từ chức năng và từ nội dung, ma trận chuyển tiếp cho thấy các mẫu có ý nghĩa đã được quan sát thấy
  • Khác với các cách tiếp cận thống kê truyền thống hoặc dựa trên suy đoán, đây là nỗ lực phân tích các đặc trưng ngôn ngữ có cấu trúc theo hướng ngôn ngữ học tính toán
  • Dự án chỉ tập trung vào mô hình hóa cấu trúc mà không cố gắng dịch nghĩa, nên có thể tiếp tục mở rộng nghiên cứu và thực hiện các thí nghiệm đối chiếu

📜 Giới thiệu dự án phân tích cấu trúc Bản thảo Voynich

🔍 Tổng quan

  • Dự án này bắt đầu từ một thử nghiệm cá nhân nhằm phân tích cấu trúc của Bản thảo Voynich bằng các công cụ xử lý ngôn ngữ tự nhiên (NLP) hiện đại
  • Dự án áp dụng các phương pháp mô hình hóa ngôn ngữ thực tế như phân cụm, suy luận từ loại, chuyển tiếp Markov, trích xuất mẫu theo từng phần
  • Không cố gắng diễn giải ý nghĩa hay dịch thuật, cũng không phóng đại các mẫu, mà chỉ kiểm chứng xem có tồn tại cấu trúc vận hành như một ngôn ngữ hay không
  • Mọi bước như loại bỏ hậu tố, embedding SBERT, tạo giả thuyết từ vựng đều được công khai

🧠 Ý nghĩa

  • Bản thảo Voynich là một tài liệu bí ẩn chưa được giải mã và hiện chưa có lời giải ngôn ngữ học/mật mã học
  • Các phân tích trước đây chủ yếu bị chia thành hai hướng: kiểm tra entropy thống kê và suy đoán thiếu tính khoa học
  • Dự án này dựa trên ngôn ngữ học tính toán để trung lập khám phá xem có tồn tại các mẫu cấu trúc tương tự ngôn ngữ thực hay không

📁 Cấu trúc dự án

  • /data/
    • Cung cấp dữ liệu như bản chép toàn bộ bản thảo, các loại từ gốc, ID cụm, danh sách hậu tố đã loại bỏ, chuỗi cụm của từng dòng
  • /scripts/
    • Cung cấp các script phân tích cốt lõi như phân cụm từ dựa trên SBERT, dự đoán từ loại, xây dựng ma trận chuyển tiếp Markov, tạo ứng viên từ vựng
  • /results/
    • Cung cấp kết quả phân tích như trực quan hóa cụm, heatmap ma trận chuyển tiếp, tóm tắt theo từng cụm

✅ Đóng góp chính

  • Phân cụm các từ gốc đã loại bỏ hậu tố bằng SBERT đa ngôn ngữ
  • Phân biệt cụm giống từ chức năng và cụm giống từ nội dung
  • Mô hình hóa cấu trúc chuyển tiếp giữa các cụm theo phương pháp Markov
  • Phân tích cấu trúc cú pháp theo từng phần (ví dụ: Botanical, Biological, v.v.)
  • Tạo bảng giả thuyết từ vựng dựa trên dữ liệu

🔧 Quyết định tiền xử lý

  • Trước khi phân cụm, dự án loại bỏ các hậu tố lặp đi lặp lại (ví dụ: aiin, dy, chy, v.v.)
  • Nhờ đó có thể trích xuất dạng từ gốc, giúp độ tập trung của cụm và các mẫu cấu trúc rõ ràng hơn
    • Các hậu tố có thể là phần đệm âm vị, hình vị ngữ pháp, yếu tố phục vụ ghi nhớ/đọc thuộc, lặp lại hoặc nhiễu vô nghĩa
  • Tuy vậy, lựa chọn này cũng có hạn chế như mất thông tin hình thái, che khuất biến tố có ý nghĩa, thiên lệch với từ chức năng
  • Các thí nghiệm đối chiếu không loại bỏ hậu tố cũng có giá trị — bất kỳ ai cũng có thể thực hiện các thí nghiệm phái sinh

📈 Kết quả phân tích chính

  • Cluster 8: xuất hiện rất thường xuyên, độ đa dạng thấp và hay ở đầu dòng — là ứng viên cho cụm từ chức năng
  • Cluster 3: độ đa dạng cao, vị trí linh hoạt — là ứng viên cho cụm từ nội dung gốc
  • Ma trận chuyển tiếp: cho thấy cấu trúc nội tại mạnh, khác xa tính ngẫu nhiên
  • Mẫu cụm và từ loại: khác nhau theo từng phần của bản thảo (ví dụ: Biological, Botanical, v.v.)

🧬 Giả thuyết

  • Bản thảo là một ngôn ngữ nhân tạo/ghi nhớ có cấu trúc, sử dụng lặp âm tiết và lặp theo vị trí
  • Nó thể hiện rõ cấu trúc ngôn ngữ như cú pháp, tách biệt chức năng/nội dung, chuyển tiếp ngôn ngữ theo từng phần

📊 Ví dụ trực quan hóa

  • Figure 1: embedding phân cụm SBERT (giảm chiều bằng PCA)
  • Figure 2: heatmap ma trận chuyển tiếp

📌 Hạn chế

  • Ánh xạ cụm-từ là gián tiếp nên có hiện tượng chồng lấp trong ước lượng tần suất
  • Tiêu chí loại bỏ hậu tố mang tính heuristic, nên có thể làm mất cả những âm cuối thực sự có ý nghĩa
  • Dự án không thử diễn giải ngữ nghĩa mà chỉ tập trung vào phân tích cấu trúc

✍️ Ghi chú của tác giả

  • Đây là dự án bắt đầu với mục tiêu học hỏi về AI, NLP, phân tích cấu trúc
  • Mục tiêu không phải giải mã bản thảo, mà là hiểu cấu trúc bằng các công cụ hiện đại, điều mà tác giả cho là có giá trị phát triển hơn
  • Dự án hoan nghênh những người quan tâm đến “bản thân việc mô hình hóa đã có ý nghĩa”, hơn là kỳ vọng vào một kiểu giải mã như Rosetta Stone

🤝 Hướng dẫn đóng góp

  • Dự án này chào đón sự hợp tác và mở rộng từ các nhà ngôn ngữ học, nhà mật mã học, nhà nghiên cứu ngôn ngữ nhân tạo và cộng đồng ngôn ngữ học tính toán

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-05-19
Ý kiến trên Hacker News

  • Tôi thấy bạn đang tìm các cụm trong phép chiếu PCA — nếu muốn tìm cấu trúc sâu hơn, tôi muốn gợi ý các thuật toán giảm chiều mới hơn như PaCMAP hoặc LocalMAP. Tôi đang thực hiện một dự án lấy dữ liệu từ công cụ khảo sát ý kiến Pol.is rồi chiếu lại bằng các thuật toán giảm chiều này thay vì PCA. Tôi rất ấn tượng với việc các thuật toán mới này mang lại những góc nhìn mà trước đây không thấy được. Tôi cũng có kết quả trực quan với các nhóm được tô màu, nên hãy xem trên máy tính để bàn. Nếu bạn tò mò Pol.is là gì thì tôi cũng gợi ý bài viết liên quan

    • Cảm ơn vì đã giúp tôi biết đến PaCMAP và LocalMAP — kiểu tiếp cận giảm chiều giữ cấu trúc tốt như vậy có vẻ phù hợp với dữ liệu này hơn PCA. Nhờ bạn mà tôi đã hứng thú và dự định tìm hiểu sâu hơn
    • Theo kinh nghiệm của tôi, UMAP cho kết quả tốt hơn nhiều so với PCA hay t-SNE trong việc giảm chiều embedding

  • Mô hình embedding văn bản dùng ở đây là paraphrase-multilingual-MiniLM-L12-v2, một mô hình đã khoảng 4 năm tuổi. Trong thế giới xử lý ngôn ngữ tự nhiên, như vậy là rất cũ. Với sự phát triển gần đây của LLM, khả năng biểu diễn thông tin của các mô hình embedding và năng lực phân biệt trong không gian embedding đã cải thiện mạnh mẽ. Ngay cả các mô hình embedding mới không nhắm đến hỗ trợ đa ngôn ngữ cũng cho hiệu năng xuất sắc với kiểu dữ liệu này. Vì vậy chúng cũng có thể cho kết quả tốt hơn với một ngôn ngữ tương đối ít được biết đến như Voynich Manuscript. Tôi cho rằng các kỹ thuật NLP truyền thống (loại bỏ hậu tố, nhận diện từ loại, v.v.) thậm chí còn có nguy cơ làm mất thông tin ngữ cảnh cần thiết và làm giảm chất lượng embedding

    • Tôi chủ yếu chọn paraphrase-multilingual-MiniLM-L12-v2 vì tốc độ và khả năng tương thích, nhưng tôi đồng ý rằng theo tiêu chuẩn hiện nay thì đó rõ ràng là một mô hình cũ. Thử các mô hình mới hơn như all-mpnet-base-v2 hoặc text-embedding-ada-002, đồng thời giữ lại cả hậu tố và dùng embedding toàn ngữ cảnh, có lẽ sẽ cho kết quả thú vị hơn. Nhờ góp ý của bạn mà tôi sẽ tích cực cân nhắc điều đó cho vòng lặp tiếp theo

  • Tôi không rành về NLP. Tôi tự hỏi liệu có hợp lý không khi kiểm tra quy trình bằng cách kiểm soát nhóm đối chứng. Ví dụ, cho con người viết ra các câu trông giống ngôn ngữ nhưng thực ra không phải ngôn ngữ, rồi áp dụng cùng một quy trình (xóa hậu tố, thử phân cụm, v.v.) để xem có ra kết quả tương tự hay không

    • Chính xác là vậy. Tôi thắc mắc tại sao không đơn giản cho 100 người viết ra bản thảo Voynich rồi huấn luyện trên dữ liệu đó

  • Tôi nghĩ sẽ tốt nếu phân tích bằng UMAP hoặc t-SNE, dù PCA đã cho ra kết quả tách biệt khá gọn. Ánh xạ tham chiếu các cụm với nhau cũng có vẻ là một cách tốt để cho thấy không còn nhiều biến thiên chưa được giải thích trong phân tích

    • Ý hay đấy — lúc đầu PCA cho ra sự tách biệt gọn gàng ngoài mong đợi nên ban đầu tôi cứ đi tiếp với nó. Nhưng đúng như bạn nói, áp dụng UMAP hoặc t-SNE có thể giúp phát hiện các mẫu hay vấn đề tinh vi hơn từ góc nhìn phi tuyến. Tôi cũng chưa tạo ma trận độ tương đồng giữa các cụm, nhưng nghe đề xuất của bạn thì đó có vẻ là bước tiếp theo rất tự nhiên để kiểm chứng xem tín hiệu thực sự được nắm bắt đến mức nào. Tôi chắc chắn nên thử điều đó ở phần tiếp theo. Cảm ơn vì đã khơi gợi suy nghĩ
    • Nếu có ví dụ về cách thực hiện ánh xạ tham chiếu này thì tôi rất muốn xem. Tôi muốn thử áp dụng kiểu này cho embedding của các modality khác, nhưng lại không có nhiều kinh nghiệm phía NLP
    • Khi PCA đã tách đủ tốt thì khoảng cách giữa các điểm riêng lẻ dễ diễn giải hơn, nên tôi thường tránh UMAP. Tôi luôn tránh t-SNE vì cho rằng diễn giải khoảng cách ở đó gần như vô nghĩa. Dĩ nhiên đây chỉ là sở thích cá nhân của tôi

  • Tôi cho rằng đây là giả thuyết thú vị nhất: có vẻ một tác giả nào đó đã đạt được tiến triển đáng kể khi xem Voynichese là một ngôn ngữ Germanic. Tôi cũng từng thấy các lập luận nói đó là ngôn ngữ Ural hoặc Finno-Ugric. Tôi nghĩ phương pháp luận của bạn rất tốt, và tự hỏi liệu nếu tùy biến để nhắm vào một hệ ngôn ngữ cụ thể thì có cho kết quả tốt hơn không

    • Tôi cũng từng thấy bằng chứng từ lâu cho rằng Edward Kelly có mặt đúng lúc đúng chỗ và biết về Cardan grille, nên tôi nghiêng về khả năng ông ta là tác giả, còn cuốn sách bản thân nó được tạo ra như một trò lừa hoặc trò đùa
    • Chủ đề này đang bàn về nhiều tuyên bố “giải mã” khác nhau. Trang Bernholz thì ổn, nhưng công trình của Child thực ra không giúp ích nhiều cho việc giải mã

  • Tôi cứ nghĩ đây là tiếng Thổ Nhĩ Kỳ cổ

    • Bản dịch tiếng Anh của bản thảo có thể xem ở đây

  • Có thể tôi đã bỏ sót hoặc không thấy trong README, nhưng tôi tò mò không biết việc mã hóa ban đầu của các “từ” được làm như thế nào. Ví dụ, một từ như “okeeodair” được ánh xạ ngược lại về ký hiệu gốc như thế nào

    • Đúng vậy, các từ như “okeeodair” đến trực tiếp từ tệp phiên âm EVA. Theo hệ EVA (European Voynich Alphabet), đó là kết quả nối các ký hiệu Voynich gốc thành ASCII. Trong dự án này, thay vì làm việc với chính các ký hiệu, tôi dùng trực tiếp các từ theo phiên âm EVA. Nếu trong bộ dữ liệu có “okeeodair”, điều đó có nghĩa là ai đó (các chuyên gia) đã thống nhất gọi tổ hợp ký hiệu đó bằng tên như vậy. Thông tin về phiên âm có thể xem tại trang này

  • Điều tôi hình dung là, nếu đó chỉ đơn thuần là những nét vẽ nguệch ngoạc vô nghĩa và thậm chí không phải mật mã, thì do đặc tính của bản chép tay, phong cách, nét chữ, các từ được dùng, thậm chí cả chính các chữ cái cũng phải tiến hóa từ trang đầu đến trang cuối. Tất nhiên thứ tự các trang có thể đã bị xáo trộn, nhưng tôi nghĩ phải có một số khác biệt nào đó. Trừ khi tác giả đã viết hàng chục cuốn với phong cách tương tự rồi tất cả đều biến mất. Đây không phải ý tưởng mới, nhưng tôi tò mò không biết đã có phân tích nào về dạng mẫu này chưa, vì tôi chưa từng thấy nhắc đến tính nhất quán giữa các trang

    • Có khá nhiều nghiên cứu về tính nhất quán giữa các trang. Trong giới chuyên gia có những lập luận cho rằng đã có hai người chép (hoặc năm người chép). Bạn cũng có thể tham khảo thảo luận về các thí nghiệm dựa trên lập luận của Lisa Fagin Davis, sẽ khá hữu ích

  • Tôi tò mò không biết sẽ cần bao nhiêu tài nguyên để “giải mã” theo kiểu “brute force”. Ví dụ, nếu làm theo một quy trình rõ ràng như ánh xạ từng cái một với các từ của ngôn ngữ đã biết rồi tối ưu điểm số thì sao

    • Tôi chỉ muốn chỉ ra rằng cách tiếp cận này đòi hỏi giả định mỗi từ có ánh xạ 1:1, trong khi ngôn ngữ vốn không nhất thiết vận hành như vậy. Ví dụ, từ ghép rất khó ánh xạ theo cách này. Cũng còn có những khác biệt nền tảng hơn về cấu trúc ý nghĩa do khác biệt văn hóa
    • Câu hỏi thú vị đấy — thật ra tôi cũng từng nghĩ tương tự. Tôi không phải người học chuyên về mật mã học nên không rõ việc “brute force” thật sự ở quy mô lớn có khả thi đến đâu. Nhưng cách tiếp cận tối ưu hóa tính nhất quán bằng cách ánh xạ từng “từ” Voynich sang từ của ngôn ngữ thực khá trùng với nhiều thử nghiệm và hướng đi đã được đề xuất. Cái khó là bản thân vốn từ rất lớn, và cũng không rõ đơn vị “từ” đó có ánh xạ 1:1 với từ của ngôn ngữ thực hay không. “Từ” trong Voynich có thể là một từ vựng thực sự, một mảnh, hoặc tổ hợp gốc từ-hậu tố. Theo nghĩa đó, ánh xạ đơn giản sẽ rất khó. Tuy vậy, thử làm với ID cụm thay vì từng token riêng lẻ rồi dùng language model để chấm điểm kết quả lại là một ý tưởng khá hay. Tôi nghĩ đáng để thử với các kỹ thuật tối ưu hóa hoặc tiến hóa. Nó cũng có thể cho gợi ý về mức độ cấu trúc này “giống ngôn ngữ” đến đâu. Cảm ơn vì ý tưởng hay. Tôi hy vọng có chuyên gia trong lĩnh vực này thấy được bình luận này và thử làm

  • Tôi tò mò không biết khi phân tích trên một văn bản có độ dài tương tự bằng ngôn ngữ đã biết thì có xuất hiện mẫu tương tự hay không. Nói cách khác, tôi đang hỏi liệu áp dụng kỹ thuật phân tích này lên nhiều loại văn bản khác nhau có thể giúp hiểu hệ chữ viết này thực sự biểu thị điều gì hay không