Lập bản đồ Hacker News để tìm ai biết gì trong cộng đồng HN
(blog.wilsonl.in)40 million embeddings to find who knows what on Hacker News
Bối cảnh dự án
- Trong bài đăng trước, tác giả đã nhúng 40 triệu bài viết và bình luận của Hacker News để tạo ra bản đồ ngữ nghĩa của cộng đồng
- Tác giả nhận thấy cộng đồng ủng hộ dự án và, thông qua những nội dung mà họ đề xuất, nhanh chóng thu hẹp thành các mối quan hệ thực tế trên khắp thế giới
- Qua cuộc trò chuyện với Robert, tác giả đã thảo luận về công trình của ông trong việc xây dựng thuật toán ý nghĩa xã hội vào năm 2008
- Tác giả ngạc nhiên khi sau 16 năm, các mạng xã hội như Hacker News vẫn chưa tính toán và hiển thị được những tiếng nói đáng tin cậy theo từng chủ đề
Câu hỏi chính
- Vì sao việc phát hiện và khám phá những người hiểu rõ nhất về một chủ đề cụ thể lại khó đến vậy?
- Phạm vi kiến thức của họ ra sao, và mối quan hệ của họ với những người có cách nghĩ tương tự như thế nào?
Tính năng mới của ứng dụng
- Ứng dụng mới cho phép khám phá và tương tác với bản đồ ngữ nghĩa của Hacker News (hn2.wilsonl.in)
Những điểm thú vị được phát hiện
- Tổ chức ngữ nghĩa theo người dùng: Bắt đầu từ người dùng để tổ chức ý nghĩa của cộng đồng, đồng thời hiển thị đóng góp trên HN theo ngữ nghĩa cùng với những người dùng tương tự
- Ví dụ: xem hồ sơ mới của robg
- Tìm kiếm ngữ nghĩa: Có thể tìm kiếm ý nghĩa của HN dựa trên việc ai biết gì
- Ví dụ truy vấn: startup, Go vs Rust programming, neuroscience and sleep, email marketing
- Lập bản đồ cộng đồng: Có thể lập bản đồ cộng đồng dựa trên ý nghĩa liên quan đến việc ai biết gì
- Vì kiến thức không phân bố đồng đều, có thể dùng địa hình của cộng đồng để làm nổi bật con người và những gì họ biết
Tiềm năng của công nghệ
- Khi kết hợp ba chức năng là tổ chức ý nghĩa, tìm kiếm và lập bản đồ cộng đồng, có thể hiển thị những con người đứng sau các từ ngữ
- Thay vì tổ chức thông tin của thế giới, có thể tổ chức con người của thế giới
- Điều này gợi mở suy nghĩ về nhiều thách thức khác nhau của tri thức xã hội
- Những ai muốn cùng khám phá khi dự án tiến xa hơn được khuyến khích tham gia danh sách chờ
Tóm tắt của GN⁺
- Dự án này đưa ra cách tìm và khám phá các chuyên gia về những chủ đề cụ thể thông qua bản đồ ngữ nghĩa của cộng đồng Hacker News
- Dự án phân tích đóng góp của người dùng theo ngữ nghĩa để trực quan hóa mối quan hệ với những người dùng tương tự
- Chức năng tìm kiếm giúp dễ dàng tìm ra những người có kiến thức về các chủ đề cụ thể
- Địa hình của cộng đồng được dùng để làm nổi bật con người và những gì họ biết
- Dự án này mang lại một cách mới để kết nối con người và chia sẻ tri thức
1 bình luận
Các ý kiến trên Hacker News
Cá nhân tôi thích việc HN tập trung vào nội dung và thảo luận hơn là từng người dùng riêng lẻ. Nếu muốn theo dõi chuyên gia, có lẽ tôi sẽ tự tạo danh sách trên một mạng xã hội như Mastodon, hoặc cố gắng ghép các RSS feed lại với nhau
Công cụ này có vẻ lọc ra những người bình luận tích cực tốt hơn là các chuyên gia am hiểu, và cũng có vấn đề về các tài khoản dùng một lần. Dù vậy vẫn là một dự án rất hay
Tôi hoàn toàn không nhớ mình đã tranh luận với ai trên HN, nhưng chắc chắn đã có vài lần
Đồng thời tôi cũng thấy dự án của bài gốc rất tuyệt
Lý tưởng nhất là chỉ cần xem nội dung mà không cần danh sách chuyên gia đáng tin cậy, nhưng trước đây từng có thời nhập “cơ sở dữ liệu tốt nhất nên dùng là gì” vào công cụ tìm kiếm là ra kết quả hữu ích. Giờ thì không còn nữa. HN có thể vẫn tốt hơn những nơi khác, nhưng cuối cùng cũng gặp vấn đề tương tự
Như vậy không chỉ tính số đóng góp đơn thuần, mà còn tính cả việc các đóng góp đó kết nối với người khác như thế nào
Ở phía dưới bản đồ trên trang https://hn2.wilsonl.in/user/simonw có mục “Risk of COVID from pianos”. Tôi thật sự muốn biết nó từ đâu ra
Nếu phóng to và di chuyển con trỏ đỏ lên vị trí/văn bản đó trên bản đồ, bình luận gốc sẽ xuất hiện bên dưới bản đồ
Giống như khi đại dịch bắt đầu, mọi người tìm sở thích làm ở nhà nên doanh số guitar và thiết bị phòng gym tại nhà tăng lên
Tôi hầu như không bình luận về công việc thực tế của mình là kiến trúc cloud, networking, và lĩnh vực AI quá đông đúc. Kỳ lạ là gần như không có nội dung liên quan đến Apple, điều này rất mỉa mai nếu xét đến blog của tôi. Vì vậy công cụ này cho thấy mọi người thảo luận gì ở đây, nhưng không nhất thiết cho thấy họ biết gì
https://hn2.wilsonl.in/user/c0l0 — xem ra tôi là chuyên gia hàng đầu trong lĩnh vực tối ưu hóa thiết kế nắp bồn cầu. Cứ hỏi tôi bất cứ điều gì
Trang của tôi có rất nhiều mục: https://hn2.wilsonl.in/user/AndrewKemendo
https://hn2.wilsonl.in/user/SketchySeaBeast
Tôi tự hỏi có phải khi tạo embedding họ đã dùng IDF nên gán trọng số quá lớn cho các cụm từ hiếm không
Bài liên quan gần đây:
Show HN: Khám phá HN bằng cách lập bản đồ và phân tích 40 triệu bài đăng và bình luận HN cho vui - https://news.ycombinator.com/item?id=40307519 - tháng 5/2024, 159 bình luận
Chính nhờ những cộng đồng như HN mà tôi đặt kỳ vọng vào tương lai của niềm tin trên Internet
Có vẻ công cụ đã lấy email của tôi từ phần văn bản hồ sơ và biến nó thành liên kết
mailto:; tôi thừa nhận là theo tiêu chuẩn LLM ngày nay thì nó chưa được che đủ kỹNhưng dù sao nó cũng làm việc thu thập dễ hơn, nên chắc tôi nên thay mặt những spammer ít nỗ lực nói lời cảm ơn
mailto:hiện nay có còn thật sự tồn tại không, hay chúng ta vẫn tiếp tục làm rối email như một kiểu cargo cultSpam đã thay đổi rất nhiều kể từ thời đó; liệu chiến lược này còn được dùng không?
Ví dụ như bạn tôi ghi “firstname [cute arobase sign] domain.com” trên trang liên hệ của một blog nổi tiếng để làm rối
Có cách nào opt-out khỏi tính năng này không?
Tôi nhớ một công cụ từng được đăng ở đây vài năm trước, khá gây tranh cãi. Nó dùng phân tích văn phong và stylometry định lượng để tìm “người dùng tương tự”; nhập tên người dùng vào thì có thể tìm ra các tài khoản phụ nhiều khả năng thuộc cùng một người.
Nghe nói nó chính xác đến rợn người, ít nhất là tôi nghe vậy từ một người bạn có tài khoản phụ. Liệu công cụ này cũng có thể bị chuyển sang dùng cho mục đích đó không? Có lẽ có thể mã hóa “bản đồ” được render trên avatar của từng người dùng thành vector rồi so sánh với người dùng khác.
Sửa: khoan, tôi vừa nhận ra hình như nó đã làm như vậy rồi. Dù không thấy rõ “Explore More Users” có được sắp theo độ tương đồng hay không
Các chủ đề mà tài khoản phụ tham gia nhiều khả năng sẽ khác, như nhà tuyển dụng, chính trị hoặc những chủ đề khác. Trong khi đó, lý do phân tích văn phong có tác dụng là vì không nhiều người có thể thay đổi căn bản văn phong của mình, dù có cố gắng
Trớ trêu là cả lúc đó lẫn từ đó đến nay tôi hầu như chỉ dùng embedding, nhưng hệ thống này thì không dùng embedding. Vấn đề chính của embedding là chúng không thay đổi tốt theo thời gian. Có thể tinh chỉnh, nhưng không dễ bằng các phương pháp khác. Ngôn ngữ đầy rẫy các từ viết tắt theo từng ngành, và nhìn chung mô hình thích nghi kém với cách diễn đạt và từ viết tắt thay đổi. Cuối cùng tôi ghép thêm vài thứ nữa và biến nó thành một công ty: https://ipcopilot.ai
Hiện tôi đang tìm ý tưởng trên Hacker News để làm demo: https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
Ví dụ như user123 khá hài hước, nói năng mạch lạc, quan tâm đến TypeScript và phát triển web, có điểm tận tâm và hướng ngoại cao
Tên người dùng của tôi lấy từ một bản ngã khác của người kể chuyện trong 『Zen and the Art of Motorcycle Maintenance』. Nó liên quan đến đoạn viết về con dao phân tích
“Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
Không biết là cái tên tạo nên số phận, hay tôi hiểu bản thân nên chọn cái tên đó, hoặc chỉ là tôi dùng những từ này quá nhiều, nhưng các từ khóa của tôi gồm “part, system, level, language, article, object” và những từ tương tự
Với tên người dùng của tôi thì thực sự hơi khó đào sâu, và ngoài việc rải nhiều điểm trên toàn bộ bản đồ ra, có vẻ nó không cho thấy gì nhiều
Tôi đang cố hiểu toàn bộ cụm là gì, nhưng phần lớn có vẻ chỉ là android/apple/google: https://hn2.wilsonl.in/user/mmastrac
Thú vị. Tôi từng nhận ra bình luận được upvote nhiều nhất của mình là về một câu hỏi pháp lý. Vì tôi có chuyên môn tương đối nhiều hơn trong lĩnh vực đó so với đa số người dùng HN. Trước đây tôi từng là luật sư
Theo công cụ này thì tôi không nằm trong số các tác giả bình luận hàng đầu về law/legal/lawyer, nhưng tôi chắc chắn nhận ra vài cái tên đứng đầu và nhớ đã thấy họ trong các thread về pháp luật. Công cụ khá hay
Điểm hay nhất của HN là các bình luận cho cảm giác khá nhất thời. Tôi không thích việc chúng bị phân tích và đem ra trưng bày công khai khi chưa có sự đồng ý của tôi
Không phải trang đó có gì đặc biệt thú vị về tôi, nhưng cảm giác vẫn kỳ lạ. Không nhất thiết phải phân tích mọi thứ, và cũng không cần phải cạnh tranh ở khắp nơi. Ý tôi là tôi thích việc nơi này tập trung vào nội dung, chứ không đặt trọng tâm vào ai là người nói. Thấy vậy nên tôi đã xóa Twitter handle khỏi phần giới thiệu của mình. Nếu ứng dụng cập nhật cả phần đó thì tôi sẽ rất cảm ơn
Khi tôi tình cờ phát hiện một bài blog và thấy dấu hiệu đó sáng lên, tôi thường đọc phần bình luận, dù bài đã được đăng từ nhiều năm trước. Nhiều khi tôi thu được những góc nhìn hoặc bối cảnh hữu ích
Vì vậy bất cứ điều gì bạn nói ở đây đều có thể, và thực tế có thể sẽ, gắn với bạn mãi mãi. Có thể là trực tiếp, hoặc theo cách mờ nhạt hơn như công cụ này cho thấy
Nhưng rồi tôi nhận ra rằng chỉ cần nhấp đúp từ bất kỳ bình luận nào là có thể tới truy vấn như thế này: https://news.ycombinator.com/threads?id=RamblingCTO
Bản thân Hacker News đã cung cấp một API thời gian thực gần như miễn phí và nhiều bộ dữ liệu lớn trong nhiều năm, với mục đích là để bất kỳ ai cũng có thể dễ dàng phân tích bình luận ở đây: https://github.com/HackerNews/API
Chưa có bình luận nào bạn viết trên internet từng là nhất thời cả. Hơn 20 năm trước, internet thậm chí đã thôi giả vờ là như vậy rồi