Những bài viết bị gỡ khỏi trang chính Hacker News theo thời gian thực
(github.com/vitoplantamura)- HackerNewsRemovals là một dự án ghi lại các story biến mất khỏi Front Page của Hacker News, nhằm nắm được loại hình và quy mô của các điều chỉnh trang chính có thể quan sát từ bên ngoài
- Dịch vụ dùng HN API chính thức để lấy 90 Top Stories mỗi phút, rồi so sánh với 30 story đứng đầu của 1 phút trước đó và ghi log các story bị thiếu
- Giả định cốt lõi là một story khó có thể tụt từ top 30 xuống ngoài top 90 chỉ trong 1 phút, và trong trường hợp như vậy có khả năng nó đã bị gỡ một cách rõ ràng
- Dịch vụ không thể tự động xác định một story có trùng lặp hay không; vì trùng lặp có thể là lý do hợp lý để gỡ, nên khi xem danh sách luôn cần kiểm tra điều này
- Log được cập nhật với độ trễ tối đa 1 phút; nếu story xuất hiện lại trên Front Page thì sẽ bị xóa khỏi danh sách, và các story trong second-chance pool được loại trừ
Mục đích và vấn đề dự án đặt ra
- HackerNewsRemovals là một dự án nhằm hiểu việc điều chỉnh Front Page của Hacker News diễn ra với quy mô và hình thức như thế nào
- Dự án xem các điều chỉnh Front Page có thể quan sát từ bên ngoài chủ yếu được chia thành hai loại
- Sửa tiêu đề story: có thể ảnh hưởng tự nguyện hoặc không tự nguyện đến việc tăng hạng
- Gỡ trực tiếp khỏi Front Page
- Việc theo dõi thay đổi tiêu đề đã được cung cấp tại hackernewstitles.netlify.app, nên dự án này tập trung vào các story bị gỡ
- Ban đầu đây là một ứng dụng nhỏ làm cho mục đích cá nhân, nhưng vì không tìm thấy công cụ hay website nào cung cấp cùng loại thông tin nên tác giả công khai repository
- Tác giả cho biết nếu có công cụ hoặc website tương tự thì có thể archive repository hoặc chuyển sang chế độ riêng tư
Cập nhật tháng 2/2024 và các lưu ý
- Trong bản cập nhật ngày 4/2/2024, dự án đã thêm liên kết đến cuộc thảo luận trên Hacker News về dự án này
- Thảo luận: HN discussion
- Bình luận của @dang về giả định cốt lõi: @dang comment
- Số story bị gỡ vào thứ Bảy, ngày 3/2/2024 là thấp nhất trong các số liệu mà dịch vụ từng ghi nhận, và trong đó có 2 story trùng lặp
- Khi xem danh sách, luôn cần kiểm tra xem story có trùng lặp hay không
- Trùng lặp có thể là lý do hợp lý để gỡ
- Dịch vụ không có cách tự động xác định liệu một story có trùng lặp hay không
Cách hoạt động
- Dịch vụ dùng HN API chính thức để lấy 90 Top Stories mỗi phút
- Dịch vụ so sánh dữ liệu hiện tại với 30 story đứng đầu đã lấy trong 1 phút trước đó, tức Front Page
- Nếu một story từng nằm trên Front Page trước đó không còn trong 90 Top Stories hiện tại, nó sẽ được ghi vào log
- Cách này dựa trên giả định rằng một story không thể tự nhiên dịch chuyển từ top 30 xuống ngoài top 90 chỉ trong 1 phút
- Nếu story xuất hiện lại trên Front Page, mục tương ứng sẽ bị xóa khỏi log
- Các story nằm trong second-chance pool được loại trừ khỏi log
Dữ liệu được ghi nhận
- Tiêu đề và URL dùng giá trị tại thời điểm story lần đầu xuất hiện trong top 30
- Điểm số, số bình luận và thứ hạng dùng giá trị tại thời điểm story bị gỡ khỏi Front Page
- Mỗi story ID liên kết tới trang news.social-protocols.org
- Trang đó cung cấp biểu đồ thứ hạng Front Page theo thời gian
- Danh sách được cập nhật theo thời gian thực với độ trễ tối đa 1 phút
Hình thức của danh sách công khai
- README chứa danh sách các story bị gỡ theo từng ngày
- Mỗi mục có thể bao gồm HN ID, thứ hạng tại thời điểm bị gỡ, điểm số, số bình luận, tiêu đề story và liên kết gốc
- Ví dụ có các mục từ ngày 22 đến 27/6/2026 được liệt kê theo từng ngày
- Một số mục không hiển thị điểm số hoặc số bình luận, mà chỉ có thứ hạng và tiêu đề
- Khi diễn giải danh sách, cần kiểm tra khả năng trùng lặp; bản thân dịch vụ không tự động hóa việc xác định trùng lặp
Lý do tạo dự án
- Dự án xuất phát từ hai story liên quan đến OnnxStream được đăng lên Hacker News rồi bị ảnh hưởng theo những cách khác nhau trên Front Page
- Story đầu tiên được đổi tiêu đề từ “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes” thành “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2”, và có người dùng chỉ ra rằng tiêu đề mới không phản ánh đúng ý của story
- Story thứ hai chưa đầy 1 giờ sau khi được gửi đã đứng thứ 3 trên Front Page, nhưng sau đó bị gỡ khỏi Front Page
- @dang trả lời rằng story đó đã bị người dùng flag dù không có dấu hiệu flag hiển thị rõ ràng, và chỉ có thể suy đoán nguyên nhân bị flag
- Dựa trên trải nghiệm này, tác giả đã tạo một ứng dụng console nhỏ để kiểm tra hiện tượng này xảy ra thường xuyên đến mức nào, rồi sau đó công khai vì không tìm thấy công cụ công khai nào theo dõi cùng hiện tượng
1 bình luận
Các ý kiến trên Hacker News
Nhìn danh sách các bài bị xóa thì thấy việc moderation ở đây khá ổn
Tất cả đều mang tính giật gân, hoặc gần như quảng cáo cho một công ty cụ thể, hoặc tiêu đề câu view, hoặc lệch chủ đề rất xa, hoặc là kết hợp các yếu tố đó; cá nhân tôi không thấy bài nào đáng ra không nên bị xóa
Sam Altman Says AI Using Too Much Energy Will Require Breakthrough Energy Source: https://futurism.com/sam-altman-energy-breakthrough
Avoid Async Rust at All Cost: https://blog.hugpoint.tech/avoid_async_rust.html
Bài cuối có thể đổi tiêu đề cho bớt phóng đại, nhưng bản thân nội dung là một bài ý kiến thú vị. Có vẻ nhiều khả năng đây không phải việc do moderator trực tiếp làm, mà là false positive của bộ lọc spam, bị kéo nhau flag, hoặc do cơ chế chống thao túng upvote
Bấy nhiêu là đủ để biết cần biết gì về moderation của trang này. May là có người đã lưu ảnh chụp màn hình: https://merveilles.town/@cancel/111834048502040552
Thật sao? Đây là báo cáo của NASA trên trang .gov chính thức mà? Phần bình luận có thể đã lộn xộn, nhưng chủ đề này trông đúng giữa vùng HN quan tâm
Khá rõ là để một diễn đàn trực tuyến khỏe mạnh về lâu dài thì cần moderation tốt. HN đã làm tốt nhờ một cộng đồng mạnh có upvote/downvote, và một đội moderation thường can thiệp nhẹ tay nhưng biết từ chối khi cần
Người viết có thể bắt đầu từ sự nghi ngờ, nhưng kết quả lại hoạt động như một báo cáo minh bạch khá tốt
Giả định rằng “một bài không thể từ top 30 rơi xuống ngoài hạng 90 chỉ trong 1 phút, nên chắc hẳn đã bị gỡ một cách rõ ràng” là sai
Flamewar detector, tức bộ phát hiện thảo luận quá nhiệt, cùng với flag của người dùng có thể tạo ra chuyện đó, và còn có các cơ chế phần mềm khác nữa. Ví dụ nếu một bài đã ở trang nhất hơn 18 giờ, trọng số của nó sẽ tự động bị giảm trừ khi được xử lý ngoại lệ thủ công. Ngoài ra, flag của người dùng ảnh hưởng đến thứ hạng bài gửi từ rất lâu trước khi nhãn
[flagged]xuất hiệnGiả sử ai đó theo dõi feed thời gian thực của các bài gửi lên HN, flag những bài họ không muốn thấy, rồi yêu cầu bạn bè làm tương tự. Có biện pháp bảo vệ nào để hành vi kiểu này không tạo ảnh hưởng bất công lên việc ai có cơ hội được nhìn thấy gì hay không?
[flagged]hiện ra, thì có những loại flag của người dùng nào và vì sao chúng không được công khai?Mọi người cần được biết. Shadow banning chỉ hợp với thập niên 2010 thôi
Việc người dùng tạo ra thứ như thế này không có vấn đề gì. Các nguyên tắc vận hành của HN đủ dễ để giải thích và bảo vệ. Chỉ là thứ phức tạp đến mức này tất yếu sẽ lộn xộn, nên để hiểu chính xác cần có mức chịu đựng cao với sự lộn xộn
Nhưng điều quan trọng là phải sửa những điểm không chính xác như lỗi được nhắc đến ở đây: https://news.ycombinator.com/item?id=39231537. Robin89, bạn có thể sửa lại phần văn bản không? Tôi biết đó là một giả định sai xuất phát từ thiện ý, nhưng nó rất sai
Ngoài ra, nếu ID HN trên trang liên kết tới thread HN thực tế thì việc trả lời các câu hỏi ở đây sẽ dễ hơn. Hiện giờ chúng trỏ tới social-protocols.org. Tất nhiên bạn muốn liên kết đi đâu cũng được, nhưng điều đó khiến việc theo dõi các câu hỏi ở đây trở nên khó khăn. Mỗi người mang tới một danh sách kiểu “bài X, Y, Z thì sao, còn W, V, J nữa”, và về nguyên tắc tôi muốn trả lời tất cả, nhưng lượng việc thực tế có thể xử lý thì có giới hạn vật lý
Vài giờ tới tôi hầu như bận họp, nên nếu không bị chôn vùi trong thread này thì lát nữa tôi sẽ thử trả lời các câu hỏi
Những điểm bất thường và sự thiếu minh bạch như vậy khiến người dùng cảm thấy thứ hạng là tùy tiện và không công bằng, dù có lý do chính đáng. Không thể hiển thị với từng bài xem đã có thao tác nào tác động tới thứ hạng hay danh sách khác sao? Ví dụ những việc như đặt lại thời gian gửi bài có vẻ dễ hiển thị
Bạn có thể nói rằng việc hạ trọng số có xảy ra, nhưng điều chúng tôi hỏi là muốn nhìn thấy việc hạ trọng số diễn ra ở đâu
Có người nói khó tin là người dùng HN đã chán tin tức liên quan đến LLM, nhưng tôi thì chán rồi nên cứ tin đi
Có điều tôi không report chỉ vì chán
Tôi thường nhớ đến câu đó khi nghĩ về moderation. Mọi người có xu hướng giả định rằng ai trong cộng đồng cũng giống mình, và thực tế gần như chỉ moderator mới nắm được một chủ đề đã bão hòa đến mức nào. Vì vậy tôi cũng không thích meme tự do ngôn luận vô điều kiện mỗi khi
$corporationcấm$person_i_like. Cộng đồng nào cũng cần moderation, và khi làm tốt thì trông như chẳng có chuyện gì xảy ra, nên đây là việc khó được cảm ơnTrí tuệ tập thể chán sự lặp lại rất nhanh [2]. Điểm cốt lõi là tách thóc khỏi trấu: ở đây thóc là những bài mang lại thông tin mới quan trọng [3], còn trấu là vô số bài nối tiếp hoặc bắt chước [4]
Điều quan trọng là ý kiến về vấn đề này nằm trên một phổ rất rộng. Nếu hình dung một thanh trượt với hai đầu là “không cho phép bất kỳ bài nào về
$TOPIC” và “cho phép tất cả bài về$TOPIC”, thì gần như mỗi người dùng sẽ đặt nó ở một vị trí khác nhau. Chủ đề nào cũng vậy, và đặc biệt càng là chủ đề lớn thì càng đúngKhông gian trang nhất là tài nguyên khan hiếm nhất trên HN [5], và mỗi độc giả có một “chữ ký” sở thích khác nhau về những gì họ muốn hoặc không muốn thấy ở đó. Vì thế không chỉ là không thể làm hài lòng tất cả mọi người, mà thậm chí cũng không thể làm hài lòng hoàn toàn bất kỳ ai. Không ai hoàn toàn khớp với trang nhất; và dù có thể có người muốn phản bác ngay, hiển nhiên nó cũng không hoàn toàn khớp với sở thích của các moderator
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[3] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[4] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[5] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
Những chủ đề đó cũng đáng quan tâm ở một mức nào đó, nhưng phần lớn bài viết chẳng mang lại gì mới, chỉ là bài phản ứng trước một vụ vi phạm gần đây
Nếu cần thêm tin tức liên quan đến LLM, có lẽ câu trả lời là tạo một website LLM News và phát triển cộng đồng ở đó
Tôi rất thích HN, nhưng muốn có thêm tin tức về retro computing và game, nên đã dùng mã nguồn HN để làm site của mình (https://twostopbits.com/). Không khó đâu. Cứ làm thứ mình muốn và tự moderation là được
Tôi đã tham gia nhiều cộng đồng trực tuyến hơn 35 năm, và cộng đồng được moderation tốt nhất, vận hành thành công lâu dài nhất cho đến nay chắc chắn là HN. The Well cũng từng rất tuyệt trong một thời gian
Tôi tò mò liệu một cộng đồng lưu lượng thấp khi mới bắt đầu có thực sự đem lại tổ hợp nội dung mà bạn kỳ vọng không
Đáng ngạc nhiên là đúng, chúng tôi cũng đã chán tin tức liên quan đến LLM
Chẳng phải phần lớn các bài này bị gỡ do người dùng báo cáo sao?
Không phải câu hỏi tu từ. Trong luồng này có nhiều bình luận cảm ơn “các moderator”, nhưng tôi không biết là có một đội moderation chăm chút cho trang nhất. Ai xác nhận được không?
“Không phải chúng tôi báo cáo bài đó, mà là người dùng báo cáo. Với các bài được gửi lên thì gần như luôn là vậy. Xem https://news.ycombinator.com/newsfaq.html”
https://news.ycombinator.com/item?id=39169622
Có một quản trị viên duy nhất viết công khai là dang, và có thể cũng có những quản trị viên HN khác hỗ trợ ông ấy, nhưng trong 99,9% trường hợp khi mọi người phàn nàn về “moderator”, “moderator say quyền lực” hay “kiểm duyệt”, thì gần như chỉ có nghĩa là những người dùng khác đã thấy điều bạn nói, và chúng tôi đơn giản là không muốn thấy nó ở đây.
Đôi khi cũng lạ là mọi người nghĩ có “quy tắc” nào đó về những gì có thể báo cáo. Rõ ràng là có guideline, nhưng vì quyền này thuộc về bất kỳ người dùng bình thường nào nên trên thực tế mỗi người dùng theo cách họ hiểu. Ví dụ, tôi thường báo cáo các bài mà chủ đề và bản thân bài viết tôi thấy hoàn toàn hợp lệ, nhưng mỗi lần chủ đề đó được thảo luận trên HN thì lại biến thành một cuộc tranh cãi bùng nổ vô ích hoặc đầy các bình luận chất lượng thấp nhất. Ít nhất với tôi, việc báo cáo không phải là phán xét về “giá trị” của bài, mà chỉ là về những gì tôi không muốn thấy trên HN.
https://news.ycombinator.com/item?id=39231055
Nhìn vào các trường hợp như tiêu đề đổi từ “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes” thành “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2” rồi về cơ bản bài bị chết, hoặc một bài đang ở vị trí thứ 3 trang nhất chưa đầy 1 giờ sau khi gửi mà chỉ đơn giản biến mất khỏi trang nhất, thì nếu có những bài bị báo cáo lặp đi lặp lại kiểu này, đến một lúc nào đó nên tự hỏi liệu có phải chỉ đang rải spam vào cộng đồng để quảng bá liên kết hay không.
Tôi hiểu mọi người muốn quảng bá công việc của mình, nhưng cộng đồng cũng có sở thích của họ. Cộng đồng có thể chán việc ngày nào cũng có bài về LLM lên trang nhất. Cộng đồng có thể từ chối spam, và có thể báo cáo bài.
Tôi không hiểu vì sao lại khó tin đến vậy rằng người dùng HN đã chán tin tức liên quan đến LLM. Tôi cũng chán, nhưng không có quyền báo cáo. Việc những người dùng HN có quyền báo cáo có thể muốn báo cáo tin tức liên quan đến LLM là điều rất hợp lý.
Nó phải nằm ở trang bình luận, và để vào đó thì bấm vào timestamp của bình luận.
Nếu bạn thậm chí không tưởng tượng nổi rằng mọi người có thể chán tin tức liên quan đến LLM, thì tôi có một NFT muốn bán cho bạn.
Tôi không chắc giả định “một bài không thể rơi từ top 30 xuống ngoài top 90 chỉ trong 1 phút, nên hẳn là đã bị gỡ một cách rõ ràng” có hợp lệ không.
https://news.social-protocols.org/stats?id=39094387 trông như một bài rơi xuống nhóm ngoài top 30 khá nhanh. Cũng có thể đột nhiên xuất hiện nội dung khác đang được ưa chuộng.
Nhìn vào 13 bài được liệt kê vào thứ Hai, ngày 22/1/2024, chỉ có 3 bài có vẻ thực sự bị gỡ khỏi HN. 10 bài còn lại vẫn tồn tại.
Bài về HP https://news.ycombinator.com/item?id=39087776 có vẻ bị đẩy khỏi trang nhất vì trùng với https://news.ycombinator.com/item?id=39060793.
Bài về Ford https://news.social-protocols.org/stats?id=39089599 có vẻ bị phát hiện nhầm.
Thành thật mà nói, trong 13 bài thì chỉ 3–4 bài trông có khả năng là moderation, và ngay cả vậy cũng không có vẻ xấu. Câu chuyện về hàng rào thép gai ở Texas có hợp với Hacker News không? Tôi ở Texas nên có quan tâm, nhưng tôi kỳ vọng sẽ gặp câu chuyện đó ở nơi khác chứ không phải HN.
Nhìn chung, tôi có cảm giác HN đang moderation tốt.
Nếu vì người dùng báo cáo mà thuật toán hạ thứ hạng nhưng không ẩn đi, thì đó có phải là rõ ràng không? “Rõ ràng” có vẻ muốn nói đến can thiệp thủ công của moderator, nhưng tôi không thấy nhiều bằng chứng ủng hộ điều đó.
Đúng là có tính chính trị, nhưng không phải vấn đề địa phương.