Quy mô của YouTube lớn đến mức nào?

Không thể tóm tắt nội dung cho yêu cầu này. Nội dung bài viết được cung cấp là thông báo lỗi "403 Forbiddennginx", đây là mã trạng thái HTTP cho biết không có quyền truy cập chứ không phải nội dung bài viết thực tế. Điều này thường xảy ra khi máy chủ web hiểu yêu cầu nhưng không có quyền thực hiện yêu cầu đó.

Ý kiến của GN⁺

• Lỗi "403 Forbidden" là vấn đề quen thuộc với nhà phát triển web hoặc quản trị viên hệ thống, có thể phát sinh do thiết lập quyền hoặc lỗi cấu hình máy chủ.
• Thông báo lỗi này có nghĩa là máy chủ đã từ chối truy cập khi người dùng cố mở một phần cụ thể của trang web.
• Những lỗi như vậy liên quan chặt chẽ đến bảo mật web và là chức năng quan trọng giúp ngăn người dùng truy cập thông tin nhạy cảm khi không có quyền phù hợp.

[GN⁺]

Ý kiến Hacker News

• • Đây là một cách lấy mẫu rất thông minh, xin dành lời khen cho các tác giả. Khi còn làm ở Pew, tôi từng cố gắng lập bản đồ YouTube bằng cách đi ngẫu nhiên qua endpoint "video liên quan" của API, và sau một năm thì có vẻ như đã đạt trạng thái bão hòa. Tuy nhiên, quy mô được mô tả ở đây cho thấy vẫn tồn tại một phần đuôi dài hoạt động dưới tầm radar. Ngay sau khi chúng tôi công bố nghiên cứu, Google gần như lập tức bắt đầu khóa API, nhưng tôi vẫn vui khi thấy mọi người tiếp tục theo đuổi nghiên cứu bằng cách scraping kiểu cũ. Phân tích của chúng tôi được thực hiện ở cấp độ kênh và chỉ tập trung vào các kênh phổ biến, nhưng thật thú vị khi một số số liệu của TubeStats khá gần với những gì chúng tôi tìm thấy (ví dụ: phân bố ngôn ngữ).*
  • Khen ngợi phương pháp lấy mẫu thông minh và chia sẻ trải nghiệm nghiên cứu tương tự tại Pew
  • Phản hồi tích cực về việc nghiên cứu vẫn tiếp tục thông qua scraping dù Google đã hạn chế truy cập API
  • Đề cập đến những điểm tương đồng giữa nghiên cứu của mình và dữ liệu của TubeStats
• • Đây là một phương pháp tấn công giảm nhẹ thú vị đối với bài toán xe tăng Đức. Giải pháp tối ưu có lẽ là mở rộng không gian địa chỉ để ngăn việc lấy mẫu ngẫu nhiên thu thập đủ dữ liệu nhằm đi đến các kết luận có ý nghĩa thống kê. Có thể còn những giải pháp tốt khác, nhưng các mẫu thực sự ngẫu nhiên sẽ hạn chế những hướng như vậy.*
  • Tham chiếu đến bài toán xe tăng Đức và đề xuất mở rộng không gian địa chỉ để ngăn thu thập dữ liệu
• • Tôi khuyên nên xem bộ dữ liệu "YouTube Dislike". Bộ dữ liệu này được tạo ra như một nỗ lực lưu trữ nhằm thu thập thông tin trước khi tính năng dislike bị gỡ bỏ. Bạn có thể dùng nó để tìm các video gây tranh cãi nhất, các video hàng đầu được mô tả bằng một ngôn ngữ cụ thể, v.v.*
  • Cung cấp thông tin về khả năng phân tích bằng bộ dữ liệu YouTube Dislike
• • Tôi đã thử tìm xem YouTube có bao nhiêu dữ liệu, nhưng không tìm được con số đó. Tôi giả định độ dài video trung bình là 500 giây, bitrate là 400 KB/s, và tính ra 2,7 exabyte dựa trên 1,3 tỷ video. Đây là một ước tính thấp hơn lượng lưu trữ thực tế cần thiết, nếu xét đến việc YouTube lưu các video phổ biến ở nhiều trung tâm dữ liệu và dưới các định dạng VP9 và AV1. Có thể YouTube nén các video ít phổ biến hoặc transcode theo yêu cầu từ các định dạng khác, điều này có thể khiến ước tính tăng lên, nhưng tôi không nghĩ vậy.*
  • Đưa ra ước tính về lượng dữ liệu của YouTube và suy đoán về cách lưu trữ
• • Google từng hỏi về các vấn đề mở rộng quy mô của YouTube cho một số vị trí. Điều đó thường dẫn đến các câu hỏi về độ phức tạp Big-O trong việc đồng bộ dữ liệu log trên một hạ tầng phân tán đang tăng trưởng. Kết quả là một hàm Big-O(f(n)) phức tạp đến mức gần như không thể giải thích. Rất vui.*
  • Nhắc đến vấn đề khả năng mở rộng của YouTube dựa trên trải nghiệm phỏng vấn tại Google
• • Kết quả của bài viết này là website đi kèm sau: TubeStats.org*
  • Cung cấp liên kết đến website liên quan của bài viết
• • Quá lớn. Tối qua tôi nhận được thông báo cập nhật ứng dụng YouTube trên điện thoại. Vấn đề là đó là phiên bản cuối cùng chạy được trên điện thoại của tôi. Ít nhất thì bản web vẫn còn hoạt động.*
  • Chia sẻ trải nghiệm cá nhân về kích thước ứng dụng YouTube và vấn đề cập nhật
• • Bộ dữ liệu này khá thú vị. Bài báo tạo ra một ấn tượng hơi sai về thống kê kênh: nếu không hiệu chỉnh thiên lệch lấy mẫu để tái cân bằng số người đăng ký, thì xác suất một kênh xuất hiện sẽ tỷ lệ với số video công khai của kênh đó, vì vậy nên gán trọng số khoảng ~1/# theo số video trên mỗi kênh.*
  • Giải thích khả năng gây hiểu nhầm của bộ dữ liệu về thống kê kênh và phương pháp lấy mẫu
• • Hàm lấy mẫu có giả định rằng mọi "mã vùng" đều chứa cùng một số lượng số khả dụng không? Với một số site lớn như Twitter chẳng hạn, các shard chứa dữ liệu được yêu cầu nhiều hơn có thể thưa hơn rất nhiều. Ví dụ, mã vùng nơi có Justin Bieber có thể sẽ có ít số hơn. Điều này có thể làm sai lệch đáng kể kết quả.*
  • Đặt câu hỏi về phương pháp lấy mẫu và chỉ ra tác động của chênh lệch mật độ giữa các shard dữ liệu cụ thể lên kết quả
• • Đây là cái hay nhất tôi từng thấy. Redditmap.social*
  • Bày tỏ sự ngưỡng mộ đối với một website cụ thể