Tìm kiếm mọi văn bản trong thành phố New York
(alltext.nyc)- Phân tích bằng AI hơn 8 triệu hình ảnh từ Google Street View để trích xuất 138 triệu đoạn văn bản trên đường phố
- Xây dựng thành cơ sở dữ liệu văn bản đường phố NYC có thể tìm kiếm và tạo ra một công cụ tìm kiếm
- Là tác phẩm của nghệ sĩ truyền thông Yufeng Zhao, qua đó hiển thị phân bố vị trí của các từ cụ thể (ví dụ: pizza, Broadway, luxury, beware, gold, iglesia, jerk, v.v.) trên bản đồ để trực quan hóa các đặc tính văn hóa, thương mại và khu vực
- Vừa là một thử nghiệm đọc cảnh quan đường phố NYC như một dạng “mã nguồn”, vừa là một cách khám phá mới đối với dữ liệu đô thị
Tổng quan dự án
- Mục tiêu: Thu thập toàn bộ văn bản nhìn thấy được trên khắp NYC và biến chúng thành dữ liệu có thể tìm kiếm
- Nguồn dữ liệu: Google Street View (2007~2025, hơn 8 triệu hình ảnh)
- Công nghệ: Nhận diện văn bản trong ảnh (OCR), ánh xạ tọa độ vị trí
- Giới hạn phạm vi: Chỉ bao gồm văn bản nằm trong phạm vi nhìn thấy từ đường phố mà xe có thể chụp được (không gồm ngõ nhỏ, công viên, chữ quá nhỏ)
Các ví dụ trực quan hóa chính
- Pizza: Phân bố các tiệm pizza trên khắp NYC
- Broadway: Các biển Broadway ở mọi borough và các khu vực tập trung nhà hát
- Luxury: Cụm từ quảng bá các khu nhà ở mới, tập trung ở khu Hudson Yards
- Beware: Tập trung ở các khu dân cư vùng rìa có nhà riêng và hàng rào, gần như không có ở Manhattan
- Gold: Khu Diamond District và các con phố có nhiều cửa hàng mua vàng
- Iglesia: Vị trí các nhà thờ trong cộng đồng nói tiếng Tây Ban Nha
- Jerk: Khu Flatbush và Jamaica, nơi có nhiều quán ăn Jamaica
- Unisex: Phân bố địa lý của các tiệm cắt tóc và làm đẹp kết hợp
Một số trường hợp văn bản thú vị
- Fedders: Logo thương hiệu máy điều hòa âm tường phổ biến từ thập niên 1950~90, hiện tượng ‘Fedders house’
- Yodock: Thương hiệu rào chắn nhựa dùng cho lối đi bộ tại công trường
- 4Cars (Acars): Quảng cáo mua xe cũ dán trái phép, bị OCR nhận diện sai
- Sabrett: Thương hiệu xe đẩy hot dog tiêu biểu của NYC, phân bố nhiều ở khu du lịch
- Halal: Các quầy và xe đẩy bán đồ ăn halal, bắt đầu từ thập niên 1980 và trở thành một phần của văn hóa ẩm thực đô thị
- Siamese: Tên gọi một loại đầu nối vòi chữa cháy
- Surveillance: Biển thông báo camera giám sát, xuất hiện khắp các cơ sở công cộng và tư nhân
Diễn giải và ý nghĩa
- Dự án tái diễn giải thành phố thành một bản đồ dựa trên văn bản, qua đó bộc lộ trực quan các dấu vết của thương mại, văn hóa, an toàn và hạ tầng
- Phân bố địa lý của các từ cụ thể có liên hệ chặt chẽ với không gian văn hóa, ngành nghề và đặc tính xã hội
- Các từ liên quan đến cảnh báo và giám sát phản ánh văn hóa an toàn và kiểm soát của NYC cùng tính chất ghi dấu của không gian công cộng
- Dữ liệu có thể được dùng không chỉ để trực quan hóa mà còn làm tư liệu nghiên cứu lịch sử đô thị, xã hội học và branding
4 bình luận
Nội dung khá là bịa đặt.
"all text in nyc" là một công cụ tìm kiếm chuyên tìm văn bản trong các hình ảnh Google Street View của Thành phố New York. Hãy tìm bất kỳ từ hoặc cụm từ nào để xem nó xuất hiện ở đâu trên khắp thành phố—trên biển hiệu cửa hàng, graffiti, quảng cáo và biển biểu tình.
Trang trong bài thực chất là một website chạy OCR trên toàn bộ Street View để tìm một từ cụ thể.
Đã được chỉnh sửa rồi.
Thật sự rất thú vị, nhưng nghĩ đến việc bên làm ra thứ này lại không phải chính phủ hay một công ty như Google thì cũng hơi đáng sợ
Mình cảm nhận được rằng dữ liệu trên đời này thật sự đang tràn ngập
Ý kiến trên Hacker News
Bài này về trang đó cũng rất thú vị: dự án Street View của The Pudding
The Pudding là một trong những nơi có nội dung hay nhất trên internet hiện nay
Đã thêm vào trên cùng
Trên YouTube có những người quay video đi bộ qua nhiều thành phố. Cá nhân tôi đặc biệt thích các video đi bộ ở Tokyo/Nhật Bản. Tôi cũng nghĩ sẽ rất hay nếu tạo bản đồ 3D từ những video như vậy. Đây không phải chuyên môn của tôi, nhưng có lẽ đã có công ty nào đó làm rồi. Trong những video như vậy có cực kỳ nhiều dữ liệu. Biết đâu còn có thể dùng miễn phí để huấn luyện robot nữa (ví dụ robot giao hàng đi giữa đám đông)
Về mặt kỹ thuật, có lẽ sẽ là sự kết hợp của SLAM, photogrammetry và VIO, nhưng vì không có IMU nên phần đó phải suy ra từ video. Có vẻ ngay cả khung hình và hiện tượng nhấp nháy ánh sáng cũng sẽ quá nhanh
Liên kết ví dụ: tản bộ trên đường phố Tokyo, một ví dụ khác
Tương tự, nếu có công cụ khôi phục sơ đồ mặt bằng từ ảnh tĩnh như ảnh bất động sản thì sẽ thực sự hữu ích. Dù cần nhập tay một phần thì vẫn đáng dùng
Trước đây có một người quay video YouTube đi quanh khu phố điện tử ở Tokyo. Điều bất ngờ là những nơi tốt nhất để mua smartphone hay linh kiện robot lại nằm trong các tòa nhà hoàn toàn không nổi bật, kiểu chỗ mà nếu không có hiểu biết địa phương thì bạn sẽ không biết. Nếu thực sự làm được như đề xuất thì sẽ cực kỳ hữu ích cho du khách khi tìm những nơi như vậy. Tôi rất muốn xem
Sẽ rất thú vị nếu tính năng như thế này được thêm vào tìm kiếm của Google Maps. Tôi thường cảm thấy việc tìm thông tin trên Google Maps còn thiếu sót. Gần đây tôi tìm chỗ bán cà phê thủ công ở phía nam Gran Canaria, cuối cùng chỉ có đúng một chỗ trong khách sạn và tôi mất tới 30 phút mới tìm ra. Tôi tìm bằng các từ khóa lọc mà mình hay dùng như "pourover" hay "v60", nhưng nếu quán cà phê không nêu rõ những thứ đó trong mô tả hoặc bài đánh giá thì rất khó tìm. Có vẻ văn bản trong ảnh do khách chụp (ví dụ menu) hoàn toàn không được lập chỉ mục
Tìm V60 chắc phần lớn sẽ ra xe Volvo, nên tôi cũng tò mò không biết thực tế có bao nhiêu ảnh chụp ở quán cà phê có những từ như vậy
Nếu các quán cà phê chưa để ý những từ đó thì giờ nên cân nhắc. Thành thật mà nói tôi cũng có lẽ sẽ quay lại trang này để tìm
Tôi để lại vì tò mò GitHub của người chuẩn bị dữ liệu. Tôi muốn biết việc phân tích dữ liệu New York cần mức tài nguyên tính toán thế nào. Tôi cũng muốn thử ở thành phố mình nhưng có lẽ ngân sách quá eo hẹp. Xem yz3440 GitHub (mọi người ở các bình luận bên dưới nói đúng. Thực ra thứ cần lo không phải compute mà là phí Google Maps API. Nếu làm miễn phí thì tác giả chắc cũng phải mất vài năm. Tôi ghen tị với ngân sách của tác giả)
Tôi đoán chi phí tính toán OCR sẽ rẻ. Một PC cá nhân mạnh có lẽ chạy qua đêm hoặc khoảng một tuần là đủ. Vấn đề là phí sử dụng Google Maps API. Trừ khi nó được công nhận là dự án nghệ thuật để được miễn phí, còn không thì gánh nặng khá lớn. Xem giá Maps Platform Với các đô thị lớn có nhiều panorama, vượt mức free tier là đã lên tới hàng nghìn đô la
Theo bài viết thì họ dùng 8 triệu panorama, nên chỉ riêng Street View API có lẽ đã tốn khoảng 30.000 USD (API ảnh tĩnh có độ phân giải thấp hơn nên có lẽ sẽ còn đắt gấp đôi). OCR có vẻ rẻ hơn nhiều nếu không gấp. Ví dụ với GPU phổ thông chạy server PaddlePaddle thì có thể xử lý 4MP mỗi giây. Dùng phần cứng vài nghìn USD để chạy trong 3–6 tháng có lẽ là đủ (tùy độ phân giải và kích thước mô hình)
Nếu là 8 triệu ảnh thì tính ra trong một tuần là 13,2 ảnh mỗi giây. Điều tôi tò mò là họ thu thập dữ liệu bằng Google API hay là hợp tác với Google
Tôi đã thử tính với Claude, và nếu quét toàn bộ ảnh đường phố ở Đài Bắc bằng gmap api với khoảng cách 3 m thì chi phí rơi vào khoảng 8.000 USD. Đắt nhưng không phải mức bất khả thi
Việc kiểm duyệt các từ chửi thề như "fuck" khá thú vị. Tôi không biết việc cố tình để người ta đọc nguyên từ đó có thật sự tác động đến não bộ hay không
Thực ra vẫn có thể tìm thấy từ đó trong ảnh. Không rõ có phải nó bị kiểm duyệt riêng ở đâu đó trong phiên bản StreetView hay không
Có lẽ là vì SEO hoặc chính sách thân thiện với gia đình (hoặc cả hai). Nhân tiện, YouTube cũng có quy định cấm chửi thề trong phút đầu tiên của video
Tìm "Fool" cho ra cực nhiều lỗi OCR, do bị che khuất v.v. kết quả tìm kiếm ví dụ "Surgery of the Fool" là đỉnh nhất
Có vẻ sẽ rất hữu ích cho OSINT (phân tích thông tin nguồn mở). Tôi tự hỏi liệu các cơ quan tình báo đã có thứ như thế này ở quy mô toàn cầu hay chưa
Dự án thực sự rất tuyệt. Nếu còn thêm cả embedding kiểu CLIP để không chỉ tìm văn bản mà còn tìm theo ngữ nghĩa như "người đánh nhau", "mèo và chó", "Tesla đỏ", "chú hề", "đứa trẻ và chó con" thì sẽ tuyệt hơn gấp 10 lần
Cũng có các dự án liên quan là All Text in NYC và All text in Brooklyn
Nó làm tôi nhớ đến một dịch vụ tên là NY Cerebro. Dịch vụ này cho phép tìm kiếm theo ngữ nghĩa trên hàng trăm camera đường phố công cộng ở New York nycerebro.vercel.app (ví dụ tìm "scaffolding")
Tôi ngạc nhiên vì độ phân giải của camera đường phố công cộng quá thấp. Cộng thêm cả phản chiếu từ đèn xe nên kết quả không được như ý
Dịch vụ này trước đây là dự án đoạt giải nhất trong một cuộc hackathon của NVIDIA và Vercel