Quỹ Overture Maps công bố bộ dữ liệu bản đồ mở đầu tiên ở quy mô toàn cầu
(overturemaps.org)- Bản phát hành chính thức đầu tiên của bộ dữ liệu bản đồ mở cấp độ thị trường gồm 4 lớp lõi, cung cấp dữ liệu nền tảng bản đồ toàn cầu mà bất kỳ ai cũng có thể tự do sử dụng
- Lớp Places of Interest (POI) bao gồm hơn 59 triệu dữ liệu địa điểm trên toàn thế giới, tạo nền tảng cho các dịch vụ dựa trên vị trí như điều hướng và tìm kiếm địa phương
- Được cấu trúc theo mô hình đa lớp tích hợp từ Buildings·Transportation·Administrative Boundaries, bao gồm cả tòa nhà, mạng lưới đường và ranh giới hành chính
- Tất cả các lớp đều được định dạng theo lược đồ dữ liệu Overture Maps, hỗ trợ thu thập và sử dụng theo cách chuẩn hóa có khả năng tương tác
- Đây là bước ngoặt giải quyết chi phí thu thập và duy trì dữ liệu bản đồ toàn cầu vốn đã vượt quá khả năng của một tổ chức đơn lẻ, thông qua mô hình cộng tác tài sản dùng chung
Tổng quan phát hành
- Overture Maps Foundation (OMF) công bố bộ dữ liệu bản đồ mở đầu tiên với phiên bản Overture 2023-07-26-alpha.0
- Gồm 4 lớp dữ liệu riêng biệt: Places of Interest (POIs), Buildings, Transportation Network, Administrative Boundaries
- Mỗi lớp kết hợp nhiều nguồn dữ liệu bản đồ mở khác nhau, sau đó trải qua một loạt kiểm tra chất lượng để xác thực và hợp nhất (conflation)
- Được phát hành theo lược đồ dữ liệu Overture Maps công bố vào tháng 6/2023
- Bộ dữ liệu Places bao gồm hơn 59 triệu địa điểm trên toàn thế giới và là thành phần nền tảng cho điều hướng, tìm kiếm địa phương và nhiều ứng dụng dựa trên vị trí khác
- Có thể tải bộ dữ liệu từ trang download
Thành phần quỹ và bối cảnh
- Được thành lập vào tháng 12/2022 bởi AWS, Meta, Microsoft, TomTom
- Hiện có hơn chục doanh nghiệp trong các lĩnh vực bản đồ, địa không gian và công nghệ tham gia; các thành viên mới gồm ESRI, Cyient, InfraMappa, Nomoko, Precisely, PTV Group, SafeGraph, Sanborn, Sparkgeo
- Dựa trên tiền đề rằng dữ liệu bản đồ nên là tài sản dùng chung để hỗ trợ các ứng dụng tương lai
- Khi yêu cầu về độ chính xác, tính cập nhật và nguồn gốc của bản đồ ngày càng tăng, chi phí và độ phức tạp trong việc thu thập và duy trì dữ liệu bản đồ toàn cầu đã vượt quá năng lực của một tổ chức đơn lẻ
Chi tiết các lớp dữ liệu
-
Places of Interest
- Bao gồm hơn 59 triệu bản ghi POI chưa từng được công bố dưới dạng dữ liệu mở trước đây
- Được suy ra từ dữ liệu do các thành viên sáng lập Meta và Microsoft đóng góp cho OMF, cung cấp đường cơ sở cho dữ liệu địa điểm toàn cầu
- Trong tương lai sẽ tiếp tục cải thiện, cập nhật và mở rộng dữ liệu bằng cách kết hợp các nguồn sẵn có như dữ liệu mở của chính phủ, dữ liệu lập bản đồ địa phương crowdsourcing và kỹ thuật AI/ML
- Áp dụng giấy phép CDLA Permissive v2.0, cho phép nhà làm bản đồ và nhà cung cấp dịch vụ vị trí sử dụng tự do
-
Buildings
- Bao gồm hơn 780 triệu footprint tòa nhà duy nhất trên toàn thế giới
- Được phát triển bằng cách kết hợp nhiều dự án dữ liệu mở như OpenStreetMap, footprint tòa nhà do Microsoft AI tạo ra, Esri
-
Transportation
- Biểu diễn mạng lưới đường toàn cầu được suy ra từ dữ liệu OpenStreetMap
- Tái cấu trúc dữ liệu do cộng đồng xây dựng sang định dạng dữ liệu Overture, cung cấp cách chia đoạn nhất quán và hệ thống tham chiếu tuyến tính (linear reference system)
- Hỗ trợ bổ sung thêm dữ liệu như giới hạn tốc độ hoặc lưu lượng giao thông thời gian thực
-
Administrative Boundaries
- Bộ dữ liệu mở toàn cầu về ranh giới hành chính quốc gia và khu vực
- Tên khu vực được dịch sang hơn 40 ngôn ngữ, hỗ trợ sử dụng quốc tế
Lược đồ dữ liệu và khả năng tương tác
- Tất cả các lớp đều được định dạng theo lược đồ dữ liệu OMF vừa ra mắt
- Được thiết kế để nhà phát triển dịch vụ bản đồ thu thập và sử dụng dữ liệu theo cách tiêu chuẩn hóa, có tài liệu hóa và có khả năng tương tác
Mục đích công bố và kế hoạch sắp tới
- Dữ liệu được phát hành công khai để thu thập phản hồi từ cộng đồng, có thể gửi phản hồi qua GitHub hoặc email
- Dự kiến tích hợp thêm các nguồn dữ liệu mở mới trong các bản phát hành tương lai
- Chuyển đổi bổ sung từng lớp sang lược đồ OMF
- Dự kiến triển khai Global Entity Reference System, hệ thống ID ổn định cho phép thêm dữ liệu vào các đối tượng bản đồ một cách nhất quán
1 bình luận
Ý kiến trên Hacker News
Overture Maps là một dự án trong đó các tay chơi lớn trong lĩnh vực không gian địa lý, như TomTom, Amazon, Microsoft, v.v. — ngoại trừ Google — muốn tận dụng các bộ dữ liệu mở như OpenStreetMap cùng với dữ liệu độc quyền do họ sở hữu và các phương thức xử lý riêng
Đây là một liên minh muốn làm giàu dữ liệu không gian địa lý dựa trên dữ liệu mở bằng các quy trình độc quyền của từng bên, rồi phân phối lại kết quả theo Community Database License Agreement - CDLAv2 tương đối thoáng, trong khi vẫn giữ kín dữ liệu nguồn và quy trình cần thiết để tạo ra bộ dữ liệu đó
Trong cộng đồng OpenStreetMap có nhiều tranh luận, nhưng nhìn chung việc có nhiều nguồn lực như vậy được rót vào hệ sinh thái lân cận OSM được xem là điều tích cực
Dù là chỉnh sửa do lao động hợp đồng lương thấp thực hiện, hay là việc import hàng loạt nội dung được trí tuệ nhân tạo trích xuất từ ảnh vệ tinh, đều đã gây vấn đề
Theo tôi biết, OSM được cấp phép theo cách nếu kết hợp với dữ liệu khác thì phải công khai toàn bộ theo cùng giấy phép
Chẳng hạn, trong phân tích khả năng tiếp cận y tế dựa trên không gian địa lý mà tôi đang làm, nếu có thể tin rằng lớp places là nguồn khá chính xác về vị trí các nhà cung cấp dịch vụ y tế thì sẽ có giá trị rất lớn
Việc liên kết cả dữ liệu CMS lẫn dữ liệu gói bảo hiểm y tế, rồi geocode bằng OSM Tiger geocoder là rất nhiều việc, nên nếu có sẵn dữ liệu đã được làm sạch thì sẽ giúp ích cực kỳ nhiều
Nếu bạn đang tìm bản đồ giống như Google Maps, tôi rất khuyến nghị Protomaps https://protomaps.com/
Tất cả dữ liệu bản đồ nằm trong định dạng PMTile dạng một tệp duy nhất, và có thể lấy dữ liệu vector cần cho một khu vực/mức zoom cụ thể bằng range request tới tệp đó
Ví dụ, có thể tải
myfile.pmtileslên S3, để Lambda nhận x/y/z trong đường dẫn rồi yêu cầu đúng dải byte, sau đó CloudFront cache phản hồi tileTiếp đó dùng nguyên
tiles.mydomain.comhoặc domain CloudFront, còn phía frontend thì lấy tile và render bằng thứ như LeafletTrong Leaflet, chỉ cần dùng plugin/thư viện protomaps và truyền vào URL như
"[https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt](<https://tiles.yourdomain.com/20230408/{z}/{x}/{y}.mvt>;)", trong đó20230408tương ứng với20230408.pmtilestrong bucket S3Điểm hay nữa là bạn có thể đưa tệp pmtiles mới vào bucket rồi cập nhật client để dùng nguồn mới, và vì tile ở dạng vector nên client có thể áp theme theo ý muốn
Không nhất thiết phải dùng tileset toàn cầu hơn 100GB; cũng có thể tải xuống chỉ một vùng địa lý cụ thể bằng công cụ do cùng nhà phát triển cung cấp https://app.protomaps.com/downloads/small_map
Tệp
.pmtileschỉ hơn 100GB một chút, nhưng toàn bộ thiết lập chạy được trong tối đa một hai giờ, và chi phí vận hành có lẽ sẽ thấp hơn Google Maps rất nhiềuNó trông như bị dừng ở một mức zoom tùy ý, nên thiếu những chi tiết mà tôi sẽ quan tâm khi đánh giá giải pháp này
Nếu đào sâu vào repo GitHub thì sẽ thấy https://protomaps.github.io/PMTiles/?url=https%3A%2F%2Fr2-pu..., tuy chưa đến mức thay thế hoàn toàn Google Maps nhưng ít nhất cũng chi tiết hơn
Tôi thắc mắc liệu có cách dễ dàng nào để dùng bản đồ MVT tạo tile tại chỗ, gắn thêm backend CGI và caching, rồi render bằng Leaflet không
Tôi có một dự án renderer bản đồ cá nhân nhỏ làm bằng Leaflet, hiện dùng nguồn tile từ ba nơi là Google, OSM và Esri, và sẽ tốt hơn nếu có thêm nhiều nguồn
Câu “Ranh giới hành chính: bộ dữ liệu mở toàn cầu về ranh giới hành chính quốc gia và khu vực, bao gồm tên địa phương được dịch sang hơn 40 ngôn ngữ để hỗ trợ sử dụng quốc tế” nghe có vẻ sẽ thú vị
Nếu tôi nhớ không nhầm, để tránh bị cuốn vào tranh chấp, Google Maps thay đổi cách hiển thị đường biên giới tùy theo góc nhìn của vị trí nơi yêu cầu bản đồ được gửi đi
Ở nhiều quốc gia, việc không hiển thị biên giới “đúng” là hành vi phạm pháp
Nguồn liên quan: https://qz.com/224821/see-how-borders-change-on-google-maps-...
Nếu người dùng của bạn không lên tới hàng triệu, thì ngay cả trong những quốc gia đó cũng có khả năng chẳng ai để ý
Cung cấp dữ liệu thì tốt, nhưng khi thực sự muốn lấy về dùng thì có vẻ như họ đã cố tình làm cho rối rắm hết mức có thể
Bắt phải dùng DuckDB để import, tôi không hiểu vì sao không hỗ trợ luôn file dump MySQL
Cũng không rõ vì sao người dùng phải có DuckDB, và liệu DuckDB có phổ biến đến thế không
Link họ cung cấp cũng không hoạt động, nên có vẻ chẳng có gì thực sự dùng được; tôi không biết họ muốn người ta dùng cái này kiểu gì
Lại còn yêu cầu Amazon S3 và một thứ giống ngôn ngữ truy vấn phi chuẩn để truy cập vào đó, thật khó hiểu
Chắc không chỉ mình tôi thấy vậy; cách hiện tại cần phải phổ dụng hơn
Nếu AWS hay Azure muốn, chẳng có gì ngăn họ mở
s3:Getvàs3:Listcho bucket đó để cho phép đọc không cần xác thựcLà một người đóng góp cho AllThePlaces, tôi quan tâm đến chủ đề này https://www.alltheplaces.xyz/
AllThePlaces là một dự án mã nguồn mở tập hợp các spider Scrapy để crawl website của các franchise và chuỗi bán lẻ có thể xuất hiện trong name-suggestion-index, và dữ liệu vị trí được thu thập theo giấy phép CC-0 http://nsi.guide/
Dự án đang thu thập dữ liệu của gần 3 triệu điểm quan tâm từ gần 1.700 spider
Overture Maps có vẻ là một dự án khá khép kín và độc quyền; mức độ mở dường như chỉ giới hạn ở tuyên bố rằng có thể tải xuống dataset và đặc tả schema
Trước hết, không có phần giải thích công khai nào về cách dữ liệu được tạo ra, nên người dùng cuối khó được bảo đảm về độ chính xác và độ đầy đủ
Ranh giới hành chính cực kỳ phức tạp, bao gồm các ranh giới tranh chấp, mức độ mơ hồ đáng kể trong định nghĩa ranh giới, và sự đánh đổi giữa hiệu năng của thuật toán dùng dữ liệu ranh giới hành chính với độ chính xác của ranh giới
Không thể biết Overture Maps tuân theo định nghĩa ranh giới nào, hoặc liệu có thể hỗ trợ nhiều định nghĩa hay không
Có khả năng Microsoft đã cung cấp thông tin địa lý
ld+json/microdata thu được từ việc BingBot crawl Internet, nhưng loại dữ liệu này nổi tiếng là thiếu chính xác: các trường bị trộn lẫn hoặc tái sử dụng sai, trang web vẫn còn dù tên trường có chữ “CLOSED” để chỉ rằng địa điểm đã đóng cửa từ 5 năm trước, đặc tả giờ mở cửa cũng rất mơ hồ, v.v.Trong AllThePlaces, để ghép các dữ liệu lộn xộn mà các tổ chức như cửa hàng và chuỗi nhà hàng công bố trên website của họ, có nhiều spider đòi hỏi con người phải đưa ra phán đoán khá phức tạp
Ngay cả với thông tin vị trí có thể cần độ chính xác và độ chuẩn xác ±1–5m, chẳng hạn từng cửa hàng riêng lẻ trong trung tâm mua sắm, nguồn có thẩm quyền thường cung cấp dữ liệu với độ chính xác đến 1mm nhưng sai số ±10–100m
Các dự án như AllThePlaces, Overture Maps, Google Maps vẫn cần những biên tập viên con người đi khảo sát thực địa — tức các biên tập viên OpenStreetMap — để đánh dấu vị trí chính xác và chuẩn hóa định nghĩa vị trí
Cũng cần có các định nghĩa như nên coi vị trí điểm là tâm của đa giác đều lớn nhất có thể đặt trong toàn bộ đa giác bất quy tắc, là trọng tâm của một tấm phẳng, hay là vị trí lối vào chính
Nếu Overture Maps dựa vào BingBot cho dữ liệu địa điểm, họ sẽ bỏ sót một lượng khổng lồ điểm quan tâm mà BingBot không bao giờ tìm thấy
Ví dụ, có những trường hợp phải gọi các API REST/JSON/GraphQL không được tài liệu hóa, hoặc phải chỉnh tham số của API tìm cửa hàng quan sát được, thì mới trả về tất cả vị trí và các trường liên quan
Các lập trình viên web thường làm những việc ngớ ngẩn như ghi trong
robots.txtrằng hãy crawl 10.000 trang tổng cộng hơn 1GB từ một sitemap đã cập nhật 5 năm trước, trong khi lại chặn 10 lệnh gọi API nhanh để lấy 5MB dữ liệu mới nhấtVì dữ liệu AllThePlaces là CC-0, Overture Maps có thể tự do lấy dùng, và cũng có thể đối chiếu với các nguồn khác như dữ liệu crawl của BingBot, cơ sở dữ liệu chính phủ về cơ sở kinh doanh được cấp phép, dữ liệu geocoding địa chỉ bưu chính
Nhưng độ lộn xộn của dữ liệu từ nhiều nguồn có thể tiến gần đến mức ngay cả con người cũng gần như không thể khớp cho đúng, và Overture Maps có thể phải quyết định chấp nhận trùng lặp hay từ bỏ tính đầy đủ
Ngoài ra cũng không có công cụ công khai nào để người khác có thể tái tạo cùng dữ liệu đó
Người dùng AllThePlaces thường xuyên bị chặn bởi các bên thứ ba làm hỏng Internet như Cloudflare, Imperva, bởi geoblocking tùy chỉnh, và hiếm hơn là các cơ chế giới hạn request quá mức
Nếu Overture Maps dựa vào crawl của BingBot thì họ sẽ có lợi thế hơn AllThePlaces một chút, vì Cloudflare, Imperva, tường lửa của khách hàng, v.v. cố ý cho phép BingBot; nhưng để thu được càng nhiều điểm quan tâm trên toàn thế giới càng tốt, ngày càng cần đến dải IP ISP dân dụng và phần mềm né phát hiện bot
Cần có người ở hàng chục quốc gia, và phải crawl website nhắm đến từng quốc gia bằng không gian địa chỉ ISP dân dụng của chính quốc gia đó
Nếu không, kết quả sẽ chỉ là một thế giới quan kiểu Mỹ, một thế giới quan kiểu châu Âu, hoặc một thứ gì đó khác chứ không phải bức tranh toàn cảnh
Nếu Overture Maps có vị trí của một franchise/thương hiệu nào đó bị sai vì vấn đề làm sạch dữ liệu, nguồn dữ liệu kém, hoặc thậm chí nguồn không có thẩm quyền, thì franchise/thương hiệu đó cũng không có kho phần mềm nào để mở issue hoặc gửi patch
Ví dụ về một trung tâm mua sắm ở Úc mà AllThePlaces đã ghi nhận: https://www.alltheplaces.xyz/map/#18.07/-33.834646/150.98952...
Overture được tạo ra để các công ty tư nhân có thể tận dụng dữ liệu công khai như OpenStreetMap, đồng thời kết hợp với dữ liệu và quy trình độc quyền của họ
Ý định là chia sẻ kết quả đầu ra theo một giấy phép mới tương đối dễ dãi tên là Community Database License Agreement, nhưng vẫn giữ quy trình và dữ liệu nền tảng ở dạng độc quyền
Ở đây còn có lớp đóng gói mang tính PR rất rõ
Có vẻ họ muốn công bố những bản đồ như vậy như một sự hậu thuẫn “đáng tin cậy” hoặc “chính thức”, rồi dùng chúng làm cơ sở phán đoán cho các hoạt động dựa trên dữ liệu có giá trị, dù không hẳn là thương mại, an toàn, yêu cầu bồi thường bảo hiểm hay an ninh
Tôi tự hỏi công chúng hoặc sự giám sát công cộng có thể có biện pháp khắc phục nào trong chuyện này
Kho GitHub ở đây: https://github.com/OvertureMaps/data
Giấy phép trông rất thoáng, và dù tôi không thật sự rành tình hình hệ sinh thái bản đồ mở, ý tưởng GERS cũng có vẻ hay
https://docs.overturemaps.org/gers/
Điều thú vị là hai trong bốn lớp dùng ODbL
Không rõ Overture có thể tẩy giấy phép dữ liệu OSM ở đây bằng cách nào
Có đoạn viết: “Giao thông: lớp giao thông của OMF thể hiện mạng lưới đường bộ toàn cầu được phái sinh từ dữ liệu của dự án OpenStreetMap. Dữ liệu do cộng đồng xây dựng này được tái cấu trúc theo định dạng dữ liệu của Overture, cung cấp việc phân mảnh dữ liệu nhất quán và một hệ thống tham chiếu tuyến tính hỗ trợ bổ sung dữ liệu như giới hạn tốc độ hoặc giao thông thời gian thực”
ODbL của OSM rất rõ ràng rằng phải ghi công cho những người đóng góp OSM
Khó tin rằng CDLA Permissive v2.0 lại có phép màu giúp Overture lách được điều đó
Sửa: tôi đã bỏ sót việc mỗi bộ dữ liệu dùng giấy phép khác nhau
Chủ đề transport dùng ODbL, nên những người dùng không cẩn thận chắc chắn sẽ vấp phải
Giấy phép CDLA là giấy phép cởi mở: https://cdla.dev/permissive-2-0/
Theo cách hiểu của tôi, họ không cố tránh ghi công OSM, mà phần lấy từ OSM sẽ giữ ghi công và giấy phép của OSM, còn phần còn lại được cấp phép theo CDLA 2.0 để ai cũng có thể dùng
Bài viết nói rõ giấy phép CDLA áp dụng cho dữ liệu do Meta và Microsoft cung cấp, chứ không phải dữ liệu OSM
Việc Meta và Microsoft không đóng góp dữ liệu của họ cho OSM mà lại công bố dưới một giấy phép khác thì đáng tiếc, nhưng đời là vậy
Tuyệt vời
Một ngày nào đó Google có vẻ sẽ cố vắt nhiều doanh thu hơn nữa từ Maps so với hiện nay, và khi đó những hệ thống bản đồ cộng tác như thế này sẽ thật sự có lực
Ước gì có cách tài trợ để mọi người mua ảnh vệ tinh rồi đưa vào những hệ thống như vậy
Ví dụ Sunnyvale đã trả rất nhiều tiền cho ảnh đô thị dùng khi thảo luận về giao thông, quy hoạch phân khu, v.v.; sẽ rất tốt nếu những ảnh như thế có thể được đưa vào một bộ dữ liệu công khai
Nếu tôi nhớ đúng thì Google cũng dùng ảnh thuộc sở hữu của chính quyền địa phương trong sản phẩm của họ
Một thành phố đơn lẻ có thể không phải nguồn đủ lớn để Google quan tâm, nhưng nhất là ở châu Âu, tôi từng thấy thông báo bản quyền của chính phủ quốc gia/khu vực khi xem ảnh
Tuy nhiên hiện nay có nhiều nguồn ảnh vệ tinh, nên có thể Google không quá khát dữ liệu mới
Các nhà cung cấp thương mại hợp tác với Google có lẽ chụp toàn bộ phần lục địa Mỹ khoảng 12 tháng một lần
Thứ có vẻ được cần hơn là ảnh hàng không dùng ở mức zoom rất cao
Tôi không phải chuyên gia địa không gian, nhưng những ảnh như vậy dường như được kết hợp với LIDAR hoặc ảnh đa phổ để tạo bản đồ độ cao kèm tư liệu hình ảnh, và chi phí thu thập có vẻ khá đắt
Cái này khác gì OpenStreetMap?
Nó bao quát đủ loại chi tiết, từ đường sá, cửa hàng, sông ngòi cho tới điểm du lịch, đường đi bộ đường dài, bệnh viện
Ai cũng có thể đóng góp, và với tư cách một người khá tham gia vào OSM, tôi có thể nói rằng nếu bạn muốn đưa thứ gì đó lên bản đồ, đặc biệt là khu vực quanh bạn, thì rất được hoan nghênh
Overture là một nhóm doanh nghiệp mới phát hành một số bộ dữ liệu theo giấy phép mở, nhưng các phương pháp dùng để tạo ra chúng vẫn là độc quyền
Một phần dữ liệu họ công bố là của họ, còn nhiều bộ dữ liệu là dữ liệu OpenStreetMap được đóng gói lại
Overture không phải cộng đồng các biên tập viên bản đồ cá nhân mà là dự án bản đồ lấy dữ liệu làm trung tâm, nên mục tiêu là bổ trợ cho OSM
Họ kết hợp OSM với các nguồn khác để tạo bộ dữ liệu bản đồ mở mới, và dữ liệu Overture được cung cấp theo giấy phép dữ liệu mở tương thích để cộng đồng OpenStreetMap có thể sử dụng
Các công ty thành viên Overture được khuyến khích đóng góp trực tiếp cho OSM
Gần nhà tôi có một con đường rải sỏi chắc chỉ khoảng 20 người dùng mỗi ngày, và do công trình gần đó, một đoạn đường đã được dời sang bên vài mét
Ngay ngày hôm sau OSM đã phản ánh đúng thực tế mới đó
Đã có ai đưa nó lên BigQuery chưa?
Tôi biết đang có không khí “la ó Google”, nhưng tôi chỉ muốn join với vài bảng khác mà tôi đang có trong BigQuery
Tôi tò mò không biết có kiểu BigQuery cộng đồng nào có thể dùng thay vì tự duy trì import không