Datasette Cloud: Nền tảng lưu trữ SaaS cho Datasette
(datasette.cloud)- Datasette Cloud là nền tảng lưu trữ SaaS cho Datasette mã nguồn mở, cho phép lưu trữ dưới dạng SaaS cho nhóm để chia sẻ dữ liệu trong không gian riêng tư và chỉ công khai những dữ liệu cần thiết ra bên ngoài
- Trọng tâm ban đầu là phòng tin tức, nhằm giúp phóng viên có thể phân phối dữ liệu cho nội bộ nhóm và công chúng mà không cần tự thiết lập hoặc vận hành máy chủ
- Mỗi nhóm có thể tạo một space riêng tư tại khu vực gần nhất, đồng thời nhận được container bảo mật dựa trên Fly.io và tên miền phụ
space-name.datasette.cloud - Có thể nhập dữ liệu từ CSV, URL, dữ liệu mở của chính phủ dựa trên Socrata, tệp SQLite và Datasette Write JSON API, đồng thời chỉnh sửa trực tiếp trên giao diện web
- Trong tương lai sẽ bổ sung truy vấn có AI hỗ trợ, công khai các bảng/truy vấn được chọn, chú thích dữ liệu và định giá; hiện tại có thể bắt đầu bằng cách đặt lịch demo qua Zoom hoặc yêu cầu quyền truy cập bản xem trước
Không gian cộng tác dữ liệu riêng tư cho nhóm
- Datasette Cloud là nền tảng lưu trữ SaaS dành cho dự án mã nguồn mở Datasette
- Các nhóm có thể tạo space riêng tư để làm việc với dữ liệu, chia sẻ an toàn giữa các thành viên và công khai một phần dữ liệu ra bên ngoài
- Nhóm người dùng ban đầu được định hướng cho phòng tin tức
- Datasette bắt nguồn từ lĩnh vực báo chí dữ liệu
- Mục tiêu là giúp phóng viên chia sẻ dữ liệu mà không cần tự thiết lập hoặc vận hành Datasette trên nhà cung cấp hosting riêng
- Ngoài phóng viên, các công ty và tổ chức khác cũng có thể sử dụng Datasette Cloud
- Người mới làm quen với Datasette có thể xem video demo và hướng dẫn trên website dự án mã nguồn mở
Nhập dữ liệu và cách tiếp cận truy cập
- Mỗi space được lưu trữ tại khu vực gần người dùng nhất và chạy trong một container bảo mật tách biệt dựa trên Fly.io
- Mỗi space có tên miền phụ
space-name.datasette.cloud - Quản trị viên space có thể mời thêm thành viên
- Mỗi space có tên miền phụ
- Thành viên trong nhóm có thể nhập dữ liệu qua nhiều cách
- Tạo bảng bằng cách tải tệp CSV lên
- Tải tệp CSV từ URL
- Nhập từ cổng dữ liệu mở của chính phủ dựa trên Socrata
- Tạo cơ sở dữ liệu mới bằng cách tải tệp cơ sở dữ liệu SQLite lên
- Nhập dữ liệu bằng Datasette Write JSON API
- Dữ liệu đã nhập có thể được chỉnh sửa trực tiếp trên giao diện web của Datasette Cloud
- Các tính năng chỉnh sửa, chèn và xóa hàng được tổng hợp trong bài giới thiệu datasette-write-ui
- Việc khám phá dữ liệu và truy cập API tận dụng các công cụ sẵn có của Datasette
- Giao diện web Datasette hỗ trợ lọc, facet, chạy truy vấn SQL và lưu dấu kết quả
- Có thể xem hướng dẫn và demo trực tiếp tại Exploring a database with Datasette
- Learn SQL with Datasette hướng dẫn cách truy vấn dữ liệu bằng SQL
- Có thể truy cập bảng và chạy truy vấn SQL qua JSON API được bảo vệ bằng token API chi tiết
- Có thể truy cập dữ liệu dạng bảng qua GraphQL API dựa trên plugin datasette-graphql
- Toàn bộ dữ liệu được lưu an toàn trên Fly volumes và cũng được sao lưu lên S3 bằng Litestream
Tính năng sắp ra mắt và cách bắt đầu
- Các tính năng sẽ sớm được bổ sung gồm
- Truy vấn có AI hỗ trợ: nhóm phát triển đang nghiên cứu cách áp dụng có trách nhiệm các mô hình ngôn ngữ lớn — công nghệ nền tảng của OpenAI ChatGPT, Anthropic Claude và Google Bard — vào việc khám phá dữ liệu của phóng viên; có thể xem thêm tại llm.datasette.io
- Tính năng công khai các bảng và truy vấn được chọn ra bên ngoài
- Chú thích dữ liệu giúp nhóm thêm bình luận vào cột và hàng để hỗ trợ cộng tác phân tích dữ liệu và tìm ra những câu chuyện ẩn trong dữ liệu
- Định giá để người dùng có thể thanh toán chi phí sản phẩm
- Người dùng có thể đặt lịch một buổi demo trên Zoom để trở thành một trong những người dùng đầu tiên, hoặc yêu cầu quyền truy cập bản xem trước mà không cần demo
1 bình luận
Các ý kiến trên Hacker News
Tôi đã triển khai Datasette nội bộ và dùng nó thành công để lưu trữ nhiều dữ liệu nghiên cứu quá lớn (100MB~20GB) để chia sẻ cho người dùng phổ thông hoặc để họ tiêu thụ trực tiếp
Trước đây, chúng tôi phải chỉ chia sẻ các bản tóm tắt ở mức rất cao và một vài điểm dữ liệu, hoặc tạo một ứng dụng Django tối thiểu, hoặc dùng các giải pháp nặng hơn nhiều như Metabase
Với dữ liệu cỡ trung bình, không thể gửi kết quả qua email; các cách quen thuộc với khách hàng như chia sẻ qua mạng nội bộ hay SharePoint cũng có giới hạn; còn người dùng thông thường thì chỉ biết dùng Excel nên dữ liệu lớn là lập tức tắc
Giờ đây, chúng tôi có thể cung cấp gần như mọi dữ liệu đã được xử lý ở mức nhất định, kèm vài view và một hướng dẫn dưới 5 phút (“đây là Super Excel, lọc như thế này là được”), rồi người dùng tự khám phá
Sau lần triển khai đầu tiên, nhìn log mới thấy dù chỉ là một nghiên cứu bình thường mà người dùng đã gõ hệ thống liên tục; điều đó khiến tôi nghĩ trước đây hẳn đã có rất nhiều câu hỏi chi tiết mà họ không dám hỏi vì không muốn làm phiền. Sau Datasette, các câu hỏi trở nên tinh vi hơn nhiều vì những điều cơ bản họ đã tự giải quyết được
Tôi đặc biệt thích cách nói “đây là Super Excel, lọc như thế này là được”
Tôi đã nghe tên Datasette vài lần nhưng chưa từng tìm hiểu kỹ xem nó dùng để làm gì
Video trên landing page giải thích rất hay, mà trường hợp như vậy không thường gặp
Simon và toàn bộ dự án xứng đáng được chúc mừng, và tôi cũng mong dịch vụ cloud sẽ thành công
Datasette là một dự án mở của Simon Willison, người khá nổi tiếng trên HN, và lần này trông giống một dự án kiếm tiền. Chúc thành công, và mong Softbank sớm mua lại :-)
Nó gần giống một công cụ bọc quanh file SQLite để giúp xuất bản dễ dàng, có thể cảm giác như Tableau dành cho SQLite
Datasette là dự án đầu tiên trong toàn bộ sự nghiệp của tôi mà tôi nghĩ rằng dù 15 năm nữa vẫn tiếp tục làm cũng sẽ không thấy chán. Phạm vi các ứng dụng thú vị có thể xây dựng từ ý tưởng cốt lõi này thực sự rất rộng
Vì vậy tôi muốn làm nó trong nhiều thập kỷ, nhưng làm một mình thì cô đơn; cộng đồng đang lớn lên và rất vui, nhưng vẫn khác với một đội ngũ toàn thời gian
Vấn đề tôi đang cố giải quyết bây giờ là làm sao để dự án bền vững về tài chính trong dài hạn. Không chỉ cho một mình tôi, mà còn phải có thể trả lương cho một đội ngũ làm việc cùng
Đã có nhiều ví dụ về các dự án nguồn mở như WordPress hay GitLab xây dựng được mô hình kinh doanh bền vững bằng SaaS hosting, nên con đường này có vẻ tương đối đã được khai phá
Tôi cũng muốn mọi người thực sự dùng được phần mềm của mình. Hiện nếu cá nhân muốn dùng Datasette thì phải cài bằng
piphoặcbrew, hoặc dùng ứng dụng macOS Electron https://datasette.io/desktop, còn tôi muốn các tòa soạn có thể dùng nó để cộng tác trên dữ liệu. Phần lớn các tòa soạn không quen cấu hình máy chủ LinuxPhiên bản SaaS hosting giúp những nhóm người dùng mà tôi coi trọng thực sự nhận được giá trị, đồng thời cũng đưa ra một lộ trình thực tế hướng tới sự bền vững tài chính cho toàn bộ dự án
Tất nhiên, tôi cũng muốn kiếm thật nhiều tiền từ nó
Hiện tại UX và phần cấu hình có cảm giác phù hợp hơn với các data hacker quan tâm đến báo chí, chứ chưa thật sự giống một công cụ tiêu chuẩn cho báo chí dữ liệu hay data journalism
Nếu người dùng dự định là các nhà báo có thể không có kỹ năng data hacking, thì rào cản bắt đầu cần được hạ thấp hơn nữa
Datasette không phải là công cụ BI, cũng không phải công cụ OSINT; hiện tại nó nằm trong một ngách rất hẹp giữa những người mê dữ liệu và các nhà báo điều tra, nên tiềm năng bị hạn chế đáng kể
Simon nên cân nhắc việc kiếm tiền, đặc biệt là tuyển người để làm cho Datasette Cloud dễ tiếp cận hơn. Việc tạo ứng dụng GUI có vẻ là một bước đi đúng hướng
Không có ý phá hỏng bầu không khí, nhưng dù đã xem hết video giới thiệu Datasette, tôi vẫn có cảm giác mình đã bỏ lỡ điều gì đó
Về cơ bản đây chẳng phải là SQL GUI sao? Trông gần như giống các bảng quản trị SQL khác, chỉ là thiếu chức năng ghi
Tôi tò mò điểm khác biệt là gì, có phải ở khả năng mở rộng không
Có vô số quy trình kinh doanh quan trọng được chắp vá gượng ép bằng Excel và Access, và Datasette có thể là một lựa chọn tốt hơn nhiều cho những mục đích như vậy. Đây là công cụ mà cả lập trình viên lẫn người phụ trách nghiệp vụ đều dùng được
Vấn đề mà Datasette giải quyết tốt nhất là xuất bản dữ liệu có cấu trúc lên mạng
Ví dụ, nếu muốn chia sẻ trực tuyến danh sách các nhà máy điện trên toàn thế giới hoặc toàn bộ lịch sử Quốc hội Mỹ, bạn có thể đưa CSV lên website/GitHub/S3, tạo một ứng dụng tùy chỉnh bằng Django/Rails, hoặc dùng Google Sheet. Cách Guardian từng dùng Google Sheet để giải quyết việc này có ở https://simonwillison.net/2018/Aug/19/instantly-publish-data...
Ban đầu Datasette được tạo ra để giải quyết vấn đề này, và tôi thấy SQLite hoàn hảo cho việc đó. Nó nhanh, vững chắc, và nếu xuất bản dữ liệu chỉ đọc thì có thể triển khai ở bất kỳ đâu có thể host ứng dụng web động mà không phải lo các vấn đề như sao lưu hay nhân bản
Ví dụ về các nhà máy điện trên toàn thế giới ở https://global-power-plants.datasettes.com/global-power-plan..., còn dữ liệu nghị sĩ Quốc hội Mỹ ở https://congress-legislators.datasettes.com/legislators. Trường hợp sau cũng được dùng trong hướng dẫn Datasette https://datasette.io/tutorials/explore
Nếu bạn quen với dòng lệnh, sẽ khó tìm được cách nào nhanh hơn việc dùng
sqlite-utilsđể đưa CSV vào SQLite và dọn dẹp dữ liệu, rồi xuất bản bằngdatasette publish vercelcùng plugindatasette-cluster-mapĐây là ví dụ dùng plugin
datasette-publish-vercel, nhưng Datasette cũng có thể xuất bản lên Fly, Google Cloud Run, Heroku, v.v. bằng các plugin bổ sung: https://docs.datasette.io/en/stable/publish.htmlPhần dọn dẹp dữ liệu bằng
sqlite-utilsđược trình bày chi tiết hơn tại https://datasette.io/tutorials/clean-dataTrong 5 năm qua, Datasette đã vượt ra ngoài mục tiêu xuất bản và trở thành công cụ tôi dùng mỗi khi muốn xem xét và khám phá dữ liệu. Từ góc nhìn báo chí dữ liệu, đó là “tìm câu chuyện trong dữ liệu”
Trong ứng dụng thương mại, tôi có trực giác mạnh mẽ rằng nếu nó có thể giúp nhà báo tìm câu chuyện trong dữ liệu, thì cũng có thể giúp tất cả những người khác tìm câu chuyện trong dữ liệu của họ
Một điểm cốt lõi khác là plugin. Giống như WordPress vừa là một CMS tốt, vừa nhờ hơn 10.000 plugin mà xử lý được gần như mọi vấn đề xuất bản nội dung và chiếm tỷ lệ hai chữ số trên web, hình dung tham vọng nhất của Datasette cũng tương tự như vậy
Tôi muốn tạo ra một công cụ mã nguồn mở để phân tích dữ liệu khám phá (EDA) và xuất bản, đồng thời muốn hàng nghìn plugin có thể giải quyết các vấn đề về khám phá, phân tích, trực quan hóa và xuất bản dữ liệu
Hiện mới có 127 plugin nên còn một chặng đường dài, nhưng đó là khởi đầu tốt: https://datasette.io/plugins
Nếu rút gọn trong một câu thì có thể nói “Datasette là cách nhanh nhất để xuất bản dữ liệu lên mạng dưới dạng cơ sở dữ liệu tương tác và có thể tìm kiếm”, hoặc “WordPress dành cho dữ liệu: một nền tảng mã nguồn mở có thể mở rộng để khám phá, phân tích, trực quan hóa và xuất bản”
Simon, trông thật sự rất tuyệt và chúc anh thành công
Trong vài năm qua tôi đã làm được nhiều thứ hay ho với Datasette và rất khuyến nghị dùng nó. Tôi cũng chắc chắn sẽ thử datasette.cloud
Datasette rất tuyệt
Ở công ty cũ, để nhanh chóng chia sẻ kết quả của các truy vấn SQL phức tạp, tôi đã nghĩ ra cách triển khai Datasette một cách khá chắp vá lên đám mây Azure nội bộ; vì vậy thật vui khi thấy Simon tự mình ra mắt
.cloudSau khi biết đến Simon qua podcast Latent Space, trong vài tuần qua tôi đã đọc blog của ông ấy và xem nhiều video YouTube
Là một cựu nhà báo, tôi từng muốn học báo chí dữ liệu, và có lẽ khi dịch vụ này được mở công khai tôi sẽ thử
Simon đã xuất hiện ba lần trên podcast của chúng tôi: https://latent.space/p/llama2, https://latent.space/p/code-interpreter, https://latent.space/p/no-moat
Thật tốt khi ông ấy chỉ cần kết nối từ nhà, công viên hay nơi nào đó mà không cần phải sắp xếp lịch vào studio
Simon gần đây đã đăng một hướng dẫn dài 2 giờ: https://www.youtube.com/watch?v=5TdIxxBPUSI
Thật thú vị khi thấy báo chí dữ liệu giờ đã phát triển thành việc đưa CSV lên đám mây
Trước đây, chủ đề nóng nhất tại hội nghị I.R.E. là học cách trích xuất và giải mã dữ liệu từ băng 9-track
Trong những ngày đầu của FOIA, chính phủ thường đổ một lượng thông tin khổng lồ vào các cuộn dữ liệu 9-track lớn rồi nói rằng họ đã “tuân thủ yêu cầu”, qua đó cản trở việc đưa tin
Hầu như không có tòa soạn nào có thiết bị hay năng lực kỹ thuật như vậy, nên họ phải tự tìm giải pháp hoặc tìm các công ty, tổ chức có thể giúp đỡ
I.R.E.: https://www.ire.org/
Báo chí dữ liệu không phải là điều mới
Simon là một kỹ sư rất giỏi
Tôi đã học được khá nhiều từ video và bài viết của anh ấy, và hy vọng việc này sẽ diễn ra tốt đẹp
Tôi tưởng là nói đến ổ băng C2N Datasette của C64, nên hơi tiếc vì không phải
https://en.m.wikipedia.org/wiki/Commodore_Datasette
Có lẽ lúc đó tôi khoảng 7 tuổi và thực ra nó chẳng làm được gì mấy, nhưng cái tên rõ ràng là một lời tri ân đến thứ đó
1: https://youtu.be/1hc52_PWeU8
Tôi vẫn còn một chiếc 1531 trên gác mái, đặt cạnh C16