Amphi - ETL Python mã nguồn mở

 (amphi.ai)
12 điểm bởi xguru 2024-06-20 | 1 bình luận | Chia sẻ qua WhatsApp
  • ETL dựa trên Python, được thiết kế để trích xuất, chuẩn bị và làm sạch dữ liệu từ nhiều nguồn và định dạng khác nhau
    • Hỗ trợ cả tệp có cấu trúc và phi cấu trúc (CSV, Parquet, PDF, Word, HTML, v.v.)
  • Hướng tới việc giúp cả nhà khoa học dữ liệu lẫn kỹ sư dữ liệu dễ dàng phát triển pipeline bằng giao diện Low-Code trực quan, đồng thời tạo ra mã Python có thể triển khai ở bất cứ đâu
    • Thiết kế pipeline dữ liệu bằng GUI và tạo mã Python thuần có thể triển khai ở bất kỳ môi trường on-premise/cloud nào
  • Mang lại hiệu năng vượt trội cho tích hợp dữ liệu từ tệp vào cơ sở dữ liệu, trích xuất và chuẩn bị dữ liệu cho khoa học dữ liệu và các hệ thống dựa trên LLM, cũng như truy vấn và làm giàu API

Bài viết liên quan

1 bình luận

 
xguru 2024-06-20
Ý kiến Hacker News
  • Amphi là công cụ ETL low-code dành cho dữ liệu có cấu trúc và phi cấu trúc, hữu ích trong việc tích hợp tệp, chuẩn bị dữ liệu, di chuyển dữ liệu và tạo pipeline dữ liệu cho các tác vụ AI. Nó tạo ra mã Python nên có thể triển khai ở bất kỳ đâu.
  • Việc giúp người không chuyên dễ dàng làm việc với dữ liệu không phải lúc nào cũng là điều tốt. Nếu việc viết Python và SQL là quá khó, có lẽ nên cân nhắc làm việc khác.
  • Cần đổi tiêu đề. Đây không phải open source mà dùng giấy phép Elastic License v2.
  • Không phải open source. Tiêu đề gây hiểu nhầm.
  • Nên thêm phần giải thích trên website cho những người không biết ETL là viết tắt của gì.
  • Với công cụ Python ETL open source, dlthub.com và hub.meltano.com là các lựa chọn tốt hơn. Tôi đang dùng Meltano trong thực tế và khá hài lòng.
  • Tôi tò mò liệu Amphi có hỗ trợ framework rapidsai dask_cudf tương tự pandas hay không.
  • Ý tưởng thì hay, nhưng phần tài liệu mô tả abstraction cấp cao chưa đúng. Trong pipeline dữ liệu, cần có khả năng định nghĩa thứ gì đó hoạt động như bảng và áp dụng các phép biến đổi lên đó. Điểm đáng khen là đây là công cụ miễn phí.
  • Tôi đang hài lòng với Dagster, nhưng Amphi cũng khá thú vị.
  • Tôi tò mò công cụ như Amphi ra đời như thế nào. Đã có rất nhiều công cụ Python ETL open source rồi, nên muốn biết nó được tạo ra để giải quyết một vấn đề cụ thể hay chỉ là một dự án đam mê.