Linear Book Scanner: máy quét sách tự động mã nguồn mở (2014)

 (linearbookscanner.org)
2 điểm bởi GN⁺ 2023-09-18 | 1 bình luận | Chia sẻ qua WhatsApp
  • Linear Book Scanner là máy quét sách mã nguồn mở xử lý việc lật trang và quét tự động với chi phí thấp
  • Trong khi cuốn sách di chuyển qua lại trên thiết bị, việc lật trang và quét diễn ra tuần tự
  • Mỗi lần di chuyển, cơ chế hút chân không sẽ lật một trang từ bên này sang bên kia
  • Các trang được quét khi đi qua hai cảm biến hình ảnh
  • Phần mềm chuyên dụng biến kết quả quét thành PDF có thể tìm kiếm, giúp tăng tính hữu dụng

Cấu trúc vừa lật sách vừa quét

  • Linear Book Scanner được thiết kế như một máy quét sách lật trang chi phí thấp
  • Thiết kế được công bố dưới dạng mã nguồn mở, nên ai cũng có thể tự chế tạo
  • Cuốn sách di chuyển qua lại trên máy, và mỗi lần đi qua, chân không sẽ hút một trang từ một bên sang bên còn lại để lật trang

Kết quả quét

  • Các trang được quét trong lúc đi qua hai cảm biến hình ảnh
  • Phần mềm tạo cuốn sách đã quét thành PDF có thể tìm kiếm

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-09-18
Ý kiến trên Hacker News

  • Chủ đề này có một cộng đồng tại https://diybookscanner.org/
    Vài năm trước, tôi đã viết một công cụ nhỏ bằng Java tên là bookbuilder; sau khi lật trang bằng tay và chụp ảnh, nó có thể tự động xử lý toàn bộ ảnh để tạo PDF có thể tìm kiếm
    Tôi dùng một thư viện thị giác máy tính thuần Java tên là https://boofcv.org/; nó vẫn còn tồn tại và khá nhanh
    Nó có thể tự động xử lý từ phát hiện đường viền trang, hiệu chỉnh độ nghiêng, làm phẳng ảnh, đến xóa đường viền ngón tay bằng cách khớp tông màu da, rồi tạo PDF có lớp OCR ẩn mà không cần người dùng can thiệp
    Tôi còn nhớ mình đã làm cả phần phát hiện độ nghiêng của đường kẻ bằng một dạng thuật toán watershed để cải thiện việc làm phẳng
    Đó là một dự án thú vị, và tôi tự hỏi liệu mã nguồn còn nằm đâu đó không. Trang tải xuống giờ cũng đã biến mất; hồi đó tôi chưa công bố mã nguồn mở vì không nghĩ một dự án phụ nhỏ như vậy lại có thể khiến người khác quan tâm

    • Diễn đàn máy quét sách thực tế của https://diybookscanner.org/ hiện đã ngừng hoạt động vài tuần và đang được khôi phục
    • Tôi đã quan tâm đến việc quét sách từ lâu, và có lẽ còn nhớ đã thấy phần mềm này
      Tôi từng làm một trong những phiên bản đầu tiên thấy trên trang web, và vài năm trước tình cờ gặp Jonathon Duerig rồi còn làm cắt tia nước cho anh ấy
      Khi lần đầu nhìn thấy máy quét sách tuyến tính, tôi cảm thấy nó bị đặt ngược. Nếu nó có thể tự di chuyển bằng một cấu trúc treo, ta có thể tránh được vấn đề không biết khối lượng của sách hoặc phải xử lý ma sát
      Có thể dùng đối trọng để giữ lực ổn định, và dù quét cuốn sách nào thì cũng chỉ cần di chuyển một khối lượng đã biết
    • BoofCV thật sự rất tuyệt
      Tiếc là đến trước hôm nay tôi chưa biết đến nó; nếu biết, có lẽ tôi đã dành thời gian học và đóng góp. Vẫn còn khả năng, nhưng nhìn qua thì nó dường như đã bao phủ gần như mọi tính năng tôi từng nghe tới và còn hơn thế nữa
      Tôi đã dành 30 phút bấm xem từng ví dụ
    • Nếu được thì mong bạn đưa lên GitHub

  • Có những máy quét thương mại tương tự [1] [2], cũng là thiết kế chữ V nhưng được lật lại để quét từ phía trên
    Vì sách không di chuyển mà máy quét di chuyển, nên nó hoạt động nhẹ nhàng hơn nhiều với sách
    Tôi rất vui khi thấy một phương án mã nguồn mở thay thế theo cách này đang được phát triển
    [1] https://www.treventus.com
    [2] https://youtu.be/SdipuAuWsEs?si=dFWRtva5gO2oM91o

    • Thuê, mượn, hoặc dùng dịch vụ số hóa có lẽ cũng đắt
      Vì cả hai lựa chọn đều không công khai thông tin giá, chỉ yêu cầu điền biểu mẫu liên hệ
    • Thiết bị này cũng được nhắc đến trong bài thuyết trình của Google liên quan đến dự án gốc
      https://youtu.be/4JuoOaL11bw?si=do1qet5Kq_WErQgz&t=162
    • Phiên bản DIY của cùng ý tưởng nằm ở đây: https://www.diybookscanner.org
    • Máy quét này mỗi lần quét lại cắt rời một trang, nên tôi không chắc nó có phải là một phương án thay thế tuyệt vời không
      Sau đó thì việc nó xử lý nhẹ nhàng đến đâu có vẻ không còn nhiều ý nghĩa
      Có thể vẫn ổn nếu định đóng lại các trang còn lại thành một cuốn sách mới

  • Tôi thích ý tưởng này, nhưng với mục đích bảo tồn hoặc với sách có giá trị thì hơi lo về nguy cơ rách trang
    Trong những trường hợp đó, dù sao tôi cũng sẽ thích quét thủ công hơn, nhưng nhiều lần tôi đã muốn có một thiết bị như thế này để số hóa quá nhiều sách
    Theo mô tả trong FAQ về tần suất rách trang:

    Prototype 1 could scan the majority of books without damage, but may tear one or two pages in some books. Out of 50 books tested, 45% had one or two of their pages either torn or folded. This is a very early prototype and there are many areas for improvement in the design.
    Cá nhân tôi thấy nhìn chung có thể chấp nhận được. Đặc biệt nếu các phiên bản sau giảm được mức 45% xuống khoảng 10–20%, và nếu có chỗ đặt một thiết bị như vậy, tôi sẽ cân nhắc tự làm

    • Trong một thời gian, Internet Archive đã làm máy quét sách đặt sách lên giá đỡ hình chữ V
      Tình nguyện viên lật trang bằng tay, hạ rồi nâng hai tấm kính để ép nhẹ các trang, trong khi hai máy ảnh DSLR trên giá gắn nghiêng chụp ảnh
      Toàn bộ thiết bị không tự động, nhưng có thể vận hành thủ công khá dễ dàng
      https://blog.archive.org/2021/02/09/meet-eliza-zhang-book-sc...
    • Nếu bạn chưa xem, trang này đáng để ghé thăm
      https://www.diybookscanner.org/en/intro.html
    • Với những cuốn sách không thể thay thế, chẳng hạn sách cũ và đã ngừng xuất bản, thì hoàn toàn không thể chấp nhận được
      Phải là 0 trang bị rách
      Trước thời máy tính, cũng không có bản sao điện tử nào

  • Lĩnh vực này vẫn chưa được phần mềm bắt kịp ở mức có thể làm được, nên những việc có thể xử lý bằng phần mềm thì con người lại đang xử lý bằng phần cứng
    Nếu có đầu vào như hai ảnh trở lên hoặc ảnh stereo, chẳng hạn từ một chiếc iPhone mới, có thể dùng phép tam giác để ước tính trang đã được làm phẳng, tạo ra hình ảnh trông như một trang được cắt ra từ máy quét phẳng
    Sau đó chỉ cần trả công xứng đáng cho người ở Ethiopia lật sách cẩn thận mà không làm hỏng sách
    Như bất kỳ nhà nghiên cứu nào cũng biết, các thư viện số hiện nay đang chất đống cả một thế kỷ các bản scan có chất lượng đáng ngờ
    AI có thể suy đoán ra bản scan khó phân biệt với định dạng phông chữ outline gốc trên màn hình 8K
    Trước đây, liên quan đến các cuộc chiến phông chữ thập niên 1980, tôi từng tư vấn về việc chuyển các định dạng cũ và bản scan số thành phông PostScript và TrueType
    Khi đó việc này khó, nhưng khi phần mềm bắt kịp, đây sẽ được hiểu là cách đúng đắn để scan văn bản
    Tài liệu khoa học cần một thứ kiểu ChatGPT có thể khôi phục mã nguồn LaTeX để tái tạo từng trang. Thật ra, thứ thật sự cần là một hậu duệ của LaTeX ít khó hiểu hơn, nhưng vẫn có thể viết văn bản cố định và văn bản chảy dễ như nhau

    • Đây là một vấn đề rất vật lý, và không có nhiều đường tắt dùng được
      Tôi từng tham gia một dự án bảo tồn và đã scan rất nhiều tạp chí; nhìn chung việc có đặt lên mặt phẳng hay không không quan trọng lắm. Dù sao thì lật trang bằng tay vẫn mất thời gian
      Đã có những phương pháp đã biết để scan tạp chí và sách rất nhanh: cắt phần gáy đóng quyển rồi đưa các trang vào máy quét tự động
      Tất nhiên nếu sau khi scan vẫn muốn bảo tồn hiện vật thì không áp dụng được, vì bản sao sẽ bị phá hủy
      Cuối cùng, cách tốt nhất để tự động hóa việc scan mà không làm hỏng hiện vật phải kết hợp camera phía trên với máy lật trang. Tôi cho rằng dự án scan quy mô lớn của Google cũng theo kiểu này
      Có lẽ cũng có thể “scan” một số cuốn sách bằng tia X mà không cần lật trang, nhưng ở đó chắc cũng sẽ phát sinh những vấn đề mới
    • Tôi không rõ chính xác việc dựng hạ tầng để bóc lột lao động ở thế giới thứ ba thì là vấn đề phần mềm như thế nào
      Vấn đề không hẳn là phần mềm không giỏi hiệu chỉnh méo hình, mà là sau khi đã chuẩn bị mọi thứ để scan sách, tốt hơn là dùng một thiết bị không cần hiệu chỉnh méo hình
    • Phần mềm đã làm được từ năm 2017 rồi. Tôi đã làm việc này về cơ bản trên một thiết bị dành cho người khiếm thị, và thậm chí không cần ảnh stereo
      Có thể xem cách làm phẳng trang hoạt động ở đây. Phần này do thư viện xử lý nên không cần viết mã riêng
      https://youtu.be/DPu0iJtK2sI?t=1542
      Thiết bị còn có chức năng báo cho bạn lật trang, phát hiện trang đã được lật chưa, và chụp ảnh. Ở nền, nó làm phẳng ảnh, tách trang và thực hiện OCR
      Chỉ cần quen một chút là có thể scan và OCR một cuốn sách với tốc độ 1–5 giây mỗi trang
      https://youtu.be/DPu0iJtK2sI?t=1909
      Sau đó sách đã OCR được lưu lại và đọc cho bạn nghe khi muốn
    • Nếu nói đến hậu duệ của LaTeX thì https://typst.app/ đang định vị khá tốt
    • Tuyệt đối không nên dùng AI. Điều cần tránh nhất trong quá trình số hóa là văn bản bị thay đổi một cách tinh vi
      https://news.ycombinator.com/item?id=29223815
      Nguy cơ cho ra kết quả trông hợp lý nhưng sai đã là điều đáng lo từ trước thời AI

  • Cách này trông an toàn hơn nhiều
    https://www.inforum.com/newsmd/ndsu-students-book-scanner-in...
    http://diybookscanner.org

    • Cách đó chắc chắn an toàn hơn, nhưng không tự động và vẫn cần ai đó lật trang
      Dự án này đang cố giải quyết vấn đề đó, nhưng cần làm theo một cách nhẹ nhàng hơn nhiều để không làm hỏng sách

  • Sau khi scan thì toàn bộ nội dung đã ở dạng số, nên tôi thắc mắc vì sao cách tháo gáy sách thành từng tờ trước khi scan lại không phải là một mô hình có thể mở rộng
    Có phải là để tránh công đoạn tháo rời bổ sung không

    • Các nhà lưu trữ thường không thích phá hủy tác phẩm mà họ muốn bảo tồn
      Scan một cuốn sách chỉ cho bạn ảnh quang học mà thôi. Với những bản chép tay thời Trung cổ, trang có thể từng bị tẩy rồi viết lại
      Nếu chỉ scan sách rồi phá hủy bản vật lý, bạn sẽ mất những bằng chứng đó
      Tuy vậy, với sách đại chúng giá rẻ, tôi nghĩ phần lớn nhà lưu trữ cũng sẽ không quá bận tâm nếu phá hủy một bản trong số hàng triệu bản để bảo tồn tác phẩm
      Điều này chỉ thật sự là vấn đề với các tác phẩm rất cổ và rất hiếm
    • Nếu cuốn sách không quá quý, thường thì dễ hơn là dùng máy xén giấy cắt hẳn phần đóng gáy rồi đưa các tờ rời vào máy quét nạp giấy

  • Chỉ cần sách bị hư hại một chút là có vẻ sẽ bị xé nát hết

    • Nhìn cảnh đó tôi cũng giật mình
      Tôi có khá nhiều sách cũ muốn số hóa, nhưng hầu hết các máy scan sách thường thấy ít nhất cũng yêu cầu mở sách hoàn toàn, và như bạn nói, làm vậy có thể khiến sách bị rách
      Hơn nữa, các thiết bị đó còn không có hút chân không, di chuyển qua các mép sắc, và cả động cơ bước
      Xem câu hỏi thứ hai trong https://linearbookscanner.org/faq/:

      Out of 50 books tested, 45% had one or two of their pages either torn or folded
      Tôi sẽ không dùng thứ này ngay cả với những cuốn sách ít quý hơn của mình

    • Chắc chắn là vậy. Nếu có gì đó bị kẹt, hoặc điều kiện môi trường thay đổi và phản ứng với giấy, thì ngay cả sách vốn không hư hại cũng có thể thành ra như thế
      Dù vậy, nếu có cả núi sách cần scan, và có thể dùng loại máy này xử lý phần lớn, rồi chỉ xử lý cẩn thận hơn các trường hợp đặc biệt, thì vẫn là có lợi

  • Google về cơ bản đã quét gần như toàn bộ sách rồi. Vấn đề là bản quyền và các chủ sở hữu quyền
    Việc lật trang thì họ dùng lao động lương thấp. Nếu không ai đăng liên kết trước, tôi sẽ gửi liên kết sau
    Về nhà xem lại thì là bài này: https://www.theatlantic.com/technology/archive/2017/04/the-t...

  • Trông thật sự rất tuyệt. Không chỉ số hóa được sách, nó còn xé vụn miễn phí cho bạn nữa
    Một thương vụ 1+1 khá hời

  • Tôi bị dị ứng mạt bụi, nên nếu sách nằm trên kệ khoảng 6 tháng thì chỉ cần chạm vào cũng bị phản ứng dị ứng
    Phủi bên ngoài hay hút bằng máy hút bụi cũng không có tác dụng
    Có vẻ thiết bị này có thể dùng để loại bỏ mạt bụi khỏi sách để có thể đọc được