Thư viện chia khối siêu đơn giản cho Node.js

Hôm nay mình vừa giới thiệu một vector DB đơn giản được làm để phục vụ việc tạo prototype với LLM..(https://vi.news.hada.io/topic?id=10798)

Tiện đà, mình cũng thử làm luôn một thư viện chia khối văn bản siêu đơn giản cho Node.js.

Khi dùng LLM để embedding tài liệu thì hầu như không có gì đơn giản để dùng ngay, mà với Node.js thì lại càng hiếm hơn, nên mỗi lần phải dùng những thư viện cồng kềnh mình thấy khá ngại. (Chưa nói tới chuyện dùng ở Edge thì gần như không dám nghĩ tới)

Nhân lúc đã làm một VectorDB đơn giản, mình tạo cái này để dùng cùng luôn; mà đã dùng cho LLM thì phần lớn cũng không cần quá tinh vi, nên mình chỉ làm ở mức có thể cắt theo câu/đoạn đơn giản và điều chỉnh overlap ở mức phù hợp.

Dùng thử một lúc thì đúng là, cái gì cũng vậy, It just works, simple is the best. haha

[golbin]

Sản phẩm cùng dòng: vectorDB siêu đơn giản cho Node.js -> https://vi.news.hada.io/topic?id=10798