guidance - ngôn ngữ hướng dẫn để điều khiển LLM

• Một ngôn ngữ có thể điều khiển mô hình ngôn ngữ hiệu quả hơn so với prompt truyền thống.
• Dựa trên template Handlebars để chỉ định cấu trúc và cách thức đầu ra, đồng thời kiểm soát luồng logic.
• Sử dụng bộ nhớ đệm key/value bên trong prompt và chỉ cho suy luận ở những phần mong muốn để cải thiện hiệu năng suy luận.
• Không chỉ kiểm soát cấu trúc đầu ra đơn giản mà còn có thể đảm bảo cú pháp hợp lệ như JSON.
• Hỗ trợ tích hợp dễ dàng với các mô hình HuggingFace.

[kunggom]

Nhìn qua thì có vẻ linh hoạt và dễ dùng hơn LMQL, nhưng tôi khá tò mò về trải nghiệm thực tế của những người đã dùng thử.

[dnjstmxhs]

Rất hữu ích. Sẽ thật tuyệt nếu có phiên bản port sang Node.js.

[kuroneko]

• Luồng HN

Trong kho lưu trữ có rất nhiều ví dụ, và chỉ cần xem các ví dụ thôi cũng đã thấy khá thú vị.

Đặc biệt, trong trường hợp cần đầu ra có cấu trúc, có vẻ rất hay ở chỗ họ để LLM chỉ tạo đúng phần nội dung thay vì toàn bộ,
nhờ đó giảm một nửa thời gian suy luận.