g1 - Tạo chuỗi suy luận tương tự o1 bằng Llama-3.1 70B trên Groq

• g1 là nguyên mẫu ban đầu sử dụng chiến lược prompt để cải thiện khả năng suy luận của LLM
• Cách này giúp LLM giải các bài toán logic và xử lý những vấn đề mà các mô hình hiện có gặp khó khăn
• g1 được mã nguồn mở nhằm truyền cảm hứng cho cộng đồng open source phát triển các chiến lược mới

Cách hoạt động

• g1 sử dụng Llama3.1-70b để tạo Chain of Thought động.
• Ở mỗi bước, LLM có thể chuyển sang bước suy luận tiếp theo hoặc đưa ra câu trả lời cuối cùng.
• System prompt có chứa các mẹo dành cho LLM.
• Ví dụ có các chỉ dẫn như "bao gồm việc khám phá các câu trả lời thay thế" và "sử dụng ít nhất 3 phương pháp để đi đến đáp án".
• Những cách này giúp cải thiện khả năng suy luận của LLM.

Ví dụ

• g1 có thể giải các bài toán logic đơn giản với độ chính xác 60-80%.
• Ví dụ: với câu hỏi "có bao nhiêu chữ R trong strawberry?", g1 đạt độ chính xác 70%.

Bắt đầu nhanh

• Cách dùng Streamlit UI:

  python3 -m venv venv  
  source venv/bin/activate  
  pip3 install -r requirements.txt  
  export GROQ_API_KEY=gsk...  
  streamlit run app.py  
  

• Cách dùng Gradio UI:

  cd gradio  
  pip3 install -r requirements.txt  
  python3 app.py  
  

Chiến lược prompt

• Ví dụ prompt:

  {  
    "title": "Identifying Key Information",  
    "content": "To begin solving this problem, we need to carefully examine the given information and identify the crucial elements that will guide our solution process. This involves...",  
    "next_action": "continue"  
  }  
  

• Cấu trúc prompt:

  • Gán vai trò trợ lý AI chuyên gia
  • Cung cấp tiêu đề và nội dung cho mỗi bước
  • Phản hồi ở định dạng JSON
  • Sử dụng ít nhất 3 bước suy luận trở lên
  • Nhận thức được giới hạn của LLM và bao gồm việc khám phá các câu trả lời thay thế
  • Khi xem xét lại, thực sự dùng một cách tiếp cận khác

Fork chính

• Mult1: tạo chuỗi suy luận tương tự o1 bằng nhiều nhà cung cấp AI (GitHub Repository)

Credits

• Ứng dụng này được phát triển bởi Benjamin Klieger

Tổng hợp của GN⁺

• g1 là nguyên mẫu ban đầu sử dụng chiến lược prompt để cải thiện khả năng suy luận của LLM.
• Dự án được mã nguồn mở nhằm truyền cảm hứng cho cộng đồng open source phát triển các chiến lược mới.
• g1 cho thấy độ chính xác cao hơn các mô hình hiện có trong việc giải các bài toán logic đơn giản.
• Bài viết này hữu ích để khám phá nhiều phương pháp khác nhau nhằm cải thiện khả năng suy luận của LLM.
• Một dự án khác có chức năng tương tự là o1 của OpenAI.

[GN⁺]

Ý kiến Hacker News

• Phương pháp ChainOfThought khá đơn giản, còn TreeOfThoughts là một phương pháp tinh vi hơn
  • Gợi ý liên quan đến OpenAI có liên quan đến việc tìm kiếm trên cây
  • Điều quan trọng là xây dựng CoT thành dạng cây và tìm ra lời giải tối ưu
• Việc nhấn mạnh chỉ thị bằng chữ in hoa khá thú vị
  • Người đầu tiên hiện thực hóa thành công AGI sẽ là người tìm ra cách nâng cao độ tin cậy của LLM
• Điểm đổi mới của o1 không nằm ở Chain-of-Thought, mà là dạy mô hình cách thực hiện CoT tốt
  • Không thể đạt được hiệu năng của o1 chỉ bằng prompt engineering đơn thuần
• LLM có thể giải quyết vấn đề bằng cách "phóng to" đầu vào theo những cách khác nhau
  • Có thể nhập văn bản theo từng ký tự hoặc chuyển thành dạng hình ảnh để kiểm tra chi tiết
• Dự án này thực hiện công việc tương tự optillm
  • Có thể cải thiện LLM bằng nhiều kỹ thuật tối ưu hóa khác nhau
• Đã chỉnh sửa để chạy 100% cục bộ bằng ollama:8b
  • Readme vẫn chưa được cập nhật
• Điều quan trọng là phải tìm ra định nghĩa của "suy luận"
  • Có thể giải quyết vấn đề suy luận của LLM bằng cách kết hợp với các thuật toán cổ điển
  • Nên chia quá trình suy nghĩ thành hai phần và chạy trên mô hình phù hợp
• Với prompt hỏi giữa .9 và .11 số nào lớn hơn, mô hình trả lời rằng .9 lớn hơn
  • Đây chỉ là một system prompt đơn giản
• Vì vui nên đã fork dự án để chạy cục bộ với mô hình Llama-3.1 7B
  • Không giải được bài toán dâu tây, nhưng đã nhận ra rằng 0.9 lớn hơn