HN hỏi: Có ai đang thực hiện dự án thú vị với Tiny Language Models không?

 (news.ycombinator.com)
6 điểm bởi GN⁺ 2025-01-22 | 1 bình luận | Chia sẻ qua WhatsApp
  • Đây là cuộc thảo luận về các mô hình trong phạm vi 0.5B-3B có thể dùng trên Ollama
  • Câu hỏi là liệu có ai đã xây dựng được công cụ thú vị dùng các mô hình này như một phần của quy trình làm việc hay không

Bài viết liên quan

1 bình luận

 
GN⁺ 2025-01-22
Ý kiến Hacker News

  • Thiết lập ollama để trả lời tin nhắn SMS spam. Gán cho mỗi số điện thoại một persona như bạn cùng phòng gym thuộc thế hệ millennial hoặc một quý ông Anh thế kỷ 19

  • Dùng mô hình Llama để nhận diện thông báo cookie trên website và thêm quy tắc lọc vào EasyList Cookie. Hầu hết thông báo cookie có HTML/CSS tương tự nhau, nên có thể lấy innerText rồi dùng một LLM nhỏ để lọc các trường hợp dương tính giả. Mô hình 3B cho hiệu năng khá ổn nếu prompt engineering đủ tốt, còn 7B thì gần như không có dương tính giả mà không tốn thêm chi phí. Có thể xem code và prompt trên GitHub

  • Dùng mini PC gắn CPU n100 để tạo truyện ở nhiều thể loại và phong cách khác nhau. Quạt CPU không bị quá nhiệt, không mang lại năng suất nhưng khá vui

  • Dùng một script fish nhỏ để tạo ba thông điệp commit dựa trên git diff hiện tại. Đang thử nhiều mô hình khác nhau và khá hữu ích khi cần ý tưởng. Có thể xem script và ví dụ trên GitHub

  • Có một thiết bị nhỏ cố gắng tuyên bố ai là "người thắng cuộc" trong lúc trò chuyện

  • Khuyến nghị bài nói chuyện "Comedy Writing With Small Generative Models" của Jamie Brew. Nên chờ đến lúc anh ấy cầm guitar lên chơi

  • Microsoft đã công bố mô hình FLAME (60M tham số). Nó vượt qua các mô hình lớn hơn nhiều (hơn 100B tham số) trong việc sửa/hoàn thành công thức Excel

  • Micro Wake Word là một thư viện và bộ mô hình thiết bị để đánh thức bằng giọng nói trên ESPs. Gần đây đã được triển khai vào phiên bản thay thế Alexa hoàn toàn cục bộ của Home Assistants

  • Fine-tune Gemma 2B để nhận diện các tin nhắn khẩn cấp từ phụ nữ mang thai mới trong đường dây tư vấn sức khỏe bà mẹ do chính phủ vận hành

  • Tạo một mô hình khoảng 1m tham số để sinh ngẫu nhiên thẻ bài Magic the Gathering. Dựa trên nanogpt của Karpathy và thêm một vài tính năng. Nếu có máy Mac Apple silicon, bạn có thể tự sinh mô hình trực tiếp từ GitHub