Ra mắt Phind-70B - mô hình thực thi nhanh gấp 4 lần, thu hẹp khoảng cách chất lượng mã với GPT-4 Turbo

 (phind.com)
6 điểm bởi GN⁺ 2024-02-23 | 3 bình luận | Chia sẻ qua WhatsApp
  • Xử lý tối đa 80 token mỗi giây (GPT-4 Turbo là ~20 token mỗi giây)
  • Hỗ trợ cửa sổ ngữ cảnh 32K token
  • Được tinh chỉnh thêm trên nền mô hình CodeLlama-70B với 50B token bổ sung
  • Đạt 82.3% trên HumanEval, vượt GPT-4 Turbo (gpt-3-0125-preview) ở mức 81%
  • Trên CRUXEval của Meta, đạt 59%, hơi kém GPT-4 ở mức 62%
  • Về mặt sinh mã, gần như tương đương GPT-4 Turbo hoặc thậm chí vượt hơn ở một số tác vụ
  • Ít "lười" hơn GPT-4 Turbo nên không ngần ngại tạo ra các ví dụ mã chi tiết

Bài viết liên quan

3 bình luận

 
cosine20 2024-02-27

Từ khoảng 1 năm trước, sau khi biết đến Phind qua GeekNews, tôi gần như dùng Phind cho hầu hết các câu hỏi về code. Thỉnh thoảng vẫn thấy nó hơi loay hoay, nhưng giờ tôi cũng đã có chút kinh nghiệm nên biết cách đặt câu hỏi để nó bớt loay hoay hơn.
 
GN⁺ 2024-02-23
Ý kiến Hacker News

  • Chia sẻ trải nghiệm dùng Phind

    • Đã dùng Phind gần như mỗi ngày trong 3-4 tuần qua, chất lượng mã được tạo ra tốt và cũng chạy ổn.
    • Độ chính xác cao hơn ChatGPT và đưa ra định hướng đúng đắn hơn.
    • ChatGPT đã chậm đi trong hơn 2 tháng gần đây, nhưng để học một chủ đề thì ChatGPT vẫn chi tiết và mang tính giải thích hơn.

  • Hoài nghi về việc đánh giá chất lượng mã

    • Đã giải quyết được bài toán tách chuỗi bằng regex do GPT-4 đưa ra, thêm các unit test cần thiết và commit thành công.
    • Mô hình 70B dù thử nhiều lần vẫn không thể đưa ra câu trả lời cho vấn đề này.
    • Mỗi lần thử dùng mô hình khác ngoài GPT-4 đều có cảm giác như lãng phí thời gian.

  • Hướng dẫn từ nhà sáng lập Phind

    • Có thể thử miễn phí mô hình Phind-70B mà không cần đăng nhập.

  • Ấn tượng về tốc độ phản hồi và chất lượng của Phind

    • Tốc độ phản hồi rất ấn tượng, nhưng không thực sự hài lòng về chất lượng.
    • GPT-4 sau vài lần thử có tính đến việc xử lý yêu cầu POST, còn Phind chủ yếu chỉ tập trung vào yêu cầu GET.

  • Một thử thách thú vị dành cho LLM

    • Đưa ra một câu đố logic cơ bản cho LLM để kiểm tra khả năng giải quyết.
    • Phind-34B phản ứng đặc biệt thú vị và đôi khi rơi vào vòng lặp.

  • So sánh trải nghiệm viết plugin Wireshark

    • Chia sẻ trải nghiệm viết plugin Wireshark khi so sánh Phind với ChatGPT.

  • Hỏi về khả năng tích hợp API

    • Hỏi liệu API của Phind có thể tích hợp với aider.chat, công cụ được tối ưu để dùng GPT-4 cho lập trình, hay không.

  • Chia sẻ trải nghiệm dùng Phind

    • Là người đã dùng Phind hơn 1 năm, và thích nó hơn GPT.
    • Đã từng gặp vấn đề lặp lại hoặc rơi vào vòng lặp sau các chuỗi câu hỏi dài.

  • Phản ứng của Phind với việc dịch mã

    • ChatGPT 3.5/4 đôi khi dịch toàn bộ file Go sang C#, trong khi Phind từ chối dịch toàn bộ mã.

  • Tốc độ và hiệu năng của Phind-70B

    • Phind-70B nhanh hơn GPT-4 Turbo rất nhiều, điều này đạt được nhờ sử dụng thư viện TensorRT-LLM của NVIDIA và GPU H100.