Trường hợp tận dụng AI tốt nhất của tôi là "viết log"

• JetBrains Full Line Code Completion (FLCC) là tính năng tự động hoàn thành dựa trên AI có trong PyCharm và GoLand, giúp viết log hiệu quả và tăng mạnh hiệu suất phát triển
• Tính năng này giảm bớt sự phiền toái khi phải viết lặp đi lặp lại các câu lệnh log bằng f-string hay truy cập biến/dataframe, đồng thời AI tự động tạo log ngắn gọn, rõ ràng phù hợp với ngữ cảnh
• Mô hình liên quan là một LLM cỡ nhỏ chạy trên máy tính cục bộ, đạt tốc độ suy luận nhanh, mức dùng bộ nhớ thấp (khoảng 1GB) và không có lo ngại rò rỉ dữ liệu cá nhân
• Theo bài báo của JetBrains, họ huấn luyện Transformer cỡ nhỏ chuyên cho Python (100M tham số) để hỗ trợ tự động hoàn thành một dòng trong phạm vi 384 ký tự ngữ cảnh mã, đồng thời phản ánh tích cực đặc trưng của mã Python trong quá trình tiền xử lý dữ liệu và tokenization
• Trường hợp thành công của FLCC cho thấy mô hình nhỏ định hướng mục đích chứ không phải LLM khổng lồ có thể nâng cao năng suất đến mức nào trong môi trường phát triển thực tế

---

Tự động viết log bằng AI: thay đổi thực tế đối với năng suất phát triển

• JetBrains Full Line Code Completion (FLCC) cung cấp tính năng tự động hoàn thành toàn bộ câu lệnh log trong PyCharm (được tích hợp mặc định từ cuối năm 2023), GoLand và các công cụ khác
• Trong xử lý dữ liệu tuần tự, gọi API bất đồng bộ, phép toán vector, v.v., print debugging và log chi tiết là điều thiết yếu
• Trước đây tồn tại vấn đề luồng debug thường xuyên bị ngắt quãng do phải nhập lặp lại f-string, truy cập biến/list/dataframe, chọn logger (loguru hay logging)
• Ví dụ như logger.info(f'Adding a log for {your_variable} and {len(my_list)} and {df.head(0)}') của loguru: nhìn thì đơn giản nhưng thực tế đi kèm nhiều gánh nặng nhận thức như dấu ngoặc, tên biến, cú pháp dataframe và loại logger

FLCC đã thay đổi flow phát triển và thói quen viết log như thế nào

• Full Line Code Completion kết hợp mọi thông tin ngữ cảnh như phần mở rộng tệp, đường dẫn và đoạn mã phía trên con trỏ thành prompt đầu vào của mô hình để tự động hoàn thành câu lệnh log tự nhiên nhất
• Log được gợi ý được tối ưu theo ngữ cảnh của biến, dataframe, phép toán, v.v., nên nhiều khi còn rõ ràng hơn log do con người tự viết
• Nhờ log ngắn gọn, sau khi kết thúc debug cũng không cần cố xóa log khỏi mã, và giữ nguyên trong môi trường vận hành vẫn đủ chất lượng

• Ví dụ

  • Khi kiểm tra Redis URL: redis = aioredis.from_url(settings.redis_url, decode_responses=True) → AI tự động đề xuất log kết nối Redis
  • Khi profiling DataFrame: sau khi định nghĩa dữ liệu/cột, tự động đề xuất câu lệnh log phục vụ profiling như shape của df

Đặc điểm kỹ thuật và cách triển khai mô hình JetBrains FLCC

• Hoạt động hoàn toàn trong môi trường cục bộ

  • Suy luận mô hình và gợi ý mã chỉ được xử lý trên PC cục bộ, nên an toàn, không phải lo rò rỉ dữ liệu cá nhân hay mã nguồn
  • Trên Mac, dung lượng mô hình khoảng 1GB, ít áp lực bộ nhớ và tốc độ rất nhanh
  • Không cần hạ tầng LLM lớn trên đám mây như vLLM, SGLM, Ray, PagedAttention

• Kiến trúc LLM cỡ nhỏ chuyên cho Python

  • Bản triển khai ban đầu dựa trên GPT-2 style Decoder-only Transformer (100M tham số) bằng PyTorch, sau đó được cải tiến sang kiến trúc llama2
  • Trong tập con của The Stack quy mô 6TB (30 ngôn ngữ), chỉ dùng 45GB; đồng thời xóa comment mã và import không cần thiết để tập trung vào việc tự sinh mã thực tế
  • Phù hợp với đặc trưng ngôn ngữ Python, tokenizer kiểu BPE chuyển cấu trúc như thụt lề và scope thành token <SCOPE_IN>/<SCOPE_OUT>, giúp tránh lãng phí token không cần thiết do khác biệt khoảng trắng
  • Kích thước vocab của tokenizer được tối ưu ở mức 16,384
  • Thói quen thêm import ở cuối mã vốn phổ biến trong Python cũng được phản ánh trong quá trình huấn luyện, nên import bị loại bỏ hẳn khỏi dữ liệu

• Huấn luyện và tối ưu hóa

  • Huấn luyện trong vài ngày bằng 8 GPU NVIDIA A100, đánh giá bằng cross-entropy loss
  • Dùng lượng tử hóa (Quantization) để chuyển mô hình FP32 sang INT8 (400MB→100MB), giúp nạp vào bộ nhớ PC mà không gây áp lực
  • Suy luận CPU bằng ONNX RT, sau đó chuyển server sang kiến trúc llama.cpp
  • Dùng Beam Search (k=20) để tạo nhiều chuỗi token khác nhau, lấy ký tự xuống dòng làm tiêu chí kết thúc kết quả
  • Trong cửa sổ ngữ cảnh 384 ký tự, 50% được prefetch trước để cache; khi di chuyển con trỏ về đoạn mã trước đó thì phản hồi ngay mà không cần suy luận lại

• Cấu trúc plugin và tích hợp

  • Plugin PyCharm được viết bằng Kotlin, cung cấp token suy luận thông qua server C++ native cục bộ
  • API gọn gàng, phản hồi tốc độ cao và chiến lược cache được tối ưu cho workflow phát triển thực tế

Những thay đổi thực chất về năng suất phát triển mà FLCC mang lại

• Đồng thời nâng cao chất lượng log và hiệu quả

  • Nhờ log tự động hoàn thành bằng AI, chất lượng của print debugging/log vận hành và hiệu suất viết log đều được cải thiện cùng lúc
  • Log ngắn và rõ ràng được đề xuất tự động nên luồng debug không bị gián đoạn

• Giá trị thực tiễn của LLM cỡ nhỏ chuyên biệt

  • Không phải LLM lớn, mà mô hình AI cỡ nhỏ được tối ưu cho mục đích cụ thể (hoàn thành mã một dòng) mới mang lại đổi mới năng suất lớn trong môi trường phát triển thực tế
  • Đây cũng là một ví dụ tiêu biểu cho thấy ở các lĩnh vực khác, mô hình nhỏ định hướng mục đích có thể cải thiện workflow thực tế một cách rõ rệt

[loblue]

Mong là C++ cũng có mấy thứ như thế này!

[iolothebard]

Chỉ để làm việc đó mà tốn $20 ~ $200 mỗi tháng thì hơi…

[aqqnucs]

Có vẻ người này đang nói về chi phí đăng ký IDE. FLCC không được cung cấp trong phiên bản miễn phí.
Nhưng cũng không phải mọi người trả tiền chỉ vì mỗi thứ đó.

[shoyuvanilla]

À, hóa ra bản miễn phí không dùng được. Tôi đã hiểu nhầm 😅

[shoyuvanilla]

Vì chạy cục bộ nên có vẻ sẽ không cần trả phí.