Cách bọc quanh một thiên tài khó lường

• Để giảm lỗi lặp lại trong các sản phẩm AI cho ra kết quả khác nhau ngay cả với cùng một yêu cầu, cần kiểm soát bằng mã quyết định mà mô hình không thể chống lại, thay vì chỉ thêm chỉ dẫn
• Cấu trúc kiểm soát được chia thành bốn lớp: mô hình, harness, tài liệu và hook; chỉ hook — thứ hoạt động độc lập trong những điều kiện nhất định — mới có thể cưỡng chế quy tắc
• Các tác vụ mà độ chính xác có thể được phán định bằng mã thì có thể được bảo đảm, nhưng các tác vụ cần đánh giá như lỗi phân tích tinh vi lại phải dựa vào mô hình, nên khoảng trống xác minh sẽ không biến mất dù mô hình có tiến bộ
• Sản phẩm AI cần harness engineering để phân biệt phần nào giao cho phán đoán của mô hình và phần nào phải được bảo đảm bằng mã; nếu kiểm soát quá ít thì sẽ trả lời sai, còn nếu quá nhiều thì sẽ thành phần mềm thông thường đắt đỏ
• Nếu ai cũng có thể thuê cùng một mô hình, thì lớp bao bọc (wrapper) tích lũy tiêu chuẩn, mã, dữ liệu và môi trường tích hợp riêng cho từng sản phẩm sẽ trở thành lợi thế cạnh tranh có thể phòng thủ, và sự tăng trưởng của Cursor cho thấy điều đó

---

Chuyển quy tắc trong tài liệu thành mã

• Dù cấm một hành vi cụ thể trong tệp mà Claude Code đọc ở mỗi phiên, đôi khi nó vẫn hiểu nội dung, đồng ý rồi lặp lại chính hành vi đó
• Khi chuyển quy tắc thành mã chặn lệnh ngay khi điều kiện được thỏa mãn, hành vi bị cấm sẽ dừng lại bất kể phán đoán của mô hình ra sao
• Chi phí rà soát đầu ra AI được nói đến trong The Verification Tax có thể được giảm bằng kỹ thuật ở giai đoạn thượng nguồn thay vì tăng rà soát hậu kiểm
• Ngay cả một cấu trúc kiểm soát tối thiểu được tạo ra chỉ với một người và công cụ cá nhân cũng có cùng dạng bài toán mà các sản phẩm AI quy mô lớn phải giải
• Hướng dẫn thực tiễn nối từng loại thất bại với loại hook tương ứng và sắp xếp phạm vi có thể đo lường theo từng lớp có thể xem trong một bài đăng trên X riêng

Bốn lớp tạo nên kiểm soát

• Khả năng kiểm soát được cấu thành từ bốn lớp có sức mạnh tăng dần từ dưới lên trên
  • Mô hình: Dù xuất sắc như Claude Opus 4.8 hay GPT-5.5, chúng vẫn có thể đưa ra câu trả lời khác nhau cho cùng một yêu cầu, và không chỉ dẫn nào có thể loại bỏ hoàn toàn đặc tính này
  • Harness: Như Claude Code, Codex, OpenClaw, chạy mô hình và quyết định mô hình sẽ nhìn thấy gì, nhưng chỉ có thể định hướng tổng thể
  • Tài liệu: CLAUDE.md và AGENTS.md chứa sở thích, ngữ cảnh dự án, quy tắc và các chỉnh sửa tích lũy, nhưng mô hình vẫn có thể không làm theo vì nó phán đoán cùng với các thông tin khác
  • Hook: Mã giám sát những tình huống cụ thể và hoạt động độc lập, chặn các lệnh bị cấm bất kể mô hình có đồng ý hay không
• Trong bốn lớp, chỉ hook ở lớp trên cùng là không thương lượng
  • Các quy tắc được chuyển vào hook không thể bị mô hình lách qua, nên lỗi lặp lại biến mất và phạm vi con người phải rà soát cũng giảm đi

Vùng phán đoán không thể được bảo đảm bằng mã

• Có thể giảm bề mặt cần kiểm soát, nhưng không thể đóng kín hoàn toàn
  • Điều kiện như “đừng chạy lệnh này” có thể được kiểm tra bằng mã
  • Điều kiện như “đừng để phân tích trôi theo hướng sai một cách tinh vi” cần phán đoán, và một mô hình khác dùng để phán định điều đó cũng lại mang tính khó đoán
• Những hệ thống thực sự có thể chứng minh đầu ra sẽ so sánh tiêu chí do con người viết trước với kết quả bằng mã, và chỉ hoạt động trong những miền có thể định nghĩa chính xác đáp án đúng
• Ngay cả khi mô hình được nâng cấp, vấn đề phán đoán vẫn không biến mất, nên các lớp kiểm soát bọc quanh mô hình vẫn sẽ luôn cần thiết

• Bảo đảm dựa trên đặc tả hình thức

  • SEVerA có thể bảo đảm đầu ra của agent đáp ứng hợp đồng hình thức, nhưng hợp đồng phải được viết trước bằng logic hình thức, và chỉ áp dụng được cho những miền có thể kiểm tra như vậy
  • VeriGuard thêm tính an toàn đã được xác minh cho agent LLM, nhưng việc kiểm chứng thủ công của người dùng vẫn cần thiết
  • Chính bước để LLM dịch ý định của người dùng thành các quy tắc hình thức đã là điều khó đoán
  • Bảo đảm thực chất cuối cùng vẫn phụ thuộc vào kiểm tra cố định đối với đặc tả do con người viết
  • “Agent tự cải thiện” đánh giá kết quả đã xảy ra để cải thiện hành vi về sau, nhưng khác với cách chứng minh rằng một đầu ra cụ thể là đúng

Bọc một động cơ xác suất bằng phần mềm quyết định

• Kiểm thử phần mềm truyền thống phát triển theo cách đặt ra đầu ra mong muốn và một đáp án đúng duy nhất, rồi kiểm tra mã có tính dự đoán
• Sản phẩm AI-native đặt một động cơ xác suất ở trung tâm, thứ có thể cho kết quả khác nhau với cùng một prompt, nên tiền đề của kiểm thử cũ bị phá vỡ
• Như Hamel Husain chỉ ra, kỷ luật kiểm thử phần mềm được xây dựng suốt hàng chục năm giả định có một đáp án đúng duy nhất, nhưng trong AI thì chính đáp án đó biến mất
• Nhiều nhà phát triển đang hội tụ vào cách giữ nguyên động cơ khó đoán nhưng bọc quanh nó bằng mã quyết định hoạt động giống nhau mỗi lần
  • 12-factor agents của Dex Horthy định nghĩa agent tốt là hệ thống “phần lớn được cấu thành từ phần mềm”
  • building effective agents của Anthropic khuyến nghị thực thi tác vụ theo “các đường mã được định nghĩa trước” và thêm “kiểm tra theo cách lập trình”
• Trong Claude Code, có thể chọn cách kiểm tra điều kiện
  • Nếu mã tự phán định độc lập pass hay fail thì sẽ có bảo đảm
  • Nếu mô hình phán định điều kiện có được thỏa mãn hay không thì chỉ nhận được kết quả phán đoán

• Skills và /goal của Claude Code

  • Skills là các quy trình có cấu trúc mà agent có thể gọi, nhưng mô hình là bên chọn có thực thi hay không và có thể lệch hướng giữa chừng, nên thuộc lớp tài liệu
  • /goal khiến tác vụ tiếp tục cho đến khi đáp ứng điều kiện đã nêu, nên gần với lớp cưỡng chế hơn
  • Tuy vậy, sau mỗi lượt, một mô hình nhỏ và nhanh sẽ phán định liệu điều kiện đã được đáp ứng hay chưa, nên nó vẫn có thể phán sai như các mô hình khác
  • /goal là tính năng bọc quanh hook Stop; trong hook Stop do bạn tự viết, script có thể tự phán định độc lập pass hoặc fail thay vì để mô hình quyết định
  • Tài liệu Claude Code phân biệt hai cách này: dùng script cho kiểm tra mang tính quyết định, và dùng mô hình cho kiểm tra cần phán đoán

Khi thiết lập cá nhân mở rộng lên quy mô tổ chức

• Trong môi trường cá nhân, việc agent bỏ qua một quy tắc thường chỉ khiến mất vài phút, và các trường hợp quan trọng có thể được chặn bằng hook cá nhân
• Trong một công ty 200 người cùng dùng một agent, không phải ai cũng có hook cá nhân, và quy tắc có thể nằm trong một tệp chia sẻ duy nhất
• Nếu một quy tắc dùng chung bị bỏ qua một lần, cùng một vấn đề có thể xuất hiện ở mọi nơi tệp đó được thực thi, và mức độ bảo vệ của tổ chức bị chi phối bởi quy tắc được viết lỏng lẻo nhất
• Cấu trúc kiểm soát vẫn giống thiết lập cá nhân, nhưng khi quy mô tăng lên thì chi phí của lỗi thay đổi

Cái gì cần được bảo đảm và cái gì nên để mở

• Hướng dẫn kiến trúc agent-native của Every định nghĩa tính năng không phải là mã được viết ra, mà là “kết quả được mô tả mà agent hoạt động trong một vòng lặp đạt được”
• Cách tiếp cận này để mô hình ứng biến và thiết kế sản phẩm xoay quanh kết quả, nhưng tại những điểm cần kiểm soát thì lại quay về với mã
  • Nó khuyến nghị chuyển các hot path thường xuyên hoặc quan trọng sang mã
  • Nó thừa nhận rằng một số tác vụ cần kiểm chứng không thể giao cho phán đoán của agent
• Thiết kế sản phẩm lấy mô hình làm trung tâm và kỹ thuật lấy kiểm soát làm trung tâm trông có vẻ đối lập, nhưng thực ra đang xử lý cùng một kiến trúc từ hai đầu
• Trong thiết kế thực tế, cần quyết định điểm nào của sản phẩm sẽ được cố định bằng mã và ở mức nào
  • Nếu cố định quá ít, mô hình có thể ứng biến cả ở những tác vụ cần bảo đảm và truyền cho khách hàng những câu trả lời sai nhưng đầy tự tin
  • Nếu cố định quá nhiều, nó sẽ trở thành phần mềm thông thường với mọi đường đi đều được viết bằng mã, còn mô hình chỉ làm lại việc mà mã cũ từng làm theo cách chậm hơn và đắt hơn
• Cái mà đội OpenAI gọi là harness engineering là công việc chia các điểm trong sản phẩm theo một tỷ lệ có chủ đích giữa phần cần phán đoán của mô hình và phần cần được mã bảo đảm

Lớp bao bọc tích lũy lâu hơn mô hình

• Mô hình là lớp khó phòng thủ nhất vì ai cũng có thể thuê cùng một thứ, và các cải tiến của phòng thí nghiệm mô hình được tung ra đồng thời cho mọi người dùng theo lịch của họ
• Ngay cả khi đối thủ đọc toàn bộ kho mã, họ cũng không tự động có được những phán đoán tích lũy về việc nên bảo đảm điều gì và nên để mở điều gì trong một quy trình cụ thể
• Những phán đoán này được hiện thực hóa ở các lớp mà mô hình không thể chống lại, và tiếp tục tích lũy cùng cấu trúc kiểm soát riêng của sản phẩm
• Tổng hòa của mã, tiêu chuẩn, dữ liệu và môi trường tích hợp công việc bao quanh mô hình tạo nên lợi thế cạnh tranh dài hạn

Lớp kiểm soát mà Cursor đã tích lũy

• Công cụ lập trình AI Cursor không tự xây dựng mô hình đa dụng riêng, mà định tuyến yêu cầu giữa Claude, GPT, Gemini và Grok, coi mô hình như hàng hóa có thể thuê
• Dù Claude Code của Anthropic có thể tiếp cận sớm hơn với các mô hình tốt, điều đó vẫn không thể thay thế Cursor
• Doanh thu của Cursor tăng từ khoảng 1 tỷ USD vào tháng 11 năm ngoái lên khoảng 4 tỷ USD vào tháng 6
• SpaceX đã thực hiện quyền chọn có được vào tháng 4 tại sự kiện tuần trước và đồng ý mua lại Cursor với giá 60 tỷ USD, mức lớn nhất từ trước đến nay trong các thương vụ mua lại startup do vốn mạo hiểm đầu tư
• Thứ Cursor đã tích lũy không phải là một mô hình đa dụng tốt hơn, mà là lớp bọc quanh sản phẩm
  • Chỉ mục codebase giúp đồng bộ toàn bộ kho mã và giữ nó ở trạng thái có thể tìm kiếm
  • Mô hình autocomplete riêng học từ việc nhà phát triển chấp nhận hay từ chối đề xuất nào trên hàng trăm triệu lượt chỉnh sửa mỗi ngày
  • Môi trường tích hợp doanh nghiệp đã hiện diện ở phần lớn các công ty Fortune 500
• Ngay cả khi công ty mô hình có mô hình tốt hơn, họ vẫn không sở hữu trình biên tập, chỉ mục hay thói quen sử dụng của nhà phát triển

Câu hỏi quyết định tính bền vững của sản phẩm AI-native

• Những trường hợp như Cursor xây dựng được lớp kiểm soát là hiếm, và phần lớn những người dùng AI trong công việc либо chưa tạo ra lớp bao bọc như vậy, либо thậm chí không biết nó tồn tại
• Ở quy mô công ty, cách xây dựng lớp này là thứ phân biệt giữa sản phẩm AI-native chịu được sử dụng thực tế và một bản demo ấn tượng nằm trên các mô hình mà ai cũng có thể thuê
• Ngay cả khi mô hình nền tảng trở nên miễn phí, điều còn lại là gì sẽ là câu hỏi phân định tài sản bền vững của sản phẩm