Những điều học được khi xây dựng các tính năng dùng AI

• Dựa trên kinh nghiệm thực chiến mà PostHog đúc kết sau 12 tháng phát triển tính năng AI Max AI, đây là một hướng dẫn hệ thống hóa toàn bộ quy trình từ chọn đúng tính năng, triển khai đến cải tiến
• Tính năng AI có thể làm sản phẩm tệ hơn nếu giải quyết những vấn đề chậm, không đáng tin cậy hoặc vô nghĩa, vì vậy nên tận dụng các mẫu đã được kiểm chứng như tìm kiếm/tóm tắt dữ liệu, trình tạo và sử dụng công cụ
• Ở giai đoạn triển khai, ngữ cảnh của ứng dụng và quản lý trạng thái là cốt lõi; cần dẫn hướng AI đúng cách bằng lập kế hoạch truy vấn và định tuyến có điều kiện, đồng thời chuẩn bị cho thất bại bằng giám sát và guardrail
• Để tối ưu tốc độ, cần liên tục theo dõi benchmark mô hình, kết hợp mô hình nhanh và chậm tùy theo tác vụ, đồng thời tận dụng xử lý bất đồng bộ
• Để đánh giá và cải tiến liên tục, hãy thêm eval ngay từ giai đoạn đầu, chạy A/B test, tránh silo hóa tri thức AI và phân tán chuyên môn AI ra toàn bộ đội ngũ

---

Chọn xem nên xây dựng gì

• Cần nhận thức rằng AI có thể làm sản phẩm tệ đi, và không nên xây dựng những tính năng sai lầm chỉ để giải quyết các vấn đề quá chậm, không đáng tin cậy hoặc không ai quan tâm

1. Học các mẫu mà AI làm tốt

• Hãy sao chép các mẫu AI đã được kiểm chứng, kết hợp các mẫu UX quen thuộc với người dùng và những khả năng mà AI thực sự làm tốt
  • Mẫu đầu tiên: “trò chuyện với tài liệu/dữ liệu/PDF” - AI rất mạnh ở tìm kiếm và tóm tắt, có thể tận dụng để tạo báo cáo và khuyến nghị (ví dụ: Fin của Intercom, chat tài liệu của Mintlify)
  • Mẫu thứ hai: nhiều loại trình tạo khác nhau - tạo tiêu đề, mã, tài liệu, SQL, hình ảnh, bộ lọc, v.v. (ví dụ: Lovable, Bolt.new, Figma, Rippling, Notion)
  • Mẫu thứ ba: sử dụng công cụ - AI tận dụng các công cụ được định nghĩa rõ ràng để tự động hóa và cải thiện workflow (ví dụ: máy chủ MCP, Zapier, Atlassian, Asana)
• Max AI của PostHog tận dụng nhiều mẫu
  • Trò chuyện với dữ liệu và tài liệu
  • Tạo SQL insight và bộ lọc
  • Sử dụng công cụ như tạo khảo sát và insight phân tích
  • Trong tương lai sẽ mở rộng sử dụng công cụ như tự động xem và phân tích session recording

2. Xác định những vấn đề AI có thể giải quyết

• Hãy rà soát toàn bộ sản phẩm với trọng tâm là giá trị mà AI có thể mang lại
  • Một tác vụ đơn lẻ, rõ ràng mất hơn 30 giây - điền form dài, nhập dữ liệu thủ công, cấu hình tích hợp, cài SDK, v.v.
  • Trường hợp cần dùng ngôn ngữ hoặc giao diện mà người dùng không hiểu - UI phức tạp, truy vấn SQL, xây app, v.v.
  • Những việc lặp lại hơn 20 lần - viết mô tả, viết tóm tắt, tạo mục, v.v.
• Lời khuyên của Stephen Whitworth từ incident.io: thay vì tập trung vào “những điều mới mẻ, ngầu mà AI có thể làm”, hãy tập trung vào “những việc người dùng làm 100 lần mỗi ngày mà AI có thể làm tốt hơn”
  • Ví dụ: người dùng thích bản tóm tắt sự cố được tạo tự động hơn nhiều so với việc tự viết, và hiện tại 75% bản tóm tắt sự cố được AI tạo ra
• Các trường hợp áp dụng tại PostHog
  • AI install wizard: rút ngắn thời gian cài PostHog từ khoảng 10 phút xuống còn 90 giây
  • Dịch SQL trong Max AI: giúp viết truy vấn SQL phức tạp dễ dàng bằng ngôn ngữ tự nhiên, để cả người không quen SQL cũng có thể tạo insight tùy chỉnh

3. Xác thực rằng vấn đề đủ cụ thể và có giá trị

• Cần thu hẹp phạm vi về một vấn đề cụ thể và có giá trị
• Những cái bẫy cần tránh
  • Áp dụng mẫu có sẵn vào vấn đề không có giá trị: với một sản phẩm đơn giản ở giai đoạn đầu, tính năng “trò chuyện với tài liệu” là không cần thiết và còn có thể che giấu các vấn đề usability cốt lõi
  • Cố giải quyết vấn đề quá lớn bằng AI: AI sẽ không giúp bạn kiếm 1 tỷ đô; tốt hơn là giải quyết một vấn đề hẹp trước rồi mới mở rộng
• Khi xây Max, đội ngũ nhanh chóng nhận ra các câu hỏi quá rộng như “làm sao để tăng doanh thu?” là không hiệu quả
  • Thay vào đó, họ tập trung vào các tính năng cụ thể được tích hợp vào PostHog và tận dụng ngữ cảnh PostHog của người dùng
  • Ví dụ: Max viết SQL tốt hơn vì biết có thể dùng bảng nào, và vì hiểu các công cụ tích hợp sẵn nên có thể trả lời câu hỏi về sản phẩm bằng trực quan hóa native

Triển khai ý tưởng

• Để xác nhận thứ bạn định xây thực sự hoạt động, hãy tập trung vào các yếu tố cốt lõi

4. Ngữ cảnh và trạng thái của ứng dụng là cốt lõi

• Ai cũng có thể gọi OpenAI API, nhưng ngữ cảnh của ứng dụng là độc nhất
• Dữ liệu có thể đưa vào gồm
  • Người dùng đang cố làm gì
  • Ai là người đang thực hiện
  • Trạng thái tài khoản
  • Vị trí trong ứng dụng
  • Schema dữ liệu của ứng dụng
• Khi Max được hỏi “vì sao lượng đăng ký giảm trong tuần trước”, API sẽ nhận các thông tin sau
  • Trang hiện tại (dashboard, các insight đang hiển thị, bộ lọc áp dụng, vai trò người dùng)
  • Schema dữ liệu (event khả dụng, thuộc tính event, thuộc tính người dùng)
  • Tài khoản (tier của tổ chức, múi giờ, thời gian lưu trữ)
• Ví dụ mã về cách định dạng ngữ cảnh UI
  • Thông tin dashboard (tên, insight đang hiển thị, bộ lọc áp dụng, khoảng ngày)
  • Thông tin insight (tên, loại truy vấn, event được phân tích, phân loại)
• Việc xử lý “ngữ cảnh” (trạng thái) trong workflow cũng là bắt buộc
  • Cần đảm bảo ngữ cảnh không bị mất khi cuộc hội thoại tiếp diễn, đặc biệt quan trọng khi có nhiều sub-agent
  • Lưu và đưa ngữ cảnh vào mọi phần của workflow
• Tối ưu ngữ cảnh và chọn mô hình hiệu quả và hữu ích hơn việc fine-tune mô hình

5. Dẫn AI đến thành công bằng lập kế hoạch truy vấn và định tuyến có điều kiện

• Nếu để AI hoạt động không giới hạn, nó sẽ có đủ loại hành vi ngoài dự đoán, nên cần hướng dẫn để tăng khả năng thành công
• Hãy triển khai bằng cách orchestrate và nối nhiều bước với nhau: lập kế hoạch truy vấn → truy xuất dữ liệu → trực quan hóa
• Ngoài quản lý trạng thái, còn cần
  • Để AI nhận biết các công cụ và dữ liệu có thể dùng
  • Cho phép AI chọn đúng công cụ và dữ liệu theo tác vụ dự định
  • Đảm bảo các công cụ như thực thi truy vấn và format thực sự hoạt động
• Ví dụ về router cấp cao nhất của PostHog
  • Xác định có cần tạo insight hay không
  • Xác định có cần truy xuất tài liệu hay không
  • Xác định có liên quan đến billing hay không
• Mỗi node router có điều kiện riêng để nối đến đúng dữ liệu và công cụ cần cho tác vụ
  • Điều này giúp đảm bảo AI có đủ thành phần cần thiết để hoàn thành công việc, từ đó tăng khả năng thành công

6. Chuẩn bị cho thất bại bằng giám sát, guardrail và xử lý lỗi

• Cấu trúc bạn xây sẽ giúp ngăn thất bại, nhưng AI rốt cuộc vẫn sẽ chạm guardrail, nên việc cung cấp guardrail là bắt buộc

Giám sát

• Triển khai giám sát ngay từ đầu để biết khi nào vấn đề phát sinh
• Lời khuyên của Georgiy từ đội Max AI
  • Giám sát trace trong production là bắt buộc
  • Họ đã xây công cụ giám sát để dogfood, và ước gì có nó ngay từ đầu
  • Việc theo dõi trace ở quy mô lớn sẽ ngày càng khó hơn, nên đánh giá online sẽ hữu ích (ưu tiên tiếp theo)
  • Rà soát 100 cuộc hội thoại đã khó, còn 1.000 cuộc hội thoại mỗi ngày thì là bất khả thi
  • Những cuộc hội thoại này chính là câu hỏi và khó khăn thực của người dùng, cung cấp toàn bộ insight cần thiết để xây agent

Chống hallucination

• AI sẽ hallucinate bất cứ thứ gì nó có thể hallucinate, nên cần nêu rõ dữ liệu nào phải thiết lập trực tiếp và các quy tắc nào phải tuân theo
• Ví dụ các quy tắc của AI install wizard
  • Tuyệt đối không được hallucinate API key. Thay vào đó, luôn dùng API key đã được điền trong file .env
  • Không được thêm comment placeholder như “// trong app thực tế...”
  • Không được sửa business logic hiện có hoặc thêm mã mô phỏng
  • Không được import package hay thư viện mới nếu chúng chưa được dùng sẵn
  • Không được giả định rằng có sẵn thư viện xác thực (Clerk, Auth.js, v.v.)

Guardrail cho người dùng

• Khi nhìn thấy một ô văn bản trống, con người sẽ sợ hãi và quên sạch mọi thứ
• Cách giải quyết: thêm các gợi ý về cách dùng tính năng AI, dẫn hướng đúng và nhắc lại những việc có thể làm

Xử lý lỗi

• Workflow đôi lúc sẽ bị gián đoạn, nên hãy xử lý một cách mượt mà bằng retry và rate limit
• Với người dùng nâng cao, có thể thiết lập phân tích LLM, theo dõi lỗi và feature flag
  • PostHog cung cấp cả ba (một sự trùng hợp tiện lợi)

Cải thiện tính năng

• Mô hình AI tiến hóa nhanh và khó đoán, vì vậy tính năng AI cần nhiều bảo trì và cải tiến liên tục hơn so với dự kiến

7. Ngăn silo hóa tri thức AI

• Việc xây tính năng AI không nên trở thành trách nhiệm của duy nhất một “người phụ trách AI” trong đội
• AI cần được tích hợp sâu vào sản phẩm, điều đó có nghĩa là cần chuyên môn của những người đang nói chuyện với người dùng và xây thứ gì đó cho họ
• Cách làm được khuyến nghị
  • Xây primitive và làm cho các tính năng AI có thể kết hợp được: để các đội không phải tự phát minh lại prompt, streaming, consent, eval và analytics, nhờ đó có thể tập trung vào các tính năng AI riêng biệt và tạo giá trị gia tăng
  • Duy trì các mẫu UX nhất quán trên toàn ứng dụng: trong trường hợp của PostHog là Max, giúp tránh sự hỗn loạn do hàng nghìn widget AI gây ra
  • Biệt phái tạm thời chuyên gia AI vào các đội: giúp đội xây tính năng AI nhanh hơn và lan tỏa tri thức AI ra toàn tổ chức (đội Max AI đã làm vậy)

8. Tập trung vào tốc độ

• Một trong những thách thức lớn của tính năng AI, đặc biệt là các tính năng phức tạp, là sự chậm chạp
• Workflow thường có thể đồng nghĩa với nhiều lần gọi đến nhà cung cấp LLM, kéo theo rất nhiều độ trễ
• Điều này càng gây khó chịu hơn khi đã có cách khác để hoàn thành công việc trong app hoặc website
• Lời khuyên của Rahul Vohra, nhà sáng lập Superhuman: “tốc độ chiến thắng”
  • Ví dụ: Instant Reply hoặc Auto Summarize
  • Gmail và Outlook cũng có các tính năng tương tự, nhưng phải tạo câu trả lời và tóm tắt khi được yêu cầu, rồi chờ cho đến khi hoàn tất
  • Ở Superhuman, họ tính toán trước để mọi thứ luôn tức thì, và khác biệt tưởng như đơn giản này tạo ra tác động rất lớn đến trải nghiệm người dùng

Cách cải thiện

• Nắm bắt benchmark mô hình và các bản phát hành mô hình mới: khi có mô hình tốt hơn, nhanh hơn xuất hiện, hãy thử nghiệm và sử dụng để có được cải thiện lớn nhất cả về tính năng lẫn tốc độ (dùng phân tích LLM)
• Kết hợp mô hình nhanh và chậm tùy theo tác vụ
  • Dùng mô hình nhanh (gpt-4.1-mini, gpt-4.1-nano) cho tạo tiêu đề, bộ lọc session replay, tóm tắt khảo sát và truy xuất insight
  • Dùng mô hình chậm (gpt-4.1) cho tạo schema, xử lý hội thoại và quản lý ngữ cảnh
• Dùng xử lý bất đồng bộ: các tác vụ AI phức tạp như tóm tắt session và trích xuất pattern được chạy bất đồng bộ qua workflow Temporal để không chặn tương tác người dùng. Sau đó chúng được cache trong Redis để hỗ trợ retry mà không cần tính lại

9. Liên tục giám sát và đánh giá hiệu quả

• Một tính năng mới không nên được đánh giá lỏng lẻo hơn chỉ vì nó là ✨ AI ✨
• Ý tưởng sai có thể làm sản phẩm tệ hơn, và thay đổi ở mô hình có thể âm thầm tác động tiêu cực đến trải nghiệm người dùng

Cách đánh giá hiệu quả

• Thêm eval từ sớm: ngay cả một bộ dữ liệu golden hoặc tổng hợp nhỏ cũng mang lại cải thiện hiệu năng rất lớn so với chu kỳ phát triển thông thường. Việc triển khai ở quy mô cũng dễ hơn dự kiến, đồng thời giúp xây các tính năng sau này nhanh hơn
• A/B test: so sánh tính năng AI với trải nghiệm thông thường, thử các prompt, ngữ cảnh, workflow khác nhau, v.v.
• Kiểm tra tỷ lệ dùng AI ở các nhóm khách hàng khác nhau (ví dụ: người dùng miễn phí vs enterprise, product vs sales)
  • Việc phát hiện product manager và marketer dùng Max thường xuyên hơn product engineer, vốn là hồ sơ khách hàng lý tưởng, đã khiến đội ngũ xem xét lại roadmap
• Cho phép người dùng đánh giá phản hồi AI là tốt/xấu: nếu người dùng đánh giá xấu, hãy yêu cầu thêm chi tiết để dùng vào việc điều chỉnh ngữ cảnh, prompt và workflow
• So sánh mức sử dụng AI và không AI: dùng các chỉ số activation và retention hiện có để hiểu AI nên nằm ở đâu trong sản phẩm và vòng đời người dùng, cũng như liệu nó có tạo tác động tích cực hay không

Kết luận

• 9 bài học này không tồn tại độc lập mà hoạt động cùng nhau
• Sẽ là sai lầm nếu bỏ qua mọi thứ khác và nghĩ rằng tối ưu eval ở cuối quy trình là đủ để xây một sản phẩm tuyệt vời
• Mục tiêu là xây thứ có giá trị với người dùng, không phải một màn demo công nghệ hào nhoáng
• Chỉ vì là AI không có nghĩa là người dùng sẽ thấy có giá trị
• Mọi bài học về xây dựng sản phẩm tốt vẫn còn nguyên giá trị
  • Trò chuyện với người dùng
  • Ra mắt nhanh
  • Chạy thử nghiệm
  • Lặp lại