Cách tìm ra những cơ hội tăng trưởng ẩn trong sản phẩm

• Tóm tắt kịch bản của một video YouTube, trong đó Albert Cheng, người từng thúc đẩy tăng trưởng cho các sản phẩm thuê bao hàng đầu thế giới như Duolingo và Grammarly, chia sẻ cách kết nối người dùng với giá trị của sản phẩm
  • Nhấn mạnh rằng tăng trưởng không đơn thuần là “hack” chỉ số mà là quá trình truyền tải giá trị lấy người dùng làm trung tâm
• Đề xuất chiến lược dùng khung Explore và Exploit để mở rộng insight thu được từ thử nghiệm ra toàn bộ sản phẩm, từ đó khuếch đại một thử nghiệm thành công lên hơn 10 lần
• Tại Grammarly, bằng cách cho người dùng miễn phí dùng thử một phần tính năng trả phí để cho thấy giá trị thực sự của sản phẩm, họ đã đạt được mức tăng gấp đôi tỷ lệ nâng cấp
• Tại Chess.com, sau thất bại, họ chuyển từ việc chỉ ra sai lầm sang hiển thị những nước đi hay như một dạng phản hồi tích cực, qua đó cải thiện mạnh mẽ: game review tăng 25%, đăng ký tăng 20%, và tỷ lệ giữ chân cũng tăng đáng kể
• Hàm ý rằng chìa khóa thành công của sản phẩm thuê bao cho người tiêu dùng là tỷ lệ giữ chân người dùng cao (D1 từ 30–40% trở lên), đồng thời tăng trưởng tự nhiên nhờ truyền miệng và việc truyền tải giá trị rộng rãi qua sản phẩm miễn phí là điều thiết yếu

---

Giới thiệu và bối cảnh của Albert Cheng

• Là một trong những chuyên gia tăng trưởng tiêu dùng hàng đầu thế giới, từng dẫn dắt tăng trưởng và kiếm tiền tại Duolingo, Grammarly và Chess.com
• Thời kỳ đầu, anh phát triển các tính năng streaming và game trên YouTube, nơi có hơn 20 triệu người dùng
• Cách tiếp cận tăng trưởng độc đáo của anh kết hợp marketing, dữ liệu, chiến lược và quản lý sản phẩm

Từ nghệ sĩ piano đến người dẫn dắt tăng trưởng

• Lớn lên trong gia đình cha mẹ là người nhập cư từ Đài Loan, mỗi ngày luyện piano cổ điển 90 phút
• Có perfect pitch nên có thể nhận ra nốt nhạc ngay lập tức và học nhạc rất nhanh
• Từng cân nhắc theo học trường âm nhạc nhưng sau đó chuyển hướng sang kỹ thuật
• Điểm chung giữa piano và tăng trưởng
  • Học qua lặp lại liên tục và sai lầm: phát triển vòng phản hồi nhanh và khả năng phục hồi
  • Sáng tạo trên nền tảng có cấu trúc: tạo ra giải pháp sáng tạo dựa trên cấu trúc của mô hình tăng trưởng và chỉ số, tương tự như sáng tác âm nhạc đẹp dựa trên lý thuyết âm nhạc

Khung Explore và Exploit

• Là khái niệm bắt nguồn từ lớp học Reforge của Brian Balfour, và anh biết đến qua Nurmal, đối tác kỹ thuật tại Grammarly
• Explore: quá trình tìm đúng ngọn núi để leo
• Exploit: tập trung nguồn lực để leo ngọn núi đó một cách hiệu quả
• Phần lớn công ty thường lệch về một trong hai cực
  • Explore quá mức: đội ngũ bị phân tán và thử ngẫu nhiên 100 ý tưởng mà không có chiến lược
  • Exploit quá mức: dẫn đến bão hòa và trì trệ, chỉ tối ưu cục bộ
• Các nhóm tăng trưởng thường dễ rơi vào chế độ exploit

• Ứng dụng ở cấp độ vi mô: trường hợp của Chess.com

  • Dylan, PM của tính năng học tập tại Chess.com, phụ trách cải thiện mức độ tương tác với game review
  • Game review: tính năng mà sau khi ván đấu kết thúc, một huấn luyện viên ảo sẽ chỉ ra nước đi tệ nhất và nước đi tốt nhất
  • Phát hiện thông qua theo dõi dữ liệu
    • 80% người dùng dùng game review chỉ sau khi thắng
    • Ban đầu đội ngũ nghĩ rằng họ sẽ dùng nó để phân tích thất bại hay sai lầm, nhưng tâm lý con người lại khác
  • Thay đổi trải nghiệm sản phẩm
    • Thay vì cho thấy lỗi sau khi thua, họ hiển thị các nước đi hay và nước đi tốt nhất
    • Huấn luyện viên đưa ra lời động viên: "Thất bại là một phần của học tập"
  • Kết quả
    • Game review tăng 25%
    • Đăng ký tăng 20%
    • Tỷ lệ giữ chân người dùng tăng mạnh
  • Giai đoạn exploit: chia sẻ insight ra toàn công ty
    • PM của mảng puzzle đã áp dụng mô-típ tích cực này vào sản phẩm của mình
    • Hiển thị tỷ lệ thành công, điều chỉnh copy, đổi màu nút bấm, v.v.
    • Có thể mở rộng một thử nghiệm thành công lên 10 lần

• Tỷ lệ thành công của thử nghiệm và cải tiến liên tục

  • Tỷ lệ thắng của thử nghiệm thông thường là 30–50%
  • Sản phẩm tiêu dùng rất khó đoán và nhiều giả thuyết sẽ sai
  • Cả thử nghiệm thành công lớn lẫn thất bại lớn đều rất có giá trị
    • Cần chia sẻ insight ra toàn công ty
    • PM ban đầu không nhất thiết phải tự tìm mọi cách áp dụng
    • Chỉ cần diễn đạt rõ giả thuyết và phát hiện thì các nhóm khác có thể tự nảy ra ý tưởng
  • Để nâng cao tỷ lệ thành công và tác động, các thành viên trong nhóm tập trung quanh những insight đó

• Cách xác định thời điểm chuyển giữa explore và exploit

  • Chess.com thực hiện khoảng 250 thử nghiệm mỗi năm
  • Đầu tư vào Experiment Explorer Tools
    • Có cái nhìn tổng thể về các thử nghiệm đang diễn ra
    • Nhận diện mô thức giữa giả thuyết và bài học thu được
  • Khi số lượng thử nghiệm không đạt ý nghĩa thống kê tăng lên, đó là dấu hiệu exploit quá mức
    • Có thể không còn gì để khai thác thêm
    • Khuyến khích đội ngũ quay lại brainstorming và tư duy phân kỳ

Tăng tốc tăng trưởng bằng AI

• Tính năng text-to-SQL

  • Được dùng trong kênh Slack chuyên nhận yêu cầu dữ liệu tại Chess.com
    • Trước đây: data analyst phải trả lời thủ công các câu hỏi ad-hoc như số thuê bao ở Nam Phi hay thời gian chơi puzzle tháng trước
    • Hiện tại: bot Slack tự động chạy truy vấn và cung cấp phân tích
  • Hiệu quả
    • Huấn luyện bot Slack trở thành người trả lời đầu tiên
    • Cả công ty ra quyết định dựa trên dữ liệu nhiều hơn
    • Số lượng câu hỏi tăng bùng nổ
      • Ngay cả những câu hỏi trước đây ngại hỏi cũng có thể hỏi thoải mái
      • Tương tự hiệu ứng của ChatGPT: có một đối tác trò chuyện thoải mái tạo ra khác biệt rất lớn

• Công cụ tạo prototype bằng AI

  • Rút ngắn quá trình từ ý tưởng đến giải pháp đại diện
  • Trước đây: phải qua nhiều bước có con người tham gia (viết ý tưởng → spec → review → design, v.v.)
  • Cách tiếp cận của Chess.com
    • Xây dựng prototype AI cho các màn hình chính như onboarding flow, màn hình chính và bàn cờ
    • Sử dụng các công cụ như v0, Lovable
    • Chia sẻ trong toàn công ty để làm điểm khởi đầu
    • Có thể nhanh chóng trực quan hóa ý tưởng để thảo luận và thử nghiệm

• AI stack

  • PM: Vzero
  • Designer: Figma Make
  • Engineer: Cursor, Claude Code, GitHub Copilot
  • Marketing: công cụ dịch thuật, phụ đề và thích ứng nội dung
  • Hỗ trợ khách hàng: Intercom Fin
  • Thách thức: vẫn chưa giải được việc chuyển mượt từ tinkering sang workflow
    • Mỗi bộ phận lại có công cụ ưa thích khác nhau
    • Thiếu khả năng tương tác giữa các công cụ
    • Để triển khai production vẫn cần handoff giữa các bộ phận
    • Đang cải thiện bằng cách đầu tư vào design system component và MCP

Trường hợp thành công lớn nhất về kiếm tiền của Grammarly

• Bối cảnh và nhận diện vấn đề

  • Grammarly là trợ lý viết dựa trên AI, được cung cấp dưới dạng tiện ích mở rộng Chrome hoặc ứng dụng desktop
  • Mô hình kinh doanh freemium: hơn 90% là người dùng miễn phí, phần còn lại là thuê bao trả phí
  • Nhóm của Kyla, PM chuyển đổi thuê bao, phụ trách cải thiện hành trình chuyển từ miễn phí sang trả phí
  • Phát hiện vấn đề ban đầu
    • Việc theo dõi loại gợi ý người dùng nhận được và tần suất paywall xuất hiện chưa đầy đủ
    • Cần xây dựng instrumentation trước

• Insight cốt lõi

  • Chỉ một phần rất nhỏ người dùng miễn phí chấp nhận mọi gợi ý
    • Phần lớn chỉ chấp nhận có chọn lọc
  • Trải nghiệm thực tế của người dùng miễn phí là: Grammarly chỉ là công cụ sửa chính tả và ngữ pháp
    • Vì các gợi ý miễn phí chủ yếu xoay quanh tính chính xác (Correctness)
  • Tính năng trả phí gồm: cải thiện giọng điệu theo hướng đồng cảm hơn, tăng độ rõ ràng, viết lại cả câu, v.v.

• Giải pháp: lấy mẫu gợi ý trả phí

  • Lấy mẫu nhiều dạng gợi ý trả phí và phân bổ chúng xuyên suốt bài viết của người dùng miễn phí
  • Cho phép nếm thử có giới hạn các tính năng trả phí
  • Mối lo ngại: nếu cho quá nhiều, ý định đăng ký có thể giảm
  • Kết quả: hoàn toàn ngược lại
    • Người dùng nhận ra Grammarly là một công cụ mạnh mẽ hơn rất nhiều
    • Tỷ lệ nâng cấp gần như tăng gấp đôi

• Bài học về kiếm tiền

  • Với sản phẩm freemium, sản phẩm miễn phí phải phản ánh được toàn bộ tính năng
  • Một số tính năng trả phí có tốn chi phí, nhưng nếu cố gắng hết sức để cho người dùng thấy chúng, điều đó tự thân đã xứng đáng
  • Khái niệm reverse trial thay vì dùng thử miễn phí theo thời gian
    • Cung cấp các cải thiện ngay trong lúc viết theo thời gian thực
    • Mỗi ngày chỉ cung cấp một lượng nhất định rồi làm mới
  • Điều chỉnh mô thức phổ biến trong ngành cho phù hợp với trường hợp sử dụng cụ thể của Grammarly

Freemium vs. mô hình dùng thử

• Lý do chọn mô hình thuê bao freemium

  • Định hướng sứ mệnh: mục tiêu của nhà sáng lập là phổ cập sản phẩm đến càng nhiều người càng tốt
    • Duolingo (giáo dục), Grammarly (viết), Chess.com (cờ vua) đều có đề xuất giá trị rộng và mang tính toàn cầu
    • Rào cản gia nhập thấp nhất là sản phẩm miễn phí
  • Tăng trưởng truyền miệng: sản phẩm chủ yếu tăng trưởng nhờ truyền miệng
    • Có thể xây dựng hiệu ứng mạng lưới: tính năng xã hội của Duolingo
    • Nước đi B2C2B của Grammarly: người dùng miễn phí thúc đẩy team hoặc đồng nghiệp mua
  • Cung cấp vĩnh viễn đề xuất giá trị cốt lõi miễn phí và cho dùng thử các tính năng premium

• Dùng thử (Trial) vs. dùng thử ngược (Reverse Trial)

  • Dùng thử ngược: mạnh trong các tính năng B2B, đặc biệt khi có lock-in
    • Bắt đầu mà không cần thông tin thẻ tín dụng
    • Đầu tư nhiều thời gian vào việc sử dụng CRM hoặc xây dựng nội dung
    • Khi hết thời gian dùng thử, khả năng tiếp tục duy trì và trả phí cao
  • Dùng thử miễn phí thông thường: phổ biến hơn ở các sản phẩm tiêu dùng
    • Sản phẩm tiêu dùng khó để mô hình dùng thử ngược hoạt động

Cốt lõi để sản phẩm thuê bao tiêu dùng thành công

• Tầm quan trọng của tỷ lệ giữ chân người dùng

  • Tỷ lệ giữ chân người dùng là vàng của các công ty thuê bao tiêu dùng
  • Nếu tỷ lệ giữ chân thấp thì mọi gánh nặng dồn vào lần thanh toán đầu tiên
    • Phải trả chi phí thu hút người dùng
    • Cần upsell mạnh trước khi hình thành thói quen sử dụng
  • Nhiều app dùng cách này nhưng khó vượt qua giai đoạn ban đầu

• Sự khác biệt trong con đường tăng trưởng

  • Duolingo và Chess.com: doanh nghiệp dựa trên truyền miệng tự nhiên
    • Tăng trưởng bằng cách mở rộng thị trường
    • Trái ngược với cuộc chiến giành thị phần trong không gian cạnh tranh khốc liệt
  • Ở thị trường cạnh tranh, các bên tranh nhau thu hút người dùng bằng giá thầu cao

• Mục tiêu giữ chân

  • Tỷ lệ giữ chân người dùng mới (D1, D7, v.v.)
    • Tỷ lệ giữ chân D1 30~40%: khá vững đối với một app tiêu dùng
    • Nếu thấp hơn nhiều thì phải đặt câu hỏi về ý định của người dùng hoặc khả năng thu hút dựa trên DAU
  • Khó đạt được vì thị trường có nhiều lựa chọn và tồn tại tình trạng mệt mỏi với app
  • Tỷ lệ giữ chân người dùng hiện tại (CURR): quan trọng hơn nhiều
    • Là chỉ số quan trọng nhất với sản phẩm có tần suất sử dụng hằng ngày
    • Độ bám dính của tập người dùng hiện có đã hình thành thói quen
    • Theo thời gian, xây dựng thói quen hằng ngày bằng hiệu ứng lãi kép
    • Khi công ty trưởng thành, phần lớn năng lượng tập trung vào cơ chế giữ chân người dùng hiện tại

• Ngoại lệ của Grammarly

  • Sau khi cài đặt, Grammarly không được chủ động mở mỗi ngày
  • Kích hoạt, cài đặt và khoảnh khắc aha cực kỳ quan trọng
    • Chỉ một lần cài đặt có thể giữ người dùng trong thời gian rất dài
  • Vì tự động hoạt động khi gõ nên thống kê DAU không chính xác

Tầm quan trọng của người dùng được hồi sinh (Resurrected)

• Các thành phần của DAU/WAU

  • Với công ty đã trưởng thành như Chess.com, khoảng 80% người dùng hoạt động hằng ngày/hằng tuần là người dùng hiện tại hoặc cũ
  • Phần còn lại là người dùng mới và người dùng tái kích hoạt (hồi sinh) với quy mô tương tự nhau
  • Khi công ty đã trưởng thành, người ta thường chú ý nhiều đến người dùng mới nhưng thực tế tỷ trọng người dùng mới không lớn

• Tích lũy người dùng không hoạt động và người dùng rải rác

  • Theo thời gian sẽ tích lũy rất nhiều người dùng không hoạt động
  • Người dùng rải rác: không dùng mỗi ngày nhưng dùng 1~2 lần/tuần hoặc 1~2 lần/tháng
  • Cuối cùng tích lũy thành hàng trăm triệu người dùng ngủ đông
  • Đáng để đầu tư vào trải nghiệm hồi sinh
    • Tìm cách mới để đưa họ quay lại

• Chiến lược hồi sinh của Duolingo

  • Tận dụng thông báo xã hội
    • Khi dùng đồng bộ danh bạ, sẽ nhận push báo rằng bạn thân đã bắt đầu dùng Duolingo
    • Thúc đẩy quay lại sản phẩm
  • Cơ chế xếp lại trình độ (Replacement)
    • Đã học tiếng Pháp 3 năm trước nhưng giờ quên gần hết
    • Khi mở lại app, hệ thống khuyến nghị bài kiểm tra xếp trình độ lại để đặt vào mức phù hợp
  • Với các công ty trưởng thành, những cơ chế như vậy mang lại ROI khá cao

Sự khác biệt giữa Duolingo, Grammarly và Chess.com

• Duolingo: cỗ máy thử nghiệm có hệ thống

  • Cách tiếp cận phát triển sản phẩm rất cụ thể và nhất quán
  • Viết và công khai playbook Green Machine
  • Tinh thần công ty
    • Tuyển nhiều nhân tài thông minh và tràn đầy năng lượng ngay sau khi tốt nghiệp đại học
    • Cung cấp công cụ thử nghiệm đáng kinh ngạc
    • Coi trọng clock speed của công ty
    • Rất nhiều sáng tạo và ý tưởng
  • Trải nghiệm sản phẩm thay đổi nhiều lần mỗi ngày với từng người dùng
    • Mức độ này thật sự gây sốc
  • Ở từng giai đoạn của chu kỳ phát triển sản phẩm đều có spec và quy trình
    • Vận hành rất nghiêm ngặt và nhất quán
    • Review sản phẩm diễn ra nhanh, chỉ khoảng 10~15 phút

• Grammarly: tiến hóa từ B2C sang B2B

  • Ban đầu bắt đầu là sản phẩm trả phí cho sinh viên
  • Dần mở rộng thành mô hình premium cho mọi người, rồi chuyển trọng tâm sang giới chuyên môn
  • Các bộ phận cụ thể của một công ty cụ thể như marketing, sales, hỗ trợ khách hàng đã áp dụng Grammarly ở quy mô lớn
  • Bổ sung managed enterprise motion
  • Vai trò của Albert: tập trung vào motion self-serve cho người tiêu dùng nhưng không tách rời mà liên kết với nhau
    • Tăng doanh thu self-serve và người dùng hoạt động
    • Product-Led Sales: phát hiện team/chức năng/công ty phù hợp để tạo nhu cầu và chuyển cho sales
  • Tiến hóa nhanh cùng làn sóng chuyển đổi sang AI tạo sinh
    • Gần đây, với việc mua lại Coda và Superhuman, công ty đang chuyển thành bộ productivity suite
  • Khác với Duolingo, cần nhiều quyết định mang tính chiến lược hơn
  • Đội sản phẩm cốt lõi dẫn dắt các hoạt động lặp lại nhiều nhất
    • Tần suất và chất lượng đề xuất là yếu tố tác động mạnh nhất đến tỷ lệ giữ chân người dùng hiện tại
    • Albert đã lập growth team nhưng rồi nhận ra thực tế đội sản phẩm cốt lõi mới phải dẫn dắt
    • Sau khi trao đổi với leader sản phẩm cốt lõi thì chuyển giao trách nhiệm

• Chess.com: niềm đam mê cuồng nhiệt với cờ vua

  • Nhân viên đam mê cờ vua đến mức cuồng nhiệt
  • Tuyển dụng remote trên toàn thế giới, chỉ tuyển những người yêu cờ vua
  • Chơi cờ và xem stream cả ngày
  • Slack luôn bùng nổ với các thế cờ và ván cờ
  • Trường hợp của Duolingo
    • Là sản phẩm học ngôn ngữ nhưng tinh thần cốt lõi ban đầu là động lực
    • Điều khó nhất là hình thành thói quen
    • Học ngôn ngữ chỉ là phương tiện đầu tiên, còn động lực và thói quen mới là siêu năng lực
  • Trường hợp của Grammarly
    • Được biết đến với sửa chính tả và ngữ pháp, nhưng điểm độc đáo thực sự là được tích hợp trên vô số ứng dụng
    • Giờ đây là một siêu xa lộ AI, có thể cung cấp nhiều hơn việc viết ngữ pháp
  • Chess.com 100% xoay quanh cờ vua
    • Thấm vào tinh thần công ty và mọi người đều đầy nhiệt huyết
    • Luôn dogfooding sản phẩm
    • Luôn dùng sản phẩm và đưa ra ý tưởng với nguồn năng lượng đáng kinh ngạc

AI đang thay đổi Chess.com như thế nào

• Mối quan hệ lâu đời giữa cờ vua và AI

  • Cờ vua và AI đã gắn bó với nhau gần một thế kỷ
  • Những người tiên phong của ngành điện toán thời kỳ đầu đã chọn cờ vua để kiểm tra trí thông minh của máy móc
  • Deep Blue của IBM năm 1997 đã đánh bại nhà vô địch thế giới Garry Kasparov
    • Đó là khoảnh khắc gây sốc và khiến mọi người suy ngẫm về việc liệu AI có thay thế con người hay không
    • Dù là chuyện của 30 năm trước, tất cả chúng ta vẫn đang ở đây và số người chơi cờ vua hiện đang ở mức cao nhất từ trước đến nay

• Năng lực của các công cụ cờ vua hiện nay

  • Các engine như Stockfish vượt trội một cách áp đảo so với những đại kiện tướng hàng đầu thế giới
  • So sánh theo hệ thống xếp hạng ELO
    • Người chơi cờ vua trung bình: 1.000~1.500
    • Đại kiện tướng hàng đầu (Magnus Carlsen): khoảng 2.800
    • Stockfish và các engine tương tự: khoảng 3.600
  • Engine cờ vua ngay cả khi chơi mà không có quân chủ lực như xe vẫn có thể cạnh tranh với các kỳ thủ hàng đầu
  • Nhờ sức mạnh tính toán với hàng chục triệu phép tính mỗi giây, con người không thể cạnh tranh
  • Khi xem engine cờ vua thi đấu, người ta mở ra một cảm nhận mới về sự sáng tạo, chiến lược, các biến thể và chính ván cờ

• Cách Chess.com tiếp cận việc ứng dụng AI

  • Mang công nghệ này đến cho mọi người dùng, bao gồm cả những người mới chỉ lần đầu di chuyển quân cờ
  • Sản phẩm đánh giá ván đấu: chạy engine cờ vua ở phía sau để tạo đánh giá cho mọi nước đi
  • Truyền tải cho người dùng theo cách đã được biên dịch và dễ tiếp cận
    • Sử dụng ngôn ngữ mẹ đẻ của người dùng
    • Cũng được cung cấp dưới dạng âm thanh
  • Ứng dụng LLM: phần truyền tải cá tính và giọng điệu đến người dùng
  • Nguyên tắc cốt lõi: khách hàng là ưu tiên số một
    • Không áp dụng LLM chỉ vì đó là xu hướng
    • Áp dụng đúng công nghệ vào đúng tính năng để mang lại giá trị cho người dùng
    • Không bị cuốn theo sự cường điệu

• Khả năng chơi cờ của LLM

  • Điều đáng ngạc nhiên là bản thân LLM chơi cờ rất kém
  • Chúng bị ảo giác (Hallucination), nhận diện mẫu nước đi khá tốt nhưng không thể phân tích cờ vua ở độ sâu lớn
  • Nếu dùng ChatGPT để tạo hình ảnh bàn cờ, số ô có thể sai hoặc bố cục không phù hợp
  • Khả năng suy luận được kỳ vọng sẽ tiếp tục cải thiện
  • Gần đây Google đã tài trợ một giải đấu nơi tất cả các LLM hàng đầu thi đấu với nhau
    • Chúng đang được cải thiện, nhưng trong cờ vua, các engine tính toán sâu được huấn luyện chuyên biệt vẫn mạnh hơn LLM rất nhiều

• AlphaZero và AlphaGo

  • Bộ phim tài liệu AlphaGo thể hiện nội dung kỹ thuật chuyên sâu theo cách giàu cảm xúc và rất con người
  • Cách AlphaZero được huấn luyện: tự chơi với chính mình qua vô số ván đấu
    • Mỗi lần đều trở nên thông minh hơn thông qua mạng nơ-ron
    • Sau hàng tỷ đến hàng nghìn tỷ lần lặp lại, nó trở nên cực kỳ thành thạo

AI đang thay đổi vai trò tăng trưởng như thế nào

• Định nghĩa về tăng trưởng

  • Vai trò của tăng trưởng: kết nối người dùng với giá trị của sản phẩm
  • Xây dựng đội ngũ theo từng yếu tố khi xem xét hành trình người dùng
    • Mỗi đội có mục tiêu chỉ số và lộ trình riêng
    • Thực thi dựa trên mục tiêu
  • AI có thể tăng tốc một số yếu tố trong chu kỳ thử nghiệm

• Ứng dụng AI trong Product Discovery

  • Sản phẩm cốt lõi cần khung thời gian dài hơn và nghiên cứu người dùng/thị trường kỹ lưỡng hơn
  • Tăng trưởng là việc chạy rất nhiều thử nghiệm, trong đó đầu ra của mỗi thử nghiệm trở thành đầu vào cho ý tưởng tiếp theo
  • Cách làm trước đây: viết tài liệu phân tích thủ công
    • Đọc và rút ra insight
    • Chuyển các ý tưởng thành những bản đặc tả khác
  • Ứng dụng AI
    • Dùng các công cụ như ChatGPT để tóm tắt phân tích của người khác
    • Đưa ra lời khuyên về những ý tưởng nên thử
    • Chu kỳ lên ý tưởng và nghiên cứu nhanh hơn rất nhiều
  • Việc tạo prototype cũng được rút ngắn đáng kể
    • Vẫn chưa đến mức PM tự triển khai code trực tiếp lên production
    • Nhưng đặc biệt rút ngắn mạnh thời gian hình dung các ý tưởng táo bạo

• Tác động đến khám phá và khai thác

  • Trước đây: khám phá (Explore) khó hơn nhiều
  • Hiện nay: khám phá trở nên dễ hơn rất nhiều
    • Có thể trực quan hóa các khái niệm ở phạm vi rộng
    • Khi đã trực quan hóa, cả nhóm có thể thảo luận xung quanh đó và trực tiếp bấm thử
    • Tạo ra khác biệt mang tính thay đổi cuộc chơi

Mẹo để mở rộng quy mô thử nghiệm

• Mẹo đầu tiên: cứ bắt đầu trước đã

  • Theo báo cáo hiện trạng sản phẩm của Atlassian: 40% đội ngũ sản phẩm hoàn toàn không chạy thử nghiệm
  • Điều này có thể hiểu được nếu do lý do triết lý hoặc định hướng B2B
  • Nhưng nếu là một sản phẩm tiêu dùng có đủ quy mô và tần suất
    • Có thể thu thập đủ dữ liệu
    • Dù có nhiều kinh nghiệm đến đâu, bạn vẫn thường xuyên sai
    • Hành vi người tiêu dùng rất thất thường
    • Khi làm việc trong công ty, bạn tự nhiên sẽ trở thành power user và quên mất trải nghiệm của người dùng mới
  • Khuyến nghị là hãy bước những bước đầu tiên
    • Chạy thử nghiệm AB
    • Tìm công cụ của bên thứ ba để tích hợp nhanh
    • Hợp tác với kỹ sư để xây dựng một thứ gì đó
    • Thực hành crawl-walk-run

• Công cụ ưa dùng

  • Tại Grammarly, họ dùng StatSig (gần đây đã được mua lại)
  • Duolingo và Chess.com đều có công cụ thử nghiệm in-house
  • Mỗi lựa chọn đều có ưu và nhược điểm
    • Duolingo là một cỗ máy thử nghiệm, nên công cụ tùy biến là chất xúc tác lớn
  • Nhìn chung, không khuyến khích xây dựng in-house ngay từ đầu
    • Ở một quy mô nhất định thì điều đó có thể hợp lý
    • Các công ty này được thành lập từ 15 năm trước, khi đó chưa có sẵn công cụ

• Mẹo thứ hai: hệ thống quan trọng không kém từng thử nghiệm riêng lẻ

  • Hệ thống quan trọng ngang với từng thử nghiệm riêng lẻ, thậm chí có lẽ còn quan trọng hơn
  • Bắt đầu từ mô hình tăng trưởng
    • Hiểu công ty tăng trưởng như thế nào
    • Xác định sẽ tận dụng những kênh nào
  • Instrumentation của sản phẩm là điều thiết yếu
    • Nếu không, kết quả thử nghiệm sẽ cho ra những điều kỳ lạ
  • Trường hợp thực tế: tại một công ty, họ đang dùng công cụ thử nghiệm in-house
    • Sau 3 tháng, họ phát hiện tỷ lệ giữ chân người dùng đã bị cấu hình ngược
    • Mọi kết quả tích cực thực ra đều là kết quả tiêu cực
    • Đó là một tình huống rất bối rối và sẽ không bao giờ để lặp lại nữa

• Mẹo thứ ba: chia sẻ và lan tỏa insight

  • Khi phát hiện một thử nghiệm thành công lớn hoặc thất bại lớn
    • Hãy chia sẻ rõ ràng với toàn công ty
    • Diễn đạt rõ giả thuyết và phát hiện
    • Không nhất thiết PM ban đầu phải tự tìm ra mọi cách áp dụng
  • Với vai trò lãnh đạo tăng trưởng, hãy khuyến khích những người khác cùng tập trung (Swarm) vào ý tưởng đó
    • Tăng tỷ lệ thành công
    • Gia tăng tác động

Mục tiêu 1.000 thử nghiệm mỗi năm

• Hành trình thử nghiệm của Chess.com

  • Trước năm 2023: gần như không thử nghiệm
  • Năm ngoái: khoảng 50 thử nghiệm
  • Năm nay: đang triển khai khoảng 250 thử nghiệm
  • Mục tiêu năm sau: 1.000 thử nghiệm

• Ý nghĩa thực sự của mục tiêu

  • Đây là mục tiêu do Albert đặt ra, nhưng bản thân con số không phải mục đích cuối cùng
  • Giá trị thực sự của việc đặt mục tiêu là: khơi ra cuộc đối thoại về những điều gì cần phải đúng
  • Những insight để đạt mục tiêu
    • Không chỉ PM hay đội kỹ thuật mới làm thử nghiệm
    • Lifecycle marketing: thử nghiệm thay đổi nội dung push notification và email
    • App Store: thử nghiệm ảnh chụp màn hình, từ khóa, v.v.
    • Đội content marketing và các bộ phận khác
    • Kích hoạt No-Code trên một số màn hình nhất định mà không cần hỗ trợ từ kỹ thuật
      • Có rất nhiều thử nghiệm có thể cấu hình trên màn hình chính hoặc màn hình giá
    • Theo dõi tiến độ và đảm bảo observability
  • Quan trọng hơn việc thực sự đạt con số 1.000 là đạt được những điều này
  • Nếu gần đạt mốc đó và hoàn thành được các điều trên thì cũng đã là trạng thái rất tốt

Cách chuyển đổi văn hóa

• Sự thay đổi văn hóa đầy ấn tượng của Chess.com

  • Từ 0 thí nghiệm lên 1.000 thí nghiệm sau 2 năm (khoảng 3 thí nghiệm mỗi ngày)
  • Nhiều đội ngũ tiến hành thí nghiệm song song

• Các yếu tố giúp chuyển đổi văn hóa thành công

  • Sự ủng hộ từ ban lãnh đạo

    • CEO và hai đồng sáng lập Eric và Danny có công rất lớn
    • Thử nghiệm vốn không phải cách tư duy trực giác của họ
    • Nhưng họ đã bổ sung nó như một công cụ bằng sự linh hoạt trong tư duy và khích lệ
    • Ở tuyến đầu, họ truyền bá tăng trưởng do sản phẩm dẫn dắt và thử nghiệm
    • Điều rất quan trọng là không đối đầu với nhà sáng lập và cách tiếp cận hiện có

  • Chia sẻ các trường hợp thành công thực tế

    • Cần cho thấy thứ thực sự hiệu quả, như các ví dụ về review ván đấu và tính tích cực
    • Cần có chiến thắng (Win): ăn mừng và khiến mọi người thấy tích cực về việc học hỏi
    • Khi được áp dụng rộng khắp, ai cũng được tiếp thêm năng lượng
    • Chỉ số dịch chuyển và có thể học nhanh hơn, triển khai nhanh hơn
    • Không thể chỉ đặt mục tiêu từ trên xuống
    • Mọi người cần nhìn thấy cái gì đang hiệu quả

  • Các thí nghiệm ban đầu

    • Trước khi Albert gia nhập, đã có một số thí nghiệm được tiến hành
    • Mọi thứ đã bắt đầu đi vào quỹ đạo

Những bài học thử nghiệm bổ sung

• Câu chuyện thành công của Duolingo

  • Streak và sự đắm chìm

    • Jackson đã bàn về điều này trong podcast
    • Hiệu quả học tập thông qua sự đắm chìm và hiển thị streak trên lịch
    • So với việc đạt cột mốc lớn, bắt đầu mới là điều quan trọng

  • Đội ngũ Virality

    • Virality là một khái niệm rất mơ hồ và rất khó tạo ra trong sản phẩm
    • Duolingo là sản phẩm được chia sẻ khá nhiều
    • Đầu tư vào theo dõi screenshot
      • Tìm các điểm nóng nơi người dùng chụp screenshot trong app
      • Đây cũng là cách có thể thấy ở các app khác
      • Chỉ triển khai trong một khoảng thời gian nhất định
    • Các điểm nóng chia sẻ được phát hiện
      • Cột mốc streak: điểm chia sẻ quá rõ ràng
      • Các challenge rất thú vị: tỷ lệ chia sẻ rất cao
      • Vào top 3 leaderboard không phải thứ để chia sẻ
    • Bố trí illustrator và animator cho những khoảnh khắc này
    • Tạo ra trải nghiệm rất vui
    • Kết quả: hoạt động tốt đến mức đáng ngạc nhiên
    • Bài học: đừng ép chia sẻ trái với trực giác con người
      • Hãy tìm ra những khoảnh khắc mà người dùng đã tự nhiên chụp screenshot
      • Làm cho những khoảnh khắc đó tốt hơn rất rất nhiều
      • Khuếch đại lên 5 lần hoặc 10 lần để thúc đẩy tăng trưởng lớn

Ba trụ cột của gamification

• Mô hình gamification của Jorge

  • Các pattern gamification về bản chất gồm ba trụ cột

  • 1. Core Loop

    • Duolingo: tiến trình bài học
      • Hoàn thành bài học → nhận thưởng → kéo dài streak
      • Push notification vào ngày hôm sau
    • Điều quan trọng là làm cho core loop thật chặt chẽ
      • Cần một thói quen để mọi người bám theo

  • 2. Metagame

    • Duolingo: Path, leaderboard, thành tựu
    • Những thứ để theo đuổi trong dài hạn
    • Cung cấp động lực dài hạn để tiếp tục hoạt động

  • 3. Profile

    • Xây dựng profile theo thời gian
    • Phản ánh mức đầu tư trong trải nghiệm sản phẩm
    • Nếu hoàn thiện được cả ba, khả năng thành công của hành trình học tập dài hạn sẽ cao hơn

• Thách thức với người dùng mới của Chess.com

  • Hơn 75% người dùng mới được phân loại là hoàn toàn mới hoặc trình độ sơ cấp
  • Người mới bắt đầu không thấy vui khi chơi ván live
    • Dữ liệu: tỷ lệ thắng ở ván đầu tiên dưới 1/3
    • Khi thua ván, tỷ lệ giữ chân người dùng xấu đi 10%
    • Ở quy mô lớn, điều này rất tệ
  • Với game mobile thông thường: tạo ra phiên bản được đơn giản hóa mạnh
    • Nhưng với cờ vua thì khó hơn nhiều (không thể đổi luật)

• Tầm quan trọng của giai đoạn đầu khi học

  • Dù là học ngôn ngữ hay học cờ vua, những bước đầu đều đầy sự nghi ngờ bản thân
  • Đó là trải nghiệm củng cố cảm giác rằng mình không làm được
  • Rất đáng để chủ đích thiết kế một trải nghiệm dẫn người dùng vượt qua giai đoạn đó

• Giải pháp của Chess.com

  • Nếu ai đó là người hoàn toàn mới, họ sẽ được cung cấp trải nghiệm học chơi thú vị hơn
    • Không bị ném ngay vào ván live
  • Ẩn rating trong 5 ván đầu tiên
    • Để họ không phải nhìn rating tụt mạnh
  • Nhiều lộ trình khác nhau như chơi với coach, chơi với bạn bè, chơi với bot
  • Gợi ý theo thời gian thực: khi chơi với người thật, hệ thống hướng dẫn nên đi quân ở đâu
    • Giúp họ giành chiến thắng

Bài học phản trực giác về xây dựng đội ngũ

• Cách tuyển dụng truyền thống

  • Viết JD (bản mô tả công việc)
    • Liệt kê các đặc điểm khác nhau đang tìm kiếm
  • Lập danh sách rút gọn các công ty tương tự với công ty mình
  • Cố gắng tuyển người từ đó
  • Đây là lộ trình mặc định điển hình của ngành

• Khám phá của Albert: High Agency

  • Nhận ra điều này từ trải nghiệm ở nhiều startup nhỏ và tại Duolingo
  • Đặc điểm của những người có hiệu suất cao nhất
    • Agency rất cao
    • Clock Speed: suy nghĩ và hành động nhanh
    • Năng lượng
    • Có quan tâm tới sứ mệnh, nhưng không nhất thiết phải có kinh nghiệm chuyên sâu
  • Kinh nghiệm đôi khi lại có thể trở thành crutch
    • Đặc biệt trong một thế giới mà nền tảng thay đổi nhanh vì AI
    • Cần chủ động vứt bỏ nhiều thói quen đã học
    • Cần Beginner's Mind
  • Hãy tìm những người phản ứng nhanh và di chuyển nhanh
  • Tốc độ học hỏi nhanh
  • Những công ty có kiểu người như vậy sẽ sống sót và phát triển

• Cách nhận diện High Agency

  • Phần lớn điều này xảy ra ngoài quy trình phỏng vấn
  • Các tín hiệu
    • Loại câu hỏi: họ có thực sự thử sản phẩm và đào sâu không?
    • Reference
    • Giao tiếp để sắp xếp buổi phỏng vấn
    • Năng lượng họ mang vào cuộc trò chuyện
  • Có thể nắm bắt được rất nhiều tín hiệu mềm
  • Theo thời gian sẽ nhận ra các pattern này
  • Trước đây chỉ đọc từ câu hỏi và rubric, còn những thứ khác thì không để ý
  • Giờ đây những yếu tố đó được cân nhắc cân bằng hơn nhiều
  • Có yếu tố vibe
  • Ủng hộ hình thức phỏng vấn work trial
    • Thay vì phỏng vấn trò chuyện, hãy thực sự làm việc cùng nhau khoảng một tuần

Chọn quy mô công ty

• Vùng Goldilocks của Albert

  • Đã trải nghiệm từ Google (doanh nghiệp lớn) đến startup siêu nhỏ
  • Cuối cùng tìm ra nơi phù hợp với mình: quy mô trung bình

• Đặc điểm của từng quy mô

  • Doanh nghiệp lớn (Google)

    • Xử lý quy mô cực lớn
    • Học được nhiều thực tiễn tốt nhất từ đồng nghiệp
    • Có mọi công cụ và tính năng mình muốn
    • Nhưng có xu hướng di chuyển chậm
    • Khó triển khai và phát hành sản phẩm
    • Cuối cùng khiến bạn hơi phát điên

  • Startup siêu nhỏ

    • Di chuyển rất nhanh
    • Nhưng cũng là nơi Albert có hết mọi sợi tóc bạc
    • Không ai biết đến công ty
      • Phải tuyển từng người một
      • Phải giành từng người dùng một
    • Có thể học rất nhanh và phát hành rất nhiều
    • Nhưng để tạo ra tác động lớn với thế giới thì có thể cực kỳ vất vả
    • Một số công ty có thể hyper-scale và thành công
    • Nhưng Albert đã thử con đường này một thời gian và nhận ra nó không hợp với mình

  • Quy mô trung bình (500~1.000 người)

    • Có thể tạo ra đóng góp ở quy mô lớn mà vẫn
    • thực thi với tốc độ theo ngày và theo tuần
    • Có thể nhìn thấy nỗ lực của toàn công ty mà vẫn
    • đi sâu vào chi tiết
      • Đọc kết quả thí nghiệm
      • Soi từng pixel
      • Hợp tác với các đội ngũ cụ thể
    • Công ty 10~20 năm tuổi
      • Bền vững và lý tưởng là có lợi nhuận
      • Có đội ngũ lãnh đạo tốt
      • Vẫn còn nhiều chiều hướng để khám phá
      • Đang ở điểm uốn quan trọng
      • Năng động, không trì trệ

• Giai đoạn tối ưu với từng cá nhân

  • Ai cũng có giai đoạn công ty nơi mình tỏa sáng nhất
  • Hành trình của Albert là: công ty công nghệ lớn → startup siêu nhỏ → quy mô trung bình
  • Quy mô trung bình là vùng Goldilocks của anh ấy

Góc thất bại: trường hợp Chariot

• Bối cảnh

  • Dịch vụ xe đưa đón đi làm ở San Francisco
    • Xe shuttle 15 chỗ
    • Chạy từ nhiều khu phố đến trung tâm San Francisco
  • Nằm ở khoảng giữa hệ thống xe buýt công cộng và Uber/Lyft
  • Albert làm trưởng bộ phận sản phẩm
  • Dịch vụ cốt lõi được người dùng rất yêu thích
    • Đáng tin cậy, nhanh và đủ rẻ

• Thử nghiệm thất bại: Chariot Directly

  • Ý tưởng: cải thiện mức sử dụng bằng định tuyến động
    • Làm nó đổi mới hơn, tương tự Uber/Lyft
  • Tài xế vẫn lái theo tuyến cố định nhưng
    • nếu có thời gian trống thì có thể lệch tuyến để đón khách tại nhà
  • Đã thử nhưng cuối cùng không hiệu quả

• Bài học rút ra

  • 1. Giải pháp đi tìm vấn đề

    • Theo đuổi kiểu suy nghĩ "như thế này có hay không?"
    • Thay vì "đây là người dùng của chúng ta và đây là vấn đề chúng ta giải quyết"
    • Hay "đây là lý do điều này sẽ làm họ hài lòng"
    • Không nên bắt đầu từ giải pháp thay vì vấn đề

  • 2. Cân nhắc thị trường hai phía (Marketplace)

    • Có hơn một nhóm người dùng cuối
    • Đã quá tập trung vào ứng dụng cho hành khách
    • Không nhận ra tài xế gánh rất nhiều phần nặng của trải nghiệm
    • Đội vận hành cũng vậy
    • Nếu tài xế bối rối hoặc không hài lòng
      • thì trải nghiệm sản phẩm tổng thể có thể trở nên tệ đi

  • 3. Rủi ro của PR trước khi kiểm chứng

    • Đã làm rất nhiều PR trước khi ra mắt dịch vụ để tạo buzz
    • PR có thời điểm và bối cảnh phù hợp
    • Nhưng làm điều đó trước khi kiểm chứng rằng khách hàng thật sự muốn nó thì rất rủi ro
    • Sau khi ra mắt sẽ phát sinh nhiều chi phí chìm (Sunk Cost)
      • Buộc phải theo đến cùng
      • Muốn nhìn thấy nó thành công

• Nhìn lại

  • Dù là chuyện 10 năm trước nhưng vẫn nhớ rất rõ
  • Anh đã có quãng thời gian tốt đẹp ở công ty
  • Có hơn 3 bài học cốt lõi trong trải nghiệm này
  • Những bài học đó tiếp tục được mang theo khi xây dựng nhiều sản phẩm sau này

Lightning round

• Sách gợi ý

  • Sách đang đọc hiện tại

    • Vì có con 4 tuổi và 1 tuổi nên chủ yếu đọc sách thiếu nhi
    • Snuggle Puppy: có bài hát khiến con gái anh cười lớn, rất ấm lòng

  • Sách gợi ý cho công việc: Ogilvy on Advertising

    • Dù là cuốn sách 40 năm tuổi nhưng đầy ví dụ thực tiễn
    • Nói về copy và sáng tạo
    • Dù là quảng cáo kiểu cũ nhưng có cách tiếp cận định hướng thử nghiệm
    • Điều cuối cùng quan trọng là: thúc đẩy người dùng hành động
    • Mục tiêu là mua sản phẩm
    • Không phải quảng cáo khéo léo hay sáng tạo gợi cảm
    • Rất đúng với các đội ngũ sản phẩm và lifecycle

  • Dark Squares

    • Hồi ký của đồng sáng lập Chess.com Danny Wrench
    • Rất nổi tiếng trong giới cờ vua
    • Kể về việc lớn lên trong một giáo phái lạm dụng và từng là thần đồng cờ vua
    • Một câu chuyện khó tin
    • Hiện anh mới đọc được khoảng một nửa
    • Nhắc nhở rằng ta không biết quá khứ của những người mình làm việc cùng sâu đến mức nào
    • Vừa chỉ những ô tối trên bàn cờ, vừa chỉ một quá khứ khó khăn
    • Dự kiến phát hành vào thời điểm podcast này lên sóng

• Châm ngôn sống

  • Câu nói của mẹ anh: "Không gì quan trọng hơn danh tiếng"
  • Theo nghĩa thiện chí
    • Những quyết định nhỏ được đưa ra mỗi ngày
    • Bạn đối xử với người khác như thế nào
    • Bạn xuất hiện ra sao
    • Tính cách của bạn là gì
  • Những điều đó tích lũy như lãi kép và mở ra cánh cửa theo những cách đáng kinh ngạc
  • Nhiều công ty anh tham gia đến từ những mối liên hệ tương đối nhẹ
  • Podcast này cũng vậy, anh thấy những người từng làm cùng mình xuất hiện ở đây
  • Làm điều đúng đắn và xây dựng danh tiếng tốt có thể đưa bạn đi rất xa
  • Ở chiều ngược lại, danh tiếng rất mong manh
    • Nếu làm điều sai, sẽ mất rất lâu để phục hồi
  • Đó là một châm ngôn sống thú vị đã ở lại trong đầu anh suốt đời

Thông điệp cốt lõi

• Nhận ra rằng: điều quan trọng là phải trung thực với trải nghiệm thực tế
  • Nhiều bài học đến từ những thử nghiệm của người khác
  • Hãy là một miếng bọt biển tinh thần
  • Thử nhiều thứ khác nhau
  • Hấp thụ rồi áp dụng ngay
  • Thứ gì không hiệu quả thì loại bỏ và tiến hóa theo nhu cầu của công ty

[t7vonn]

Có vẻ làm người ta liên tưởng đến ai đó ở công ty nhắn tin từng gây tranh cãi gần đây..