- Do AI phát triển quá nhanh, ngày càng nhiều lập trình viên rơi vào cảm giác trầm buồn tâm lý khi chuyên môn của mình bị thay thế
- Khi ngày càng nhiều lập trình viên cảm thấy nỗi trầm buồn này, nó được gọi bằng cái tên Claude Blue
- Ngoài ra, những thuật ngữ mới xuất hiện dồn dập mỗi ngày cũng đang làm gia tăng FOMO và sự bất an của các lập trình viên
- Cốt lõi để vượt qua nỗi sợ nằm ở việc hiểu nó
- Vô số kiểu 'engineering' thực chất chỉ là biến thể của "quy trình gửi đầu vào phù hợp tới API và xử lý phản hồi", và đó vốn là điều các lập trình viên đã làm rất tốt từ lâu
- Đừng để bị cuốn theo những nội dung kích thích FOMO; nếu hiểu bản chất thì dù xuất hiện thuật ngữ mới, bạn vẫn có thể đặt nó vào hệ thống kiến thức sẵn có để đánh giá một cách tỉnh táo
Cấu trúc của nỗi sợ và cách vượt qua
- Con người cảm thấy sợ hãi trước những gì không rõ bản chất. Nỗi sợ AI cũng bắt nguồn không hẳn từ bản thân AI, mà từ việc "không biết nó hoạt động như thế nào"
- Khi hiểu được bản chất, thứ từng như phép thuật sẽ bắt đầu trông như công nghệ, mà công nghệ thì là thứ có thể học và có giới hạn
- Cũng có khảo sát cho thấy 24% người đi làm bị suy giảm sức khỏe tinh thần do quá tải thông tin vì AI
Bản chất của LLM
- LLM là mô hình dự đoán từ tiếp theo "tạo ra đầu ra phù hợp nhất cho đầu vào được cung cấp"
- ChatGPT, Claude, Gemini đều hoạt động theo cùng một nguyên lý, và thực thể của dịch vụ là một lời gọi HTTP API nơi client gửi tin nhắn và mô hình trả về token theo dạng streaming
- Năng lực viết mã mạnh mẽ của AI agent cũng chỉ là thứ được bọc quanh lời gọi API này
Quá trình AI agent trở nên thông minh hơn
- Prompt engineering: gán vai trò, Few-Shot, Chain-of-Thought... rốt cuộc đều là những cách làm cho ngữ cảnh của văn bản đầu vào trở nên cụ thể hơn để định hướng đầu ra
- Kiểm soát định dạng đầu ra: dùng JSON Schema, Function Calling... để biến đầu ra của mô hình thành cấu trúc mà chương trình có thể parse được. Thông qua Function Calling, có thể tạo ra cấu trúc trong đó mô hình gọi công cụ và runtime thực thi. MCP, RAG cũng là một dạng gọi công cụ
- Context engineering: không phải là "nên hỏi thế nào" mà là thiết kế mô hình sẽ nhìn thấy gì trước khi suy luận. Khi đầu vào quá dài, khả năng tập trung sẽ giảm, nên mấu chốt là đặt đúng thông tin vào đúng vị trí
- Chia nhỏ prompt: thay vì một prompt khổng lồ thì chia ra thành nhiều prompt nhỏ và tập trung để xử lý. Sub-Agent và Skill thuộc nhóm này
- Harness engineering: thiết kế toàn bộ môi trường thực thi bao quanh mô hình. Gồm guide (định hướng trước hành động) và sensor (kiểm chứng kết quả sau hành động)
- Ralph loop: kỹ thuật lặp lại cùng một prompt khi chưa đạt tiêu chí hoàn thành. Tiến độ được lưu vào hệ thống tệp và git để có thể tiếp tục ở ngữ cảnh mới mỗi lần. Đây chỉ là một chiến lược con của harness, không phải khái niệm đồng nhất với harness
Thoát khỏi FOMO
- Dù có kiến thức, ta vẫn bất an vì những kẻ kích thích FOMO khiến ta có cảm giác như mình chẳng biết gì cả
- Một cách tốt để không bị FOMO là xem họ thực sự đã giải quyết được điều gì
- Phần lớn chỉ là nén quy trình lại, chứ không phải đã giải quyết vấn đề
- Nếu hiểu bản chất, khi tiếp nhận thông tin mới bạn sẽ có thể tự phán đoán đó là một paradigm mới, một biến thể của khái niệm cũ hay chỉ là sự cường điệu
Từ giờ nên làm gì
- Không nhất thiết phải làm gì cả. Nếu AI không giúp ích cho vấn đề của bạn thì cứ tiếp tục sống và làm việc như hiện tại. Suy cho cùng nó chỉ là công cụ; cần thì dùng, không cần thì thôi
- Không phải mọi thứ đều có đáp án đúng. Vì vậy không cần phải cố gắng đi tìm một tờ đáp án.
- Nếu có kiến thức, về sau dù xuất hiện thuật ngữ mới, bạn cũng sẽ có được con mắt để nhận ra nó đang nói về điều gì
16 bình luận
Một cách hay để không cảm thấy FOMO là xem những người tạo ra FOMO thực sự đã giải quyết được điều gì bằng AI.
Câu này đúng là rất đồng cảm luôn haha
Hihi giờ mình làm gì đây
Chẳng phải toàn bộ tính chuyên môn đều không thể bị thay thế sao? Ngay từ quá trình tạo từ đã thấy kỳ lạ rồi.
Trong nguyên tác không hề khẳng định rằng AI có thể thay thế toàn bộ tính chuyên môn. Bản thân tôi cũng không nghĩ như vậy...
> LLM là mô hình dự đoán từ tiếp theo “tạo ra đầu ra phù hợp nhất cho đầu vào được cho”
Đang nói về GPT-3 đấy.
Tôi cứ nghĩ các mô hình ngôn ngữ lớn phổ biến xuất hiện trên thị trường sau GPT, ngoại trừ một vài mô hình dùng diffusion model, đều hoạt động theo dạng dự đoán token tiếp theo. Nếu có mô hình nào vận hành theo cách khác thì rất mong bạn cho tôi biết.
Vậy thì model mới nhất là cái khác sao? Nếu có nội dung nào sai thì mong bạn chỉ giúp, như vậy có lẽ sẽ hữu ích cho cả những người khác nữa, bao gồm cả tôi haha
Nếu bạn muốn xem các LLM hiện đại chỉ là "dự đoán từ tiếp theo" thì AlphaGo cũng chẳng qua chỉ là "dự đoán nước đi tiếp theo" mà thôi.
Từ ChatGPT trở đi, việc dự đoán từ tiếp theo cũng chỉ là pre-trained đơn thuần.
Bản thân nó là một mô hình đạt được mục tiêu.
Chẳng phải cả AlphaGo cũng dự đoán nước đi tiếp theo được tính là có tỷ lệ thắng cao nhất sao?????
Thật rối quá. Đây là một câu đùa thôi, hay là đã có một kỹ thuật hoặc công nghệ mới nào đó mà tôi chưa biết vậy??
"Tỷ lệ thắng" mới là cốt lõi.
Chỉ với việc dự đoán từ tiếp theo thì đừng nói là tạo ra câu văn dùng được, ngay cả lập trình hay toán học cũng không thể làm cho ra hồn.
Những kỹ thuật kiểu này đã xuất hiện từ thập niên 60~70 rồi.
(Nói chính xác thì cũng không hẳn là từ)
Ừm.. tôi đang nghĩ có lẽ bài viết đã được truyền đạt khác với ý định của tôi. Nếu từ bài viết này bạn cảm thấy như tôi đang hạ thấp giá trị kỹ thuật của LLM thì tôi xin lỗi.
Tuy vậy, ý định của bài viết này là gỡ bỏ lớp bao bọc cường điệu và sự thần bí hóa để nhìn nhận một cách lạnh lùng. Vì vậy, cá nhân tôi cảm thấy cách diễn đạt là "mô hình đạt được mục tiêu" mang tính thần bí hóa. Suy cho cùng, dù là phần mềm thông thường hay mô hình thì cũng đều nhằm đạt được một "mục tiêu" nào đó.
Vì vậy, tôi muốn hỏi lại, cùng với sự tò mò cá nhân, liệu cách diễn đạt mà bạn nói có chính xác hơn về mặt kỹ thuật hay không.
gpt 3: dự đoán từ tiếp theo -> đúng
gpt 3 trở về sau, các mô hình dựa trên Transformer: dự đoán từ tiếp theo -> đúng.
AlphaGo, AlphaZero, MuZero, ...: dự đoán nước đi tiếp theo -> đúng.
Mô hình đạt được mục tiêu (cụ thể) -> đúng.
Trong nội dung đang nói thì không có gì sai cả
Có vẻ cũng là như vậy.
Tuy nhiên, bản thân mô hình rốt cuộc cũng chỉ là một hàm đầu vào/đầu ra mà thôi.
Với giả định có một harness phù hợp và một agent loop được cung cấp, thì có vẻ có thể nói rằng mô hình đạt được mục tiêu.
"Dự đoán token tiếp theo" là cách mô tả chính xác ở cấp độ triển khai, nhưng có thể tóm lại rằng nó không đầy đủ nếu dùng để giải thích năng lực hay mục đích của mô hình, đúng không?
Vậy thì có lẽ cứ gặp nhau ở một mô hình dự đoán tốt hơn ở giữa là được 😄