Gần đây các ông lớn công nghệ đã tăng trưởng bằng cách nâng số lượng tham số, nhưng liệu hướng đi đó có đang thay đổi không?
Cá nhân tôi vốn nghĩ rằng cứ tiếp tục tăng tham số để phát triển thì thực ra không có lời giải thật sự.
Có cảm giác như đang từ bỏ tương lai trước mắt để đổi lấy tăng trưởng vậy. Đặc biệt tôi thấy điều đó rõ nhất khi MoE ở giai đoạn cực thịnh.
Google Gemma 3 27b từng được xem là khá lớn, nhưng giờ trong thế giới LLM thì số tham số ở mức đó lại trông như không còn nhiều nữa.
Phát triển công nghệ cũng quan trọng, nhưng tôi nghĩ cần có thứ gì đó tính đến cả giai đoạn triển khai phục vụ thực tế, và lần này có vẻ là một thử nghiệm khá ổn.
(Lý do tôi hoài nghi về việc tăng tham số là vì tôi biết hiệu năng sẽ tốt hơn, nhưng chi phí để phục vụ nó cũng lớn hơn.)
Dạo này tôi cũng dùng rất nhiều mô hình dựa trên Qwen ở môi trường local.
Ban đầu chỉ nghĩ chắc vì là mô hình của Alibaba thôi, nhưng thật sự ấn tượng khi họ liên tục cải tiến và mở rộng nó.
Tôi cho rằng hệ thống bỏ phiếu điện tử không thể giải quyết được vấn đề kiểm chứng độ tin cậy ngẫu nhiên từ phía công chúng nói chung.
Việc kiểm chứng mã nguồn của hệ thống chỉ có thể được thực hiện bởi một tầng lớp đặc biệt được chọn lọc, và cũng khó có thể tin được rằng mã đã được kiểm chứng có đúng là mã đang được sử dụng tại hiện trường hay không.
Nhìn vào những tranh cãi đã nổ ra và sự hỗn loạn xã hội đã phát sinh ở Hàn Quốc, nơi chỉ điện tử hóa riêng quá trình thu thập kết quả bỏ phiếu giấy vào hệ thống điện tử, có thể phần nào suy ra loại hỗn loạn xã hội nào sẽ xảy ra nếu một hệ thống bỏ phiếu điện tử hoàn chỉnh được đưa vào áp dụng.
Bài viết rất hữu ích. Khi đặt ra các quy tắc AST, tôi nhớ lúc đầu đã cố tự động hóa toàn bộ nên khá vất vả... Làm rồi mới thấy, đáp án là loại các trường hợp mơ hồ ra và chỉ xác định những gì thật sự chắc chắn.
Tôi nghĩ đây là một bài viết có insight thật sự.
Tôi là một lập trình viên senior đang làm việc thực tế với 23 năm kinh nghiệm, và từ nửa cuối năm 2024 đến nay đang thử đẩy việc phát triển bằng LLM và vibe coding đến mức cực hạn. Tôi đang ứng dụng nó theo rất nhiều cách khác nhau, từ AOS/iOS, full-stack web service, batch cho tới fine-tuning mô hình, và thường chạy khoảng 5 agent để làm việc.
Tôi không ngờ mình lại có thể trải nghiệm cảm giác mải mê lập trình đến mức ngủ quên, điều mà tôi chưa từng có lại từ đầu những năm 2000 haha.
Nói ngắn gọn, suy nghĩ gần đây của tôi là lĩnh vực phát triển phần mềm giờ đây đã trở thành thứ mà ai cũng có thể làm.
Sự phát triển của các coding agent sẽ còn tăng tốc hơn nữa, và việc phát triển sẽ ngày càng dễ dàng, tiện lợi hơn. Nó rồi sẽ ở mức như dùng Excel hay soạn tài liệu Word vậy.
Tôi đồng ý với ý của Andrej Karpathy rằng ngôn ngữ lập trình tốt nhất là "tiếng Anh".
Về cá nhân, tôi đang cố đọc nhiều hơn các paper AI và viết nhiều hơn để diễn đạt một cách logic. (Tôi cũng đang cố gắng trò chuyện với AI nhiều hơn nữa.)
Dạo này thực sự rất hào hứng.
Chỉ khi giải tán cả đội Deno và chỉ còn một mình bản thân ở lại thì tôi mới công nhận.
Cảm ơn bạn. Mong bạn sẽ tiếp tục ủng hộ nhiệt tình trong thời gian tới :)
Cảm ơn ý kiến hay của bạn!
Cảm ơn bạn. Tôi sẽ chuyển lời đầy đủ tới maker :)
Bài này được đăng mấy hôm trước rồi, và bình luận trên Hacker News về việc này khá thú vị.
Gần đây các ông lớn công nghệ đã tăng trưởng bằng cách nâng số lượng tham số, nhưng liệu hướng đi đó có đang thay đổi không?
Cá nhân tôi vốn nghĩ rằng cứ tiếp tục tăng tham số để phát triển thì thực ra không có lời giải thật sự.
Có cảm giác như đang từ bỏ tương lai trước mắt để đổi lấy tăng trưởng vậy. Đặc biệt tôi thấy điều đó rõ nhất khi MoE ở giai đoạn cực thịnh.
Google Gemma 3 27b từng được xem là khá lớn, nhưng giờ trong thế giới LLM thì số tham số ở mức đó lại trông như không còn nhiều nữa.
Phát triển công nghệ cũng quan trọng, nhưng tôi nghĩ cần có thứ gì đó tính đến cả giai đoạn triển khai phục vụ thực tế, và lần này có vẻ là một thử nghiệm khá ổn.
(Lý do tôi hoài nghi về việc tăng tham số là vì tôi biết hiệu năng sẽ tốt hơn, nhưng chi phí để phục vụ nó cũng lớn hơn.)
Đúng là hệ quả phát sinh sau vụ công khai bản sao lưu toàn bộ Spotify — một nỗ lực quá liều lĩnh ngay từ đầu.
Second B cố lên
Xin chào. Cảm ơn bạn đã đọc bài một cách hào hứng!
Trong lúc áp dụng, nếu có điều gì thắc mắc thì cứ để lại bất cứ lúc nào nhé!!
Dạo này tôi cũng dùng rất nhiều mô hình dựa trên Qwen ở môi trường local.
Ban đầu chỉ nghĩ chắc vì là mô hình của Alibaba thôi, nhưng thật sự ấn tượng khi họ liên tục cải tiến và mở rộng nó.
Ồ.. trông có vẻ ổn đấy
Nếu trong ứng dụng YouTube trên di động có thể chuyển thẳng qua bằng tính năng chia sẻ thì sẽ hữu dụng hơn nhiều
Đúng là suy cho cùng, quy định lúc nào cũng là chi phí. Mà dù sao thì đó cũng là phần cuối cùng người tiêu dùng phải gánh thôi.
Tôi cho rằng hệ thống bỏ phiếu điện tử không thể giải quyết được vấn đề kiểm chứng độ tin cậy ngẫu nhiên từ phía công chúng nói chung.
Việc kiểm chứng mã nguồn của hệ thống chỉ có thể được thực hiện bởi một tầng lớp đặc biệt được chọn lọc, và cũng khó có thể tin được rằng mã đã được kiểm chứng có đúng là mã đang được sử dụng tại hiện trường hay không.
Nhìn vào những tranh cãi đã nổ ra và sự hỗn loạn xã hội đã phát sinh ở Hàn Quốc, nơi chỉ điện tử hóa riêng quá trình thu thập kết quả bỏ phiếu giấy vào hệ thống điện tử, có thể phần nào suy ra loại hỗn loạn xã hội nào sẽ xảy ra nếu một hệ thống bỏ phiếu điện tử hoàn chỉnh được đưa vào áp dụng.
Bài viết này rất thú vị..!
Hiện tại code frontend của dự án đang rất lộn xộn, chắc phải thử dùng mới được!
Cảm ơn bạn đã đánh giá tích cực!!
Tôi thì có ý kiến hơi khác: theo kinh nghiệm của tôi, những người có năng lực và thái độ như vậy đều là những người có lòng tự trọng rất cao.
Skip – phát triển ứng dụng iOS và Android native bằng một codebase Swift duy nhất
Bài viết rất hữu ích. Khi đặt ra các quy tắc AST, tôi nhớ lúc đầu đã cố tự động hóa toàn bộ nên khá vất vả... Làm rồi mới thấy, đáp án là loại các trường hợp mơ hồ ra và chỉ xác định những gì thật sự chắc chắn.
Tôi nghĩ đây là một bài viết có insight thật sự.
Tôi là một lập trình viên senior đang làm việc thực tế với 23 năm kinh nghiệm, và từ nửa cuối năm 2024 đến nay đang thử đẩy việc phát triển bằng LLM và vibe coding đến mức cực hạn. Tôi đang ứng dụng nó theo rất nhiều cách khác nhau, từ AOS/iOS, full-stack web service, batch cho tới fine-tuning mô hình, và thường chạy khoảng 5 agent để làm việc.
Tôi không ngờ mình lại có thể trải nghiệm cảm giác mải mê lập trình đến mức ngủ quên, điều mà tôi chưa từng có lại từ đầu những năm 2000 haha.
Nói ngắn gọn, suy nghĩ gần đây của tôi là lĩnh vực phát triển phần mềm giờ đây đã trở thành thứ mà ai cũng có thể làm.
Sự phát triển của các coding agent sẽ còn tăng tốc hơn nữa, và việc phát triển sẽ ngày càng dễ dàng, tiện lợi hơn. Nó rồi sẽ ở mức như dùng Excel hay soạn tài liệu Word vậy.
Tôi đồng ý với ý của Andrej Karpathy rằng ngôn ngữ lập trình tốt nhất là "tiếng Anh".
Về cá nhân, tôi đang cố đọc nhiều hơn các paper AI và viết nhiều hơn để diễn đạt một cách logic. (Tôi cũng đang cố gắng trò chuyện với AI nhiều hơn nữa.)
Dạo này thực sự rất hào hứng.
Ồ, cái này hay đấy.