1 bình luận

 
Các ý kiến trên Hacker News
  • Gần đây tôi đã ứng tuyển vào một batch của YC với ý tưởng khiến AI hành động chủ động thay vì chỉ phản hồi, và trước đó đã công bố một bài báo về tự cải thiện đệ quy được điều chỉnh theo dữ liệu của Epoch AI.
    Tôi đã liên hệ với một giáo sư đại học ở Anh đang làm nghiên cứu tương tự, và chúng tôi thảo luận khoảng một giờ về các giả định và phương pháp khác nhau, cũng như những kết quả chồng lấn.
    Ngay cả một sinh viên vật lý bậc cử nhân, nếu làm nghiên cứu độc lập và trò chuyện với chuyên gia, cũng có thể kết nối với những người vốn khó có cơ hội gặp; vì vậy, dù người trẻ bước vào lĩnh vực kinh doanh nào, nghiên cứu vẫn là một phương tiện tốt để xây dựng mạng lưới quan hệ.

    • Đây cũng là lý do các phòng thí nghiệm lớn ngừng công bố bài báo. Xuất bản có giá trị nhất khi bạn không có cách nào khác để thu hút sự chú ý của những người lạ thông minh; nhưng khi đã đến giai đoạn có thể tuyển bất kỳ ai và ai cũng nghe điện thoại của bạn, thì điều còn lại chủ yếu chỉ là cho đối thủ biết cách mình đã thành công.
      Mỗi khi khoa học chuyển thành công nghiệp, chuyện này lại xảy ra. Các nhà hóa học từng công bố tự do, nhưng khi thuốc nhuộm trở thành thứ kiếm ra tiền, các nghiên cứu thú vị đã chuyển vào phòng thí nghiệm doanh nghiệp và không còn được công khai nữa.
    • LinkedIn lẽ ra phải là nền tảng kết nối như vậy cho giới chuyên môn, nhưng thật đáng tiếc là giờ nó đã trở thành nơi đầy mồi câu tương tác và những người đóng vai doanh nhân.
    • Dù bắt đầu từ nghiên cứu hay không, việc thể hiện bản thân và trò chuyện với người khác là điều quan trọng căn bản nhất đối với sự nghiệp và phát triển cá nhân.
    • Tôi muốn nghe cụ thể hơn về AI chủ động được nói đến ở đây là gì.
    • Tôi xem tự cải thiện đệ quy là khởi đầu của hồi kết.
  • Tôi thực sự từng làm ở hai startup thực hiện nghiên cứu cơ bản đầu tiên trên thế giới. Công ty đầu tiên đã cố gắng trong 3 năm để đăng kết quả mới trên một tạp chí hạng nhất, nhưng cuối cùng công bố dưới dạng preprint và bỏ cuộc với tạp chí.
    Công ty thứ hai hiện tại, vì kinh nghiệm đó, không công bố gì cả, đồng thời cũng muốn tránh việc OpenAI hay Anthropic sao chép kết quả và khiến 6 tháng làm việc trở nên vô nghĩa. Bài báo chỉ được cung cấp kèm tài liệu thuyết trình cho nhà đầu tư.

    • Startup gần như không có lợi ích gì khi công khai nghiên cứu ở tuyến đầu, và cũng khó phòng vệ. Với các công ty không chịu rủi ro thì đó có thể là công cụ phô trương, nhưng với startup thì lại là vấn đề.
    • Chẳng phải mục đích của việc công khai nghiên cứu chính là để người khác tái tạo hay sao?
    • Nếu bạn không phải học giả cần biên chế suốt đời hoặc tài trợ nghiên cứu, thì có thể bỏ qua tạp chí và trực tiếp công bố bài báo. Điều cốt lõi là chia sẻ nghiên cứu.
    • Tôi thắc mắc liệu bài viết có nói đến hiện tượng các startup AI công bố phát hiện trên blog thay vì tạp chí hay không. Cũng tự hỏi liệu tạp chí có còn hữu dụng trong ngành này nữa không, khi chúng quá chậm, cứng nhắc và mang tính bóc lột.
    • Muốn gửi bài tới các hội nghị khoa học máy tính hàng đầu, những người chưa trải qua chương trình tiến sĩ trong một lĩnh vực hẹp phải dùng ngôn ngữ nội bộ và chủ nghĩa hình thức rất khó tiếp cận.
      Trớ trêu là LLM làm việc này khá tốt, khiến một bài báo thật sự hay do người ngoài viết có khả năng được đánh giá thấp hơn một bài báo chất lượng thấp do AI tạo ra.
  • Việc nghiên cứu AI bị blog hóa đã khiến đủ loại tuyên bố và thuật ngữ xuất hiện rồi lan truyền theo cách giống mạng xã hội, và điều này không lành mạnh.
    Trong một môi trường bị game hóa, chỉ cần gắn vài con số thu được từ nhiều thí nghiệm là có thể hậu thuẫn cho bất cứ điều gì, và chúng ta đang nhanh chóng đi tới giai đoạn hầu như không còn xem xét liệu nó có ý nghĩa thực sự hay không. Loại rác này trở thành dữ liệu huấn luyện cho mô hình tiếp theo, rồi mô hình đó lại tạo ra mô hình, blog và bài báo trong một vòng luẩn quẩn; nó giống như thả mối vào thư viện.

    • Chúng ta đã đạt tới giai đoạn đó từ 10 năm trước, thậm chí có thể còn lâu hơn. Giờ chỉ là có nhiều người tham gia trò chơi hơn rất nhiều mà không có quá trình rèn luyện xã hội từng giúp mọi thứ còn chịu đựng được.
      Dù vậy cũng không hoàn toàn tệ; giai đoạn liên tục có người mới tham gia tuy phiền phức, nhưng khi nó qua đi đôi khi lại khiến ta nhớ.
    • Tôi tự hỏi liệu điểm khác biệt so với xuất bản nghiên cứu truyền thống rốt cuộc có phải chỉ là tốc độ hay không.
  • Bài viết đã xử lý khá mơ hồ các công ty xuất hiện trong bài báo. Về số lượt trích dẫn tích lũy, OpenAI là cao nhất, tiếp theo là MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks và Aibee.
    Họ nói rõ rằng đây là số lượt trích dẫn chứ không phải số lượng ấn phẩm, và tuy không hoàn hảo nhưng được dùng làm chỉ số đại diện cho mức độ quan trọng. Các công ty như Google bị loại vì không phải startup kỳ lân.

    • Theo tôi biết, nhà nghiên cứu phải xuất bản bài báo để đạt chỉ tiêu thành tích và giữ vị trí. Trừ khi OpenAI hay Anthropic trả đủ nhiều để họ từ bỏ sự nghiệp nghiên cứu, họ vẫn sẽ tiếp tục xuất bản, nên khó xem đây là thiện chí của công ty.
    • Google đã công khai nhiều nghiên cứu, và tôi vẫn tò mò vì sao họ mở nghiên cứu về Transformer và Attention. Ban đầu có thể nó dành cho dịch máy, hoặc ngay cả các nhà nghiên cứu cũng chưa nhận ra tiềm năng thực sự của nó.
    • Tôi tưởng Databricks là công ty hosting Spark, nên tò mò điều gì khiến họ được phân loại là startup AI hàng đầu.
  • Có vẻ bài báo thực ra không nói rõ đâu là các công ty không công bố bài báo. OpenAI, Anthropic và Hugging Face lại được nêu rõ là các công ty có xuất bản, nên không nên thấy “startup AI hàng đầu” là lập tức nghĩ đến OpenAI và Anthropic.

    • Bài báo không trả lời thỏa đáng câu hỏi mà ai cũng sẽ thắc mắc khi nhìn tiêu đề. OpenAI đứng đầu về số lượt trích dẫn, nhưng các bài báo cũ và có ảnh hưởng sẽ tích lũy trích dẫn, và từng có thời OpenAI cởi mở hơn.
      Sau bước chuyển hướng thời Altman, không rõ hiện nay họ còn đóng góp hay không; hơn nữa các bài báo sau năm 2025 bị loại trừ rõ ràng, nên rất khó nắm được khả năng tiếp cận nghiên cứu tuyến đầu mới nhất, vốn mới là điều được quan tâm. Kho lưu trữ nằm ở https://github.com/q5loisel/unicorn-AI-startup-publications.
  • Không phải cứ là công ty AI thì tự động là công ty nghiên cứu. Phần lớn startup xuất hiện trong vài năm gần đây sử dụng mô hình do nơi khác tạo ra vì mục đích thương mại, nên không có lý do gì để kỳ vọng bài báo khoa học.
    Ngược lại, nếu 50% startup có đóng góp cho nghiên cứu công khai thì đó là kết quả vượt xa kỳ vọng.

    • Vì không thể chỉ tin vào động lực của thị trường tự do nên khoa học được tài trợ bằng ngân sách công. Doanh nghiệp hầu như không có lý do để chia sẻ thông tin với đối thủ.
    • Nếu tên của đơn vị lớn thứ hai là OpenAI, thì ở mức độ nào đó người ta sẽ kỳ vọng họ công bố bài báo.
  • Một bài báo hay phân tích toàn ngành rộng hơn cũng bàn đến vì sao các nghiên cứu trước đây lại cho thấy việc tìm ra ý tưởng hay ngày càng khó hơn
    Khác với hiện tượng số lượng nhà nghiên cứu ở Mỹ tăng nhưng tốc độ tăng sản lượng bị đình trệ, khi theo dõi bằng sáng chế của các doanh nghiệp Mỹ trong 45 năm, số bằng sáng chế trung bình trên mỗi đơn vị đầu tư R&D đã tăng, và độ co giãn của bằng sáng chế so với đầu tư cũng được duy trì hoặc tăng lên. Giữa mức tăng của bằng sáng chế với tư cách là ý tưởng và năng suất lao động luôn có mối quan hệ dương ổn định, nhưng tốc độ tăng trưởng doanh nghiệp sau khi kiểm soát mức tăng ý tưởng lại giảm. Tức là kết luận là vai trò nâng đỡ tăng trưởng của hoạt động đổi mới không hề suy yếu trong 40 năm qua
    https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...

  • Có một điều trớ trêu là nếu Google không công bố Attention Is All You Need thì có lẽ không startup AI nào hiện nay tồn tại

    • Nhìn vào bài năm 2015 https://research.google/pubs/distilling-the-knowledge-in-a-n... thì sự trớ trêu này có thể vẫn đang tiếp diễn
      Google có thể đã xem cuộc chạy đua vũ trang các mô hình frontier độc lập là phi lý về mặt kinh tế, nhưng vẫn đánh giá năng lực đó là thiết yếu về mặt chiến lược. Chiến lược dài hạn có thể là chỉ xây mô hình lớn vừa đủ để dùng như nhà máy sản xuất năng lực, rồi chuyển trí tuệ đó thành số lượng lớn hơn nhiều các mô hình rẻ, chuyên biệt theo mục đích
      Nếu Google biết điều này, lý do họ không biến nó thành vũ khí bí mật ngay từ đầu có thể là vì họ đã dự đoán được cuộc chạy đua vũ trang và cũng biết cách kiếm lợi trong quá trình đó. Xét việc bài về distillation xuất hiện trước bài Transformer, có lẽ đây không phải là trớ trêu mà là kết quả tất yếu
    • Ngay cả Google cũng sẽ không ở vị trí hiện nay nếu không có nghiên cứu công khai. Giống khoa học bức xạ trước Thế chiến II: trước khi tiềm năng thay đổi thế giới của nó được biết đến thì người ta công bố tự do, nhưng sau khi trở thành mối quan tâm của chính phủ, ngay cả các nhà nghiên cứu không liên quan đến vũ khí cũng bắt đầu giấu kết quả
    • Tất cả tác giả của bài báo đó hiện đều đang ở các công ty AI không phải Google
    • Bài báo đó cũng dựa trên nhiều ý tưởng đã ở rất gần. Đó là một phát hiện xuất sắc, nhưng như nhiều phát hiện khác, nó đứng trên vai những người khổng lồ
  • Toàn bộ ngành AI được xây trên nghiên cứu công khai, nhưng làn sóng hiện tại lại đi ngược điều đó và dường như bị lòng tham dẫn dắt dưới cái cớ chạy đua vũ trang
    Cần có một chính sách ESG mới thừa nhận vai trò của nghiên cứu công khai, nhưng trong bối cảnh u ám hiện nay, có vẻ ESG và các chuẩn mực khác đều đã bị gạt sang một bên

    • Một phần đáng kể giá trị của ngành điện toán được tạo ra nhờ những người thông minh hợp tác với nhau và chọn công khai phương pháp thay vì độc quyền hóa giá trị của phát hiện đầu tiên. Hiện tượng này có trước cơn sốt AI hiện nay khoảng nửa thế kỷ
      Tuy nhiên trong trường hợp của tôi thì hoàn toàn trái ngược với lòng tham. Nếu muốn chia sẻ nguyên lý hoạt động, kết quả giải quyết vấn đề hay nội dung giáo dục thì chỉ cần tự công bố trực tiếp, còn làm việc trong khuôn khổ các tổ chức được giới học thuật phê chuẩn thì vừa hao tổn vừa gây phân tán
      Ở đây, “xuất bản nghiên cứu” không có nghĩa là đăng một trang HTML và mã nguồn, mà là một quy trình truyền thông rất đặc thù và mang tính chính trị. Nó chỉ có ý nghĩa ở giai đoạn sự nghiệp cần cuộc đua danh tiếng đó, và phần nào gần với một kiểu sùng bái hàng hóa mô phỏng quy trình khoa học thực sự
    • Có rất nhiều nghiên cứu được tài trợ công rất tốt, nhưng Attention Is All You Need và nhiều bài báo cốt lõi của OpenAI được tạo ra bằng vốn tư nhân, và trong nghiên cứu thì OpenAI cũng đứng đầu về số lượt trích dẫn. Tiền đề về nghiên cứu công khai có thể không khớp với bằng chứng
    • Cũng có các công ty chia sẻ nghiên cứu, nhưng nhìn chung không phải là công ty Mỹ; ví dụ có https://arxiv.org/abs/2607.24653. DeepMind, Nvidia, Thinking Machines và một số bên khác là ngoại lệ
    • Nghiêm trọng hơn cả việc không công bố bài báo, các công ty như Anthropic thậm chí còn mua rồi phá hủy sách hiếm: https://arstechnica.com/ai/2025/06/anthropic-destroyed-milli...
  • Quy trình xuất bản có bình duyệt rườm rà, không tối đa hóa hiệu quả truyền đạt tri thức, và giống chứng nhận tư cách cùng thẩm quyền hơn là giao tiếp; lợi ích danh tiếng của nó cũng thường thuộc về cá nhân nhiều hơn doanh nghiệp
    Các ấn phẩm kiểu blog có nhiều rác chưa được kiểm chứng, nhưng nghiên cứu bình duyệt cũng có nhiều kết quả chất lượng thấp, nên bất kể nguồn tri thức là gì, tỷ lệ tín hiệu trên nhiễu đã tệ suốt nhiều thập kỷ
    Nếu công khai nghiên cứu tốt, đối thủ có thể khai thác theo nhiều cách, còn việc thực thi quyền sở hữu trí tuệ trên thực tế gần như bất khả thi, khiến nó trở thành một bộ phận thuần chi phí. Ở một số lĩnh vực khoa học máy tính, công nghệ tiên tiến nhất đã bị chôn vùi dưới dạng bí mật thương mại trong hàng chục năm, khiến tài liệu học thuật tụt hậu đến mức đáng xấu hổ
    Xuất bản tốn thời gian và tiền bạc, nhưng nhà nghiên cứu muốn giải các vấn đề thú vị còn doanh nghiệp muốn tối đa hóa khả năng ứng dụng của nghiên cứu, nên xuất bản không giúp ích cho bên nào. Nhiều nghiên cứu cơ bản cũng không nhằm viết bài báo mà nhằm giải quyết vấn đề; giải xong thì chuyển sang vấn đề tiếp theo
    Nghiên cứu tuyến đầu cũng luôn đi kèm các cân nhắc về an ninh quốc gia. Tất cả đều là kết quả của cấu trúc khuyến khích, và một phần đáng kể nghiên cứu cơ bản không còn diễn ra trong giới học thuật nữa. Bản thân tôi cũng từng thích các chương trình nghiên cứu không công khai, và những nghiên cứu cơ bản thú vị tôi trực tiếp thực hiện cũng không đáng để xuất bản, vì mục tiêu là vấn đề cần giải quyết chứ không phải danh tiếng