Thiền và nghệ thuật nghiên cứu machine learning

• Nghiên cứu AI đẳng cấp thế giới không chỉ đến từ tài năng; khí chất để bền bỉ lâu dài qua việc lặp đi lặp lại giữa đọc và làm mới là yếu tố quyết định thành quả
• Việc chọn chủ đề nên bắt đầu từ sự hiểu sâu các khái niệm nền tảng như cross-entropy, SVD, policy gradients, thay vì những từ khóa thịnh hành tồn tại chưa đầy 6 tháng
• Nghiên cứu tốt không dừng ở việc tăng điểm benchmark hiện có, mà còn phải tìm ra cả dataset có thể kiểm tra những năng lực mà phương pháp mới thực sự bộc lộ
• Kết quả thí nghiệm, dù tốt hay xấu, đều cung cấp thông tin; nhưng kết quả càng có vẻ quá tốt thì càng có thể là bug hoặc đo sai, nên cần sự hoài nghi lành mạnh
• Coding agent vừa tăng tốc độ vừa làm trầm trọng thêm việc thiếu hiểu biết về hệ thống và chuyển đổi ngữ cảnh, nên cần tự mình hiểu toàn bộ hệ thống đã tạo ra kết quả

---

Điểm khởi đầu để trở thành nhà nghiên cứu

• Nghiên cứu AI bắt đầu bằng việc lặp đi lặp lại giữa đọc và học, cùng với tự tay tạo ra một thứ gì đó
• Chỉ một trong hai là không đủ; nhà nghiên cứu được hình thành bằng cách qua lại giữa hai hoạt động này
• Nghiên cứu giống như thiền: vào những ngày có trực giác lóe lên thì vẫn ngồi, và vào những ngày không có gì đến thì cũng phải tiếp tục ngồi
• Trực giác khoa học xuất hiện gần như ngẫu nhiên, và trong phần lớn số ngày nó sẽ không đến
• Giống như âm nhạc, thể thao hay bán hàng, để đạt đẳng cấp thế giới cần rất nhiều thời gian, nỗ lực và khối lượng rèn luyện lớn
• Trong bài báo về SwiGLU, Noam Shazeer viết rằng ông “không giải thích vì sao kiến trúc này hoạt động, và quy thành công của nó, như mọi thứ khác, cho lòng thương xót của Chúa”, qua đó cho thấy tính ngẫu nhiên trong thành công của ý tưởng nghiên cứu
• Đọc quá nhiều paper cũng có thể là vấn đề
  • Con đường đã được kiểm chứng là thử tự tìm lời giải trước, bị mắc kẹt, tự mình giải quyết, rồi chỉ khi cạn ý tưởng mới tìm đến tài liệu

Nên nghiên cứu điều gì

• Nếu mới bắt đầu, bản thân chủ đề nghiên cứu chính xác là gì không quá quan trọng
• Tuy vậy, tốt hơn là tránh chọn những chủ đề mới nổi chưa đầy 6 tháng
  • AI thay đổi rất nhanh, nhưng các ý tưởng nền tảng thì 40 năm qua không đổi quá nhiều
  • Không nên đặt sự nghiệp quá mức vào những khái niệm như harnesses, agents hay context engineering của năm 2026
• Muốn học được nhiều hơn thì phải quay lại với nền tảng
  • Cần học cross-entropy là gì và tự tay tính thử với những phân phối nhỏ
  • Cần hiểu SVD sâu đến mức có thể hình dung nó trong đầu
  • Không chỉ nhìn vào RL cho coding; cần học ý tưởng, tính hữu ích và lý do policy gradients được ưa chuộng suốt nhiều thập kỷ
• Nếu kết quả tốt nhất của một dự án nghiên cứu chỉ là tăng điểm benchmark hiện có thì nó chưa đủ sâu
  • Các dataset hiện có thường không kiểm tra được những năng lực mới và thú vị
  • Jason Wei xem việc tìm ra dataset khiến phương pháp mới phải thể hiện đúng năng lực mà nó thực sự làm được là một kỹ năng bị đánh giá thấp nhưng có thể quyết định thành bại trong nghiên cứu AI
• Chủ đề cụ thể phải do chính mình tìm ra, và cần đào sâu, tập trung vào nền tảng, thay vì bị mắc kẹt trong việc chạy theo benchmark

Tâm thế người mới và phán đoán cởi mở

• Câu nói của Suzuki rằng “trong tâm trí người mới bắt đầu có nhiều khả năng, còn trong tâm trí chuyên gia thì có ít” cũng đúng với nghiên cứu
• Ở nghiên cứu AI hiện đại, tại Silicon Valley người ta thường lặp lại rằng kinh nghiệm nghiên cứu AI trước đó đôi khi còn phản tác dụng đối với trực giác nghiên cứu tốt
• Một số nhà nghiên cứu thời kỳ pre-scaling tiếp tục quan tâm tới việc thiết kế những phương pháp hoạt động ở quy mô nhỏ nhưng thất bại khi mở rộng quy mô
• Ở OpenAI, nhiều người vận hành công ty từ góc độ kỹ thuật đều dưới 35 tuổi, và nhiều người ra quyết định quan trọng của ChatGPT còn dưới 30 tuổi
• Đây là một lĩnh vực sơ khai mà từ khi ChatGPT ra đời còn chưa đến 4 năm, nên chưa ai có lợi thế áp đảo vì đã làm quá lâu
• Giữ khư khư một ý tưởng quá lâu có thể phản tác dụng, nên cần giữ đầu óc cởi mở và không để cái tôi làm lệch phán đoán

Cảm hứng cũng đến từ ngoài nghiên cứu

• Cảm hứng đến vào những khoảnh khắc không ngờ tới
• Khám phá cấu trúc vòng benzene nổi tiếng là đến từ một giấc mơ
  • Đó là một cấu trúc chưa từng thấy trước đó, được hình dung như hình ảnh con rắn tự cắn đuôi mình
• Ozempic là một ví dụ bắt nguồn từ thằn lằn
  • Hormone GLP-1 mà Ozempic mô phỏng được phát hiện lần đầu trong nọc độc của Gila monster, loài thằn lằn sa mạc chỉ ăn vài lần mỗi năm
  • Khám phá này dẫn tới một cơ chế cũng hoạt động ở con người
• Muốn làm nghiên cứu tốt thì cũng phải làm những việc không phải nghiên cứu
• Nhiều khoảnh khắc “à ha” không xảy ra trước bàn phím mà xảy ra khi đi bộ
• Những nhà tư tưởng như Darwin, Tesla, Feynman và Aristotle đều từng nói về lợi ích to lớn của việc duỗi chân và đi lại một chút

Cách nhìn nhận kết quả thí nghiệm

• Ngay cả khi đã triển khai hoàn hảo, ý tưởng vẫn có thể không đúng về mặt nền tảng
• Khi phân tích thí nghiệm, cần có sự điềm tĩnh trong thực nghiệm để đón nhận cả kết quả tốt lẫn xấu như những điều tích cực
• Cả hai đều cung cấp lượng thông tin như nhau
  • Đôi khi có thể học được nhiều hơn từ một chuỗi kết quả âm tính so với một kết quả dương tính
• Không nên quá phấn khích trước kết quả tốt
  • Một phần lớn các kết quả tốt xuất hiện vì bug
  • Cũng có thể kết quả không thật sự tốt, mà là do đo sai rồi tự thuyết phục bản thân
• Mong muốn ý tưởng của mình hoạt động là điều tự nhiên, nhưng các nhà nghiên cứu nhiều kinh nghiệm thường chia sẻ một sự hoài nghi rất mạnh, đặc biệt trước những kết quả có vẻ quá đẹp
• Những kết quả trông quá tốt gần như luôn khác với thực tế

So sánh, vận may và chiều sâu

• Nghiên cứu có tính định hướng kết quả rất mạnh
• Đặc biệt trong học thuật, rất dễ bị dao động cảm xúc khi nhìn vào thành công trên paper của người khác
• Mỗi người thành công vì những lý do khác nhau
  • Một số người gặp may
  • Quy trình review học thuật vừa không nhất quán vừa không công bằng
• Khi có một nghiên cứu mới đáng khâm phục xuất hiện trong lĩnh vực của mình, cần tự hỏi: “Liệu mình đã làm việc ở độ sâu đủ để tự tạo ra trực giác này chưa?”
  • Nếu câu trả lời là “có”, thì quy trình là đúng; chỉ là mình đã không thực hiện khám phá đó vì đang làm việc khác
  • Nếu câu trả lời là “không”, thì nên lấy đó làm động lực để đi sâu hơn

Công việc lặp lại vô hình

• Giống như câu nói trước khi giác ngộ thì chẻ củi gánh nước, sau khi giác ngộ cũng chẻ củi gánh nước, nghiên cứu cũng có rất nhiều việc lặp đi lặp lại
• Đằng sau nhiều dự án thành công là hàng trăm giờ công việc vụn vặt
• Andrej Karpathy đã gán nhãn thủ công cho một phần đáng kể của ImageNet
• Những người tạo ra SWEBench đã cẩn thận lọc dữ liệu GitHub suốt hàng trăm giờ để tạo ra một tập issue GitHub nhỏ, dễ xử lý và hữu ích cho đánh giá
• Nhìn vào sự nghiệp của các nhà nghiên cứu vĩ đại sẽ thấy trước thành công là rất nhiều thời gian làm việc âm thầm, không ai nhìn thấy
• Ý tưởng càng tham vọng và hướng tới tương lai thì có thể càng cần nhiều công sức cho triển khai và đánh giá kỹ lưỡng; khó khăn này không phải khuyết điểm mà là đặc trưng

Thói quen nghiên cứu luôn nghi ngờ bug

• Collin Raffel cho rằng nhiều ý tưởng thất bại không phải vì đó là ý tưởng tồi, mà vì bug trong code mà nhà nghiên cứu không tìm ra
• Trong thế giới LLM, vấn đề này đặc biệt khó
• Software stack deep learning hiện đại rất phức tạp và bug có thể ở khắp nơi
  • training
  • inference
  • harness
  • data
• Khi có điều gì đó trông sai, không nên bỏ qua
• Cần log nhiều metric và cố gắng hiểu tất cả chúng
• Nếu một số metric khác với dự đoán, cần tìm ra lý do; có thể thực sự đang có vấn đề
• Một trong những phẩm chất quan trọng của nhà nghiên cứu là sự hoài nghi lành mạnh

Phản hồi nhanh và chuyển đổi ngữ cảnh

• Phần lớn thí nghiệm deep learning mất quá nhiều thời gian
  • Việc train model có thể mất vài tuần hoặc vài tháng
  • Ngay cả đánh giá model trên một tác vụ đơn lẻ cũng có thể mất vài ngày
• Khi coding với agent, bạn sẽ muốn chạy song song nhiều thí nghiệm và để chúng vận hành theo chu kỳ chậm
• Song song hóa đơn thuần có giúp phần nào, nhưng chuyển đổi ngữ cảnh là một kiểu làm việc có hại
• Cần thiết kế một quy trình nghiên cứu công thái học hỗ trợ phản hồi thí nghiệm nhanh
  • Cần giảm thời gian cold start của việc train
  • Cần tạo ra các bài đánh giá nhỏ trả kết quả nhanh
• nanoGPT speedrun của Keller Jordan là ví dụ cho thấy có thể học được nhiều đến mức nào từ một vòng lặp lặp lại nhanh
• Một số kết quả rốt cuộc vẫn không thể tránh khỏi việc mất nhiều thời gian
  • Khả năng duy trì trạng thái qua nhiều ngày và hiểu được thí nghiệm từ tuần trước vừa kết thúc hôm nay là cực kỳ hữu ích

Những vấn đề mà coding agent làm nặng thêm

• Coding agent giúp di chuyển nhanh hơn, nhưng làm trầm trọng thêm hai vấn đề
  • Việc hiểu các chi tiết nền tảng trở nên khó hơn
  • Chuyển đổi ngữ cảnh diễn ra thường xuyên hơn
• Nhà nghiên cứu giỏi phải chủ động chống lại cả hai lực này
• Codex có thể viết script train, chạy nó, theo dõi khi đang chạy, diễn giải kết quả và gửi qua email
• Nhưng có thể xảy ra những lỗi nhỏ như sau
  • Khi gặp lỗi, nó tự ý rút ngắn system prompt mà không hỏi
  • Nó rút ngắn sequence length để bài đánh giá chạy trong thời gian có vẻ hợp lý
  • Nó chạy một config sai vì người dùng không chỉ định rõ
• Từ góc độ kỹ thuật, đây có thể là những lỗi nhỏ dễ sửa; nhưng từ góc độ khoa học, chúng rất nghiêm trọng
  • Chỉ một thiếu sót nhỏ cũng có thể làm thay đổi đáng kể những kết quả quan trọng của paper
  • Vì vậy không thể chấp nhận được
• Dù không trực tiếp viết code, muốn hiểu kết quả thì vẫn phải hiểu hệ thống đã tạo ra kết quả đó
• Khoa học tốt đòi hỏi phải học cách toàn bộ hệ thống vận hành, để có thể tin rằng quan sát của mình là đúng

Kiểu khí chất tạo nên nghiên cứu

• Để trở thành một nhà nghiên cứu thành công, thứ cần có không chỉ là tài năng
• Khí chất bị đánh giá thấp một cách nghiêm trọng
• Cần giữ được sự tò mò và bền bỉ, đồng thời vẫn suy nghĩ thấu đáo và cẩn trọng, thì ý tưởng mới tìm đến
• Nghiên cứu tốt nhất và công việc sản phẩm tốt nhất đều đến từ những người bám lấy vấn đề đủ lâu để thực sự hiểu nó
• Áp lực phải xuất bản nhanh và lặp lại nhanh là có thật, nhưng sự tích lũy được tạo ra từ chiều sâu

[GN⁺]

Ý kiến trên Hacker News

• Cảm giác về Zen ở phương Tây và thiền (禪) ở Đông Á khá khác nhau
  Zen kiểu phương Tây có lẽ gần với hình ảnh từ cuốn Zen and the Art of Motorcycle Maintenance của thập niên 1970, và thường mang sắc thái của sự bình thản cùng tâm thế của người mới bắt đầu
  Trong khi đó, thiền ở Đông Á thực sự nhấn mạnh hơn vào vô mục đích hay không có mục đích
  Zen kiểu phương Tây trông giống như hướng tới việc rèn luyện bản ngã để nó mạnh hơn, còn thiền ở Đông Á gần với việc thuận theo tự nhiên, buông bản ngã và để mọi thứ tự trôi chảy
  Trong thực hành thiền thực sự, trọng tâm là nghi ngờ bản ngã, buông chấp trước và nhận ra rằng ham muốn thành tựu, so sánh và kiểm soát đều là phù du
  Có câu nổi tiếng phóng hạ trước(放下著), tức là “hãy buông xuống tất cả”
  Thậm chí triết học Khắc kỷ của La Mã cổ đại còn có vẻ gần với thiền hơn là Zen kiểu phương Tây
  Vì thế khi đọc bài này, tôi tưởng đây sẽ là một bài viết về việc phải từ bỏ ham muốn thành công, nhưng nó lại đi theo một hướng hoàn toàn khác nên khá thú vị

  • Tương tự, chủ nghĩa Khắc kỷ theo cách phương Tây hay nói đến dường như bề ngoài chủ yếu tập trung vào việc kiểm soát hoặc kìm nén cảm xúc
    Trong khi đó, chủ nghĩa Khắc kỷ mà đúng hơn nên gọi là “kiểu La Mã” lại gần với một hệ thống đạo đức tổng thể hơn nhiều
  • Cụm “To be done with doing” trong tiểu thuyết Earthsea của Ursula K. LeGuin lúc nào cũng tạo cảm giác rất mạnh
    Nó cô đọng một trạng thái tinh thần chỉ trong năm từ, và tôi cũng nhớ mang máng rằng bà từng nói văn của mình chịu ảnh hưởng lớn từ triết học phương Đông
  • Nếu đang nói trong ngữ cảnh “thiền ở Đông Á nhấn mạnh hơn vào vô mục đích hay không có mục đích” thì tôi rất muốn giới thiệu Idler magazine
    Đây là một nguồn rất hay về cách tồn tại một cách lành mạnh mà không cần mục đích
    https://www.idler.co.uk/article/leisure-principles/
    https://archive.is/nKJM2
  • Tôi xem thiền là về thiền định, nơi suy nghĩ lắng xuống và ta trải nghiệm khoảnh khắc hiện tại
    Khi đó bộ não được nghỉ khỏi trạng thái “đuổi theo suy nghĩ”, và sau khi dừng thiền, ta có thể tập trung tốt hơn nên làm được nhiều việc hơn
    Có lẽ cũng đúng là nhiều người thực hành Zen ở phương Tây nhận ra điều này và dùng thiền cho chính mục đích đó
    Nếu nghĩ đến Star Wars, “the Force” được vẽ ra như sức mạnh tập trung có thể nhấc phi thuyền lên, nhưng đó là huyền thoại
    Ngược lại, khi đạt đến trạng thái tâm trí mang tính thiền, việc có nhấc được phi thuyền đó lên hay không lại trở nên kém quan trọng hơn
    Trong truyền thống phương Đông, thiền là mục đích tự thân
    Tôi tự hỏi có phải ý ban đầu muốn nói gần với nghĩa này hơn không

• Khoảng năm 2015 tôi bắt đầu quản lý đồng thời các kỹ sư backend và kỹ sư machine learning
  Nhiều kỹ sư backend muốn làm machine learning nhiều hơn, và khi được trao cơ hội thì có người làm rất tốt, nhưng cũng có người chỉ vài tháng sau đã muốn quay lại backend
  Đồng thời, một trong các leader machine learning lại muốn rời machine learning để chỉ làm công việc backend hỗ trợ cho machine learning
  Quan sát dòng dịch chuyển đó khiến tôi nghĩ rằng mỗi người có tần suất cần xác nhận tín hiệu thành công khác nhau
  Do đặc thù sản phẩm, để đo hiệu năng của một mô hình mới hay mô hình được cập nhật, chúng tôi phải chạy nó trên dịch vụ thực ít nhất trọn một tháng, và từ công đoạn đầu đến phân tích cuối cùng thường mất hơn hai tháng
  Trong khi đó, nhiều công việc backend cho phép làm prototype nhanh, chạy thử để xem có hoạt động không rồi chuyển sang bước tiếp theo, nên tín hiệu đến liên tục suốt cả ngày
  Sự khác biệt về tần suất tín hiệu mà mỗi người cần ảnh hưởng rất lớn đến việc họ có thích công việc machine learning hay không
  Nó giống như một phiên bản feature engineering dành cho nhà quản lý, và tôi đã học được rất nhiều từ những người trong nhóm đó

  • Tôi đã thấy cùng hiện tượng này và luôn tự hỏi làm sao có thể quản lý nó hiệu quả
    Đội data engineering muốn làm data science nhiều hơn, còn hai nhà khoa học dữ liệu thì cả hai đều muốn trở thành data engineer
    Một trong số họ còn nói rằng vì ai cũng muốn làm data scientist nên thị trường quá đông, còn làm data engineer thì kiếm được nhiều tiền hơn
    Lần khác, một người bạn than phiền rằng anh ấy phải rời khỏi công việc frontend thuần túy vì đó là ngõ cụt nghề nghiệp, nhưng ngay trưa hôm sau thì một đồng nghiệp khác lại đang cân nhắc chuyển sang frontend vì cho rằng các lập trình viên frontend giành hết mọi công lao

• Câu “Ngồi vào những ngày có được insight. Ngồi vào cả những ngày không có insight” khiến tôi nhớ đến câu trả lời của Ed Witten trong một cuộc phỏng vấn với Brian Greene
  Khi Greene hỏi cuộc sống thường ngày ở Institute for Advanced Study như thế nào, Witten đã trả lời: “Tôi ngồi ở bàn làm việc”

• Bài viết xoay quanh tinh thần “hãy đào sâu hơn”, nhưng tôi nghĩ đây là một con dao hai lưỡi
  Entropy, tensor và gradient đúng là quan trọng, gần như là điều kiện bắt buộc
  Nhưng theo tôi, phần lớn tiến bộ của deep learning trong 10 năm qua đến từ những thực hành tiệm tiến và được kiểm chứng bằng thực nghiệm hơn là từ các ý tưởng nền tảng
  Có những trực giác hay về lý do ReLU tốt hơn sigmoid, nhưng ngay cả bài báo gốc của Hinton cũng về cơ bản gần như nói rằng đó là vì “học nhanh hơn 3 lần”
  Việc suy nghĩ lại những điều cơ bản có thể hữu ích, nhưng rất hiếm khi tiến bộ thực sự đến từ kiểu “hãy thay đổi nền tảng”
  Ngay cả những bài báo quan trọng như AlexNet hay Attention Is All You Need cũng là theo hướng mài giũa các ý tưởng sẵn có và cho thấy chúng giúp ích như thế nào
  Machine learning là một khoa học thực nghiệm, và nhiều ý tưởng đẹp về mặt toán học lại không hoạt động, trong khi các ý tưởng mang tính kỹ thuật thì thường hoạt động tốt
  Còn lời khuyên rằng “một trong những phẩm chất quan trọng nhất của nhà nghiên cứu là chứng hoang tưởng lành mạnh”, vì tôi đã thấy quá nhiều nghiên cứu sinh tiến sĩ kiệt sức hoàn toàn, nên tôi không chắc nó có phải lời khuyên tốt hơn câu “trầm cảm tốt cho triết gia” hay không
  Nếu ý là hãy trở thành một người khám phá bền bỉ thì tôi đồng ý
  Nhưng bám lấy một ý tưởng quá lâu có thể phản tác dụng, và tôi cũng đồng ý với kết luận rằng cần giữ đầu óc cởi mở và không để bản ngã làm méo mó phán đoán

• Đây thực sự là một bài luận xuất sắc và rất dễ đọc
  Như tác giả nói, không chỉ trong nghiên cứu mà ở nhiều lĩnh vực khác, thành công hay tiến bộ phụ thuộc rất lớn vào khí chất cá nhân
  Cuối cùng thì thái độ tốt, sự kiên nhẫn, tính tò mò bẩm sinh và khả năng phục hồi sau thất bại mới là điều quan trọng
  Những năng lực tạo nên một nhà nghiên cứu giỏi cũng chuyển sang các lĩnh vực khác rất tốt
  Chỉ là trong một nền văn hóa luôn rút gọn khả năng chịu đựng sự khó chịu thành siêu tiện lợi, những năng lực đó dường như ngày càng hiếm và càng đáng giá hơn
  Con người ngày càng khó chấp nhận việc phải chờ đợi hoặc thất bại hơn

• Thông tin ngoài lề về nguồn gốc từ nguyên của từ Zen: Zen là tiếng Nhật, bắt nguồn từ tiếng Trung Chan, còn Chan lại bắt nguồn từ tiếng Phạn Dhyana
  Dhyana có thể được dịch gần đúng là sự tập trung hoặc thiền định
  Chuỗi Sanskrit → tiếng Trung → tiếng Nhật phản ánh lộ trình địa lý mà Phật giáo đã lan tỏa từ Ấn Độ
  Cùng một từ đó trong tiếng Việt và tiếng Hàn lần lượt là Thiền và Seon

• Có vẻ hiện tượng này xảy ra vì machine learning gần với sinh học hay giả kim thuật hơn là toán học hay lập trình
  Trong toán học hay lập trình, có thể lần xuống đến các nguyên lý bậc nhất, các tầng trừu tượng vững chắc và tính bất định bị giới hạn, nhưng machine learning thì không như vậy

• Theo nghĩa tương tự, việc Anthropic vừa mở tin tuyển dụng nhưng lại cấm dùng sản phẩm của mình cho nghiên cứu mô hình frontier trông khá lố bịch và thiển cận
  Không rõ họ nghĩ những nhân tài đó sẽ từ đâu mà ra
  Đây có vẻ là một quyết định vội vàng, và về sau rất có thể sẽ dẫn đến các vụ kiện chống cạnh tranh

• Đoạn nói rằng “Điều ấn tượng ở OpenAI là những người điều hành công ty, ít nhất là phần lớn ở phía kỹ thuật, đều dưới 35 tuổi. Nhiều người ra quyết định quan trọng đằng sau ChatGPT còn dưới 30 tuổi” dường như hàm ý rằng vẫn còn nhiều chỗ để cải thiện, vì ngay cả trong cơn sốt vàng thì phần lớn 49ers cũng dưới 25 tuổi
  Tiếp tục phép so sánh này, nhiều anh hùng AI có thể cũng là những người từ rất sớm đã ở gần các cụm TPU và GPU

  • Khả năng ở gần các nguồn lực ban đầu đó hẳn cao hơn nhiều đối với những người đã ám ảnh với machine learning/AI đến mức khó giải thích, ngay cả khi lĩnh vực này từng bị xem là đã hết thời và không còn thịnh hành

• Ý chính của bài này có vẻ là “đừng quá tin vào các gói đánh giá hiện tại”
  Điểm số chỉ phản ánh một phần của vấn đề
  Điều thú vị là tìm ra các thước đo đánh giá mới và ổn định, rồi xem liệu khi làm điều gì đó mới dựa trên chúng có tạo ra những kết quả thông minh ngoài dự đoán hay không

  • Phần đó chắc chắn cũng nằm trong ý bài
    Tuy vậy, trọng tâm là việc tập trung vào các vấn đề do người khác đề xuất là một cách nghĩ rất đặc thù và khá ngắn hạn
    Một nhà nghiên cứu giỏi thì nâng điểm benchmark, còn một nhà nghiên cứu xuất sắc thì nghĩ về mình đang giải bài toán nào

[laeyoung]

Bản tóm tắt bình luận trên Hacker News cũng khá thú vị nhỉ