- YC cho rằng LLM có thể giảm mạnh chi phí thiết kế các hệ thống số tùy biến, nhưng nút thắt chính nằm ở thiết kế kiến trúc chip và kiểm chứng hơn là sinh mã
- LLM đôi khi có thể tạo ra Verilog chạy được, nhưng hiện vẫn kém con người và chưa thể thiết kế kiến trúc mới quyết định hiệu năng của các chip tăng tốc hiện đại
- Cách tiếp cận giảm chi phí này giống với tổng hợp mức cao (HLS) trước đây; HLS cũng cải thiện năng suất nhưng chất lượng kết quả và hiệu năng thấp hơn luồng RTL nên không trở thành chủ đạo trong thị trường chip giá trị cao
- Những lĩnh vực mà LLM hoặc HLS hữu ích chỉ khá hạn chế, như tăng tốc FPGA cho các nhóm thiếu chuyên môn RTL; các thị trường như genomics hay CFD thì GPU đã đáp ứng một phần và quy mô cũng nhỏ
- Cơ hội thực tế hơn nằm ở năng suất kiểm chứng chip thay vì tự động hóa thiết kế, dù vẫn còn bài toán khiến LLM hiểu và suy luận từ các đặc tả chip phức tạp
Nút thắt của thiết kế chip mà đề xuất của YC đã bỏ lỡ
- Trong Request for Startups mới nhất, YC cho rằng thiết kế hệ thống số tùy biến đắt đỏ vì phải thiết kế, phát triển và kiểm thử theo cách thủ công, và mô hình ngôn ngữ lớn có thể giảm mạnh chi phí đó
- Bằng cách tối ưu các thuật toán hoặc phép tính chuyên biệt, có thể thực hiện các tác vụ như cryptocurrency mining, data compression, special-purpose encryption nhanh hơn 5x~100x, với mức năng lượng thấp hơn 10x~100x
- Nếu Gary Tan và YC tin rằng LLM có thể thiết kế chip tốt hơn con người 100 lần, thì họ đã đánh giá quá thấp độ khó của thiết kế chip và mức độ chuyên môn cần có của nhà thiết kế
- LLM đôi khi có thể viết Verilog hoạt động được, nhưng hiện vẫn kém con người, và không có khả năng thiết kế kiến trúc chip mới vốn là thứ thúc đẩy cải thiện hiệu năng ở các chip tăng tốc hiện đại
- Cuối cùng, LLM gần với một công cụ tạo ra mã Verilog tầm thường hơn là tác nhân giúp chip trở nên tốt hơn đáng kể
HLS đã sớm trải qua giới hạn của cách tiếp cận giảm chi phí
- Kỳ vọng rằng công cụ dựa trên LLM có thể hạ chi phí thiết kế chip để mở rộng tính kinh tế của tăng tốc phần cứng khá giống với các nỗ lực tổng hợp mức cao (HLS) trước đây
- HLS xuất hiện cùng với việc thành lập Forte Design Systems vào năm 1998, và Cynthesizer đã tự động chuyển SystemC sang Verilog dựa trên các ràng buộc thời gian cụ thể
- Các công cụ HLS chuyển mã ở ngôn ngữ mức cao như C, C++, Scala sang Verilog, rồi cho phép tổng hợp thành cổng logic cho ASIC và FPGA
- Mục tiêu là giúp các nhóm không có chuyên môn sâu về Verilog vẫn có thể phát triển silicon rẻ hơn và dễ hơn
- Cynthesizer không được đón nhận rộng rãi, và sau khi Forte được Cadence mua lại vào năm 2014, nó được tích hợp vào công cụ HLS Stratus của Cadence
Đánh giá hiện tại về HLS và thị trường chip hiệu năng cao
- Xilinx, nay là AMD, đã tích cực thúc đẩy HLS cho tăng tốc FPGA, và Vitis được xem là một trong những công cụ HLS tốt trong ngành
- Phần mở đầu của khảo sát kỹ thuật mới nhất của Lan Huang về HLS chỉ ra các hạn chế của công cụ HLS
- Nhà thiết kế vẫn phải đối mặt với nhiều khía cạnh của thiết kế phần cứng
- Chu kỳ phát triển vẫn dài
- Chất lượng kết quả (QoR) vẫn thua kém đáng kể so với luồng RTL
- Các khảo sát của những nhà nghiên cứu khác cũng cho ra kết quả thất vọng tương tự
- HLS có thể nâng năng suất của nhà thiết kế, nhưng lại làm giảm hiệu năng của thiết kế tạo ra
- Trong các thị trường chip giá trị cao, cạnh tranh khốc liệt như chip tăng tốc AI, hiệu năng là chỉ số cạnh tranh cốt lõi, vì vậy chấp nhận chi phí ban đầu để thuê các nhà thiết kế RTL giỏi và tạo ra chip nhanh hơn là điều hợp lý
Bài toán kinh tế của các thị trường tăng tốc nhỏ
- HLS đã không tạo được chỗ đứng trong các dòng chip giá trị cao, sản lượng lớn nơi hiệu năng và hiệu suất là yếu tố quan trọng, và các LLM tạo ra Verilog chất lượng thấp nhiều khả năng cũng sẽ gặp vấn đề tương tự
- Một số trường hợp HLS thành công là ở những lĩnh vực cho phép kỹ sư không có chuyên môn silicon vẫn tận dụng được tăng tốc phần cứng
- Tăng tốc FPGA cho khối lượng công việc genomics
- Tăng tốc FPGA cho khối lượng công việc CFD
- Trong các trường hợp này, HLS có giá trị vì các kỹ sư xây dựng bộ tăng tốc phần cứng đó không có kinh nghiệm để tự tạo một thiết kế tối ưu ở mức RTL từ đầu
- Tuy nhiên, thị trường tăng tốc phần cứng cho genomics và CFD tương đối nhỏ, GPU đã đáp ứng một phần nhu cầu, và quy mô vẫn còn thấp hơn cả một phần doanh số của chip AI hay bộ tăng tốc mật mã
- Nếu thị trường lớn hơn, sẽ có cơ sở kinh tế để đầu tư các kỹ sư phần cứng lành nghề nhằm tạo ra silicon tối ưu
Những lĩnh vực mà giảm chi phí có thể mở ra, và giới hạn của nó
- LLM có thể giảm chi phí phát triển silicon, từ đó giúp các ASIC chuyên dụng cho những ứng dụng như genomics trở nên khả thi hơn về mặt kinh tế, trong khi trước đây thì không
- Tuy nhiên, lý do những ASIC đó trước đây không khả thi về mặt kinh tế là vì đây không phải thị trường lớn
- Những ứng dụng chưa thật sự cần tăng tốc phần cứng nhiều khả năng là thị trường nhỏ, và là mục tiêu không tốt cho startup
- Trong các thị trường đang tăng trưởng, những chip do LLM thiết kế với chất lượng thấp có thể trở thành bàn đạp ban đầu giá rẻ cho startup
- Khi thị trường đủ lớn để biện minh cho một đội ngũ thiết kế chip hoàn chỉnh, thì trong tương lai gần, chip do con người thiết kế nhiều khả năng sẽ dễ dàng vượt trội về hiệu năng so với chip do LLM thiết kế
Vai trò thực tế của LLM trong thiết kế chip
- Nếu thiết kế chip dựa trên LLM chủ yếu chỉ mở ra các thị trường giá trị thấp, thì lý do các startup và các công ty EDA hiện hữu muốn tận dụng LLM nằm ở chỗ khác
- Một copilot LLM cho Verilog nhiều nhất cũng chỉ ở mức tầm thường, nhưng nếu dùng để viết các đoạn mã đơn giản thì vẫn có thể tiết kiệm thời gian cho kỹ sư và giảm chi phí cho công ty
- Lĩnh vực quan trọng hơn là kiểm chứng chip
- Nói chung, lỗi silicon có chi phí rất lớn, nên thường cần 2 kỹ sư kiểm chứng cho mỗi 1 nhà thiết kế
- Hiện nay rất khó tìm được kỹ sư kiểm chứng giỏi
- Nếu LLM có thể khiến việc kiểm chứng nhanh hơn, dễ hơn và hiệu quả hơn, nó sẽ tạo ra giá trị lớn cho cả các công ty bán dẫn hiện hữu lẫn các startup bán dẫn
- Tuy nhiên, khiến LLM thực sự hiểu và suy luận từ đặc tả thiết kế chip không phải là bài toán nhỏ, và có lý do để hoài nghi các cách tiếp cận chỉ đơn giản áp dụng LLM tinh chỉnh cho kiểm chứng chip như Bronco hay Instachip
Mô hình cần thiết cho kiểm chứng và những bên hưởng lợi
- Đặc tả chip thường phức tạp, không hoàn chỉnh và có tính mê cung
- Kiểm chứng chip thành công đòi hỏi LLM phải hiểu được trạng thái nội bộ kỳ vọng của chip
- Về bản chất, mô hình ngôn ngữ phải có một mô hình hình thức về chip, gần giống một dạng AlphaProof áp dụng cho kiểm chứng bán dẫn thay vì cho toán học
- Normal Computing đang làm việc theo hướng này cùng với các thermodynamic chip architectures mới
- LLM có thể khiến việc thiết kế chip rẻ hơn, nhưng bên hưởng lợi chính là các công ty bán dẫn lớn có thể giảm nhân lực kiểm chứng, các startup chip theo cách truyền thống có thể vận hành với đội ngũ nhỏ hơn, và các startup phần mềm EDA bán công cụ dựa trên LLM
- LLM sẽ không tạo ra những con chip tốt hơn 100 lần, cũng không làm cho các startup phần cứng nhắm vào những thị trường thiếu tăng tốc phần cứng trở nên khả thi, vì bài toán kinh tế không phù hợp
1 bình luận
Ý kiến trên Hacker News
Trong lĩnh vực EDA, LLM vẫn còn một chặng đường rất dài
Vài tháng trước trên LinkedIn, có người hỏi các LLM lớn về tổng điện dung của mạch gồm 3 tụ điện trông có vẻ trái trực giác nhưng thực ra mắc song song, và không mô hình nào trả lời đúng. Chúng không chỉ phán đoán sai là mắc nối tiếp mà còn tính sai cả điện dung nối tiếp, và dù thử nhiều prompt khác nhau vẫn không ra đáp án đúng
Tôi cũng thấy quảng cáo cho một công cụ AI nói là giúp hiểu sơ đồ mạch; với một mạch trông giống pedal distortion guitar, nó đoán đúng rằng tụ điện chặn dòng một chiều, nhưng lại bỏ lỡ việc đó là thành phần của bộ lọc thông cao RC. Phần lồng tiếng bảo rằng “học 4 năm kỹ thuật điện mà cái này cũng không dạy” nghe khá buồn cười, vì tôi tự hỏi chẳng lẽ thật sự không dạy chuyện tụ điện chặn DC và mạch lọc RC sao
Với lĩnh vực này thì có lẽ phải tự xây một bộ dữ liệu được tuyển chọn kỹ và huấn luyện mô hình chuyên biệt hơn. Mô hình đa dụng lạc hướng quá nhiều
Không ít người từng học đại học tin rằng mình chẳng học được gì có ý nghĩa ở một môn nào đó. Tôi hoàn toàn tin rằng những người như vậy thực ra đã học thứ gì đó có ý nghĩa trong môn đó nhưng không nhớ nổi, còn việc có nên đổ trách nhiệm cho môn học hay không thì lại là chuyện rất đáng nghi ngờ
Mạch RC thực sự rất khó
Dùng LLM ở những giai đoạn vốn dĩ không thể tái lập như nảy ý tưởng hay học tập thì không sao. Nhưng việc các kỹ sư muốn đặt một hộp đen chậm, đắt đỏ và phi tất định vào trung tâm của những hệ thống cực kỳ phức tạp, nơi đòi hỏi độ tin cậy, khả năng kiểm tra và khả năng hiểu được, thì tôi vẫn thấy khó tin
Tôi nhớ từng thấy một chứng minh hoặc suy đoán rằng việc tạo ra một “tường lửa LLM” có thể chặn mọi prompt khả dĩ là điều bất khả thi, dù cũng có thể trí nhớ tôi nhầm
[1] https://arxiv.org/abs/2410.07283
Còn lại thì đúng. Hiện vẫn chưa thể kiểm tra được hoặc hiểu được
Những việc đòi hỏi “hiểu biết” sâu hoặc phát minh mới không phải là thứ nên giao cho cỗ máy tái tạo từ ngữ theo thống kê. Tôi vẫn chưa thấy lấy một ví dụ nào mà LLM thật sự phát minh ra thứ gì mới trong bất kỳ lĩnh vực nào. Ý tôi là ở mức mà chuyên gia trong lĩnh vực đó công nhận là mới
Nơi LLM tỏa sáng là tạo ra văn bản khuôn mẫu, và điều đó cực kỳ hữu ích. Cho đến nay tôi chưa thấy gì trong LLM trông giống như “ý nghĩ” nguyên bản. Dù vậy tôi vẫn dùng AI hằng ngày trong công việc
ESM3: https://www.evolutionaryscale.ai/blog/esm3-release
AlphaProof/AlphaGeometry2: https://deepmind.google/discover/blog/ai-solves-imo-problems...
Phát hiện vật liệu mới của MatPilot: https://arxiv.org/abs/2411.08063
Và còn có việc huấn luyện digital twin trong Nvidia Omniverse
https://blog.google/technology/ai/google-ai-big-scientific-b...
Việc những cái tên như Timsort hay Dijkstra được dùng làm tên riêng đều có lý do. Để phát minh ra những thứ như vậy cần một dạng sáng tạo rất hiếm có của con người. Nếu LLM còn không tạo ra nổi một thuật toán sắp xếp mới tốt hơn có ý nghĩa so với các thuật toán hiện có, thì những việc khó hơn nhiều như thiết kế chip sẽ còn khó hơn nữa
YC không hề quan tâm chuyện làm thiết kế chip bằng LLM có “hợp lý” hay không. Giống các quỹ VC khác, họ bất lực về mặt kỹ thuật và chỉ quan tâm đến việc sản xuất ra các startup sống bằng thổi phồng có khả năng được mua lại
Gary Tan không quan tâm đến “làm ra chip tốt hơn”, mà quan tâm đến việc tìm một kẻ ngốc nào đó sẵn sàng mua vài công ty tệ hại dựa trên thổi phồng với giá hàng chục tỷ đô. Có lẽ sẽ rất hợp với vai trò một ngân hàng đầu tư kiểu cũ
YC bất tài về kỹ thuật và không phải là một tổ chức muốn làm thế giới tốt đẹp hơn. Mọi lời họ nói đều là dối trá và nhằm che giấu ý định thật sự của họ, tức là kiếm tiền
Thứ hai, bạn có thể nêu ví dụ về một “công ty sống bằng thổi phồng” nào không có tăng trưởng doanh thu thật mà vẫn được bán với giá “hàng chục tỷ” không?
Thứ ba, ngân hàng đầu tư làm trung gian cho việc mua bán tài sản chứ không trực tiếp đi mua
Nếu bạn còn không nắm những điều cơ bản về VC, startup và ngân hàng thì có lẽ tốt hơn là không nên tham gia cuộc thảo luận này
Tôi đã làm 1 năm trong nhóm kiến trúc DSP của Qualcomm nên cũng có chút kinh nghiệm ở lĩnh vực này, nhưng không nhiều
Tác giả đang bỏ sót vài điểm quan trọng trong thiết kế chip. Phần lớn thời gian và công việc không được dùng để viết Verilog hiệu năng cao. Các kỹ sư thiết kế dành rất nhiều thời gian để trả lời câu hỏi, viết tài liệu, sao chép mã mẫu, và đọc các manual cùng sơ đồ khó hiểu. LLM đã có thể hỗ trợ tất cả những việc này
Tôi cho rằng chỉ riêng LLM ở trạng thái hiện tại cũng có thể giúp tốc độ của đội thiết kế tăng ít nhất 2 lần, và với công cụ tốt hơn thì ngay cả khi trí tuệ mô hình không cải thiện, có thể đạt 4 lần hoặc 10 lần. Phần lớn lợi ích sẽ đến từ việc chạy được nhiều thử nghiệm hơn, thử được nhiều phương án hơn, nhận phản hồi về các lựa chọn thiết kế nhanh hơn, và giảm thời gian dành cho tài liệu hóa, giao tiếp, cũng như đọc tài liệu tệ hại
“Hóa ra LLM cũng khá có giá trị cả với các con chip trong những thị trường sinh lời cao. Chỉ là nó sẽ không làm phần lớn công việc thiết kế. Copilot LLM cho Verilog, nhìn tích cực nhất thì cũng chỉ ở mức tầm thường. Nhưng nếu để LLM viết những đoạn mã đơn giản thì có thể tiết kiệm thời gian cho kỹ sư và cuối cùng cũng giảm chi phí cho người sử dụng lao động.”
Tôi nghĩ việc kỹ sư thiết kế nhanh gấp 2 có lẽ là hơi lạc quan, nhưng cũng có thể tôi sai. Phần lớn kinh nghiệm thiết kế chip của tôi là ở các công ty nhỏ có tài liệu tốt, tập trung vào kiến trúc và thiết kế datapath, nên có thể tôi đã đánh giá thấp việc một kỹ sư trung bình phải xử lý bao nhiêu mã mẫu
Dù vậy, tôi không nghĩ LLM sẽ sớm thiết kế được datapath hiệu năng cao hay Verilog cho mạng
Tôi đồng ý với phần lớn các luận điểm kỹ thuật của bài viết
Dù vậy, việc YC kêu gọi đổi mới trong lĩnh vực này vẫn có thể có giá trị. Bài viết đã chỉ ra đúng rằng không có chiến thắng dễ dàng khi áp dụng LLM vào thiết kế chip. Nếu thị trường cho một ứng dụng cụ thể quá nhỏ thì dù LLM có hỗ trợ cũng không mang nhiều ý nghĩa, và nếu con chip quá quan trọng thì bạn sẽ muốn dùng những kỹ sư giỏi nhất. Khác với phần mềm, trong thiết kế chip hiệu ứng đuôi dài không lớn đến vậy. Tapeout chip không phải là việc một hacker có thể làm, và ngay cả việc nghịch FPGA cũng có chi phí gia nhập cao hơn việc hack trên PC
Nhưng nếu đã có một con đường tiến lên rõ ràng thì YC cũng đâu cần phải kêu gọi những cách tiếp cận đổi mới
Điều này cũng từng thấy khi George Hotz muốn lật đổ các công ty chip bằng kế hoạch chip AI https://geohot.github.io/blog/jekyll/update/2021/06/13/a-bre... Có vẻ như ông ấy đã không hiểu rõ độ phức tạp. Nhưng cũng phải công nhận là ông ấy đã nhanh chóng chuyển hướng sang phần mềm và làm tiny-box
Một mảng systolic đa dụng kiểu phi Von Neumann ở mức bit có thể làm tăng tốc rất mạnh không chỉ tính toán AI mà gần như mọi thứ. Ý tôi là một con chip làm tính toán đa dụng
Bản thân việc thiết kế chip gần như là chuyện nhỏ. Tôi nghĩ một người có vài năm kinh nghiệm có thể làm ra trong vài ngày. Tôi muốn gửi một thiết kế cho TinyTapeout tiếp theo. Tôi sống bằng thu nhập cố định nên đã phải chờ một thời gian
Vấn đề thực sự là lập trình. Nó gần như là một vùng biên chưa được khám phá trải dài vô tận. Không có cách tốt nào để nhắm tới kiến trúc này, và bạn sẽ không muốn viết Verilog hay bất kỳ ngôn ngữ mô tả phần cứng nào khác
Về cơn sốt LLM, tôi nghĩ rồi mọi người sẽ nhận ra rằng kết hợp LLM và thuật toán sẽ làm được nhiều việc hơn rất nhiều so với chỉ dùng LLM. Có thể từ thuật toán ở đây chưa thật chính xác, ý tôi là các công cụ bổ trợ như cơ sở dữ liệu, thuật toán, các mô hình khác. Ví dụ, có thể chỉ huấn luyện cho LLM về API truy cập thay vì toàn bộ dataset
Tôi không biết gì về thiết kế chip
Nhưng câu kiểu “không thể áp dụng AI vào lĩnh vực X. X phức tạp và LLM hiện tại kém con người” lúc nào cũng nghe đáng ngờ
VC không đầu tư để cải thiện X bằng các hệ thống dựa trên LLM hiện tại, mà đang đầu tư vào tương lai nơi các hệ thống dựa trên LLM mạnh hơn 100 lần
Viết lách cũng phức tạp và LLM từng thua con người, nhưng giờ đã khác. Nghệ thuật số và âm nhạc cũng vậy. Cứ nhìn suno.AI là thấy. Có một khuôn mẫu ở đây
Phần lớn Verilog cấp chuyên gia là mã đóng nên LLM thường viết Verilog kém hơn Python rất nhiều. Mà ngay cả Python thì LLM cũng chưa thật giỏi
Một số trong đó có thể trông rất tùy ý, nhưng để làm đúng thì cần hiểu biết sâu sắc. Chỉ với các token như ngôn ngữ thì không thể suy ra điều này. Sự hiểu biết nền tảng về các định luật vật lý và quy tắc kinh nghiệm mới là quan trọng
Nếu trong một số trường hợp sử dụng nào đó, LLM trở nên giỏi trong lĩnh vực này, thì bên hưởng lợi sẽ không phải startup nhỏ mà là các công ty thiết kế chip hiện có
Thiết kế chip trông không giống vậy lắm. Nó giống trường hợp các công cụ được huấn luyện chuyên biệt sẽ hữu ích hơn. Khả năng mà LLM đa dụng đã thể hiện trong các tác vụ cụ thể là rất ấn tượng, nhưng vẫn có những việc mà một mô hình được huấn luyện trên kho văn bản rộng khó có thể vượt qua công cụ chuyên biệt. Quay lại đoạn đầu, chẳng phải sẽ rất đáng ngờ nếu tin rằng một mô hình được huấn luyện bằng văn bản sẽ đánh bại Stockfish trong cờ vua sao?”
YC cũng đang rải tiền rồi cầu nguyện với AI giống như đa số nhà đầu tư
Theo cách tôi đọc, tăng tốc phần cứng cho một thuật toán cụ thể có thể nhanh và hiệu quả hơn 100 lần so với chạy chính thuật toán đó bằng phần mềm trên bộ xử lý đa dụng, và vì thiết kế chip tự động đã được chứng minh là một không gian bài toán khó, nên ý ở đây có vẻ là thử áp dụng AI để hạ thấp rào cản gia nhập cho các bộ tăng tốc phần cứng chuyên dụng phục vụ nhiều tác vụ khác nhau
Có lẽ không phải họ muốn nói AI thiết kế chip giỏi hơn con người 100 lần, và tôi nghĩ phần đánh đổi kỹ thuật mà họ nói đến nằm ở chỗ này. Dù vậy, câu chữ khó hiểu đến mức đau đớn và quá nặng tính tiếp thị, nên cũng khó trách việc nó gây bối rối
Ngoài ra, bài gốc dường như đã bỏ lỡ trọng tâm khi nói rằng các ứng dụng mục tiêu có thị trường quá nhỏ nên không đáng theo đuổi
Xét riêng từng cái thì chúng không đủ lớn để tạo ra vốn hóa thị trường cho một công ty, nhưng một startup chip AI giả định có thể theo đuổi đồng thời nhiều thị trường nhỏ như thế. Chẳng phải đó sẽ là một chiến lược đuôi dài sao?
Bài viết hay, nhưng nguyên tắc chủ đạo của YC là giả định công nghệ sẽ tiếp tục phát triển theo cấp số nhân, rồi suy nghĩ xem điều đó sẽ mở ra những gì
Các đề xuất của họ luôn giả định startup sẽ cưỡi trên một xu hướng kiểu định luật Moore cho AI, và tổng hợp phần cứng là một trường hợp sử dụng rõ ràng. Tức là họ giả định trong vòng 2 năm sẽ xuất hiện một công ty tổng hợp phần cứng AI thành công, rồi cố đi trước đường cong đó
Tôi đồng ý rằng có lẽ họ đã sai, nhưng bài này thực ra không giải thích vì sao việc đặt cược vào sự tiến bộ theo cấp số nhân của năng lực AI lại là sai