CEO Anthropic Dario Amodei: mô hình DeepSeek không quá đáng kinh ngạc

Dario Amodei cho rằng cách nhìn nhận về các mô hình V3 và R1 của DeepSeek đang bị thổi phồng.

Ba động lực của sự phát triển AI (Three Dynamics of AI Development)

1. Scaling laws: nếu các yếu tố khác giữ nguyên, hiệu năng của hệ thống AI sẽ tăng khi quy mô lớn hơn. Ví dụ, mô hình trị giá 1 triệu USD giải được 20% tác vụ lập trình, mô hình 10 triệu USD giải được 40%, và mô hình 100 triệu USD giải được 60%

2. Shifting the curve: đường cong chi phí-hiệu năng dịch chuyển nhờ kiến trúc mô hình hoặc hiệu quả tính toán tăng lên. Với đổi mới nhỏ, hiệu quả chi phí tăng khoảng 1,2 lần; đổi mới cỡ vừa là 2 lần; đổi mới lớn là khoảng 10 lần. Tuy nhiên, ngay cả khi hiệu quả chi phí tăng, các công ty không giảm chi phí huấn luyện mà tái đầu tư để tạo ra các mô hình có hiệu năng cao hơn. Những đổi mới này cộng dồn lại đang tạo ra mức tăng khoảng 4 lần mỗi năm.

3. Shifting the paradigm: đến năm 2023, đối tượng chính của scaling là pretrained model được huấn luyện trên lượng dữ liệu Internet khổng lồ. Nhưng từ năm 2024, bắt đầu với o1, reinforcement learning bắt đầu được sử dụng. Cách làm này là bắt đầu từ một pretrained model thông thường rồi thêm giai đoạn reinforcement learning. Từ năm 2024, việc scaling ở giai đoạn reinforcement learning đã bắt đầu, nhưng vì vẫn còn ở giai đoạn đầu nên chỉ với mức đầu tư nhỏ cũng có thể đem lại cải thiện hiệu năng lớn.

Mô hình DeepSeek

DeepSeek đã công bố pretrained model DeepSeek-V3 cách đây một tháng và tuần trước công bố R1 với giai đoạn reinforcement learning được bổ sung. DeepSeek-V3 đã tiệm cận hiệu năng SOTA và cải thiện đáng kể hiệu quả mô hình.

• Tuy nhiên, tin đồn rằng DeepSeek đạt hiệu năng ngang các mô hình trị giá hàng tỷ USD của các công ty Mỹ chỉ với 6 triệu USD là phóng đại. Claude Sonnet 3.5 tiêu tốn hàng chục triệu USD để huấn luyện và đã được huấn luyện từ 1 năm trước.
• Xét việc hiệu quả huấn luyện tăng khoảng 4 lần mỗi năm, cùng với việc hiệu năng của V3 vẫn chưa đạt SOTA hoàn toàn (tương đương chênh lệch chi phí khoảng 2 lần trên đường cong), thì việc mô hình V3 được huấn luyện với chi phí rẻ hơn khoảng 8 lần không phải điều nằm ngoài xu hướng phát triển hiện nay. Các công ty Mỹ cũng sẽ sớm đạt được mức hiệu quả tương tự theo cách riêng của họ.
• Vấn đề là một mô hình đi theo xu hướng này đã xuất hiện ở Trung Quốc.
• DeepSeek đang sở hữu 50.000 chip thế hệ Hopper. Nếu tính đến việc con số này tương đương khoảng 1/2~1/3 so với các công ty Mỹ, thì chênh lệch chi phí với các công ty Mỹ không lớn đến vậy.
• Về mặt kỹ thuật, R1 kém thú vị hơn V3. Do hiện nay chúng ta vẫn đang ở giai đoạn đầu của đường cong reinforcement learning, R1 mới có thể cho thấy hiệu năng cấp o1 với chi phí thấp. Khi quá trình scaling của reinforcement learning tiếp diễn, những trường hợp như vậy sẽ ít đi.

Kiểm soát xuất khẩu

• Các phòng thí nghiệm ở Mỹ và Trung Quốc đang đầu tư số tiền khổng lồ để phát triển AI mạnh, và điều này sẽ tiếp diễn cho đến khi tạo ra được các mô hình AI vượt trội hơn gần như mọi con người trong gần như mọi lĩnh vực. Thời điểm này được ước tính vào khoảng 2026-2027.
• Khi đó, thế giới có thể bị chia tách hoàn toàn khác nhau tùy theo các biện pháp kiểm soát xuất khẩu.

1. Nếu Trung Quốc có được hàng triệu con chip, thế giới sẽ trở thành một cấu trúc lưỡng cực, nơi Mỹ và Trung Quốc mỗi bên đều có các mô hình AI mạnh và đổi mới công nghệ riêng.
2. Nếu Trung Quốc không có được hàng triệu con chip, thế giới sẽ trở thành một cấu trúc đơn cực, nơi chỉ Mỹ và các đồng minh có các mô hình mạnh. Vì AI cũng tăng tốc sự phát triển của chính AI, xu hướng này sẽ được duy trì trong một thời gian.

• Thành quả của DeepSeek không có nghĩa là kiểm soát xuất khẩu đã thất bại. Họ đã có đủ chip từ trước khi các biện pháp kiểm soát xuất khẩu có hiệu lực.

Ngoài ra, Amodei cũng bác bỏ tin đồn rằng 3.5 Sonnet là phiên bản chưng cất từ một mô hình cao cấp không công khai (như 3.5 Opus).

[iolothebard]

Vấn đề là mô hình này xuất hiện ở Trung Quốc à?
Chắc là vấn đề ở chỗ nó là mô hình mở...

[jintak0401]

Vừa mong chờ vừa thấy sợ ngày AGI xuất hiện.

[kbumsik]

Anthropic mà nói câu đó thì... hừm
Mấy tháng nay chẳng có tin tức mới nào về mô hình, nên cũng bắt đầu râm ran ý kiến hỏi Anthropic đang làm gì đấy.