- Claude 3.5 Sonnet hiện là mô hình xuất sắc nhất trong lĩnh vực AI hội thoại
- Claude 3.5 Sonnet có thể được sử dụng miễn phí trên Claude.ai và ứng dụng Claude trên iOS. Nếu muốn giới hạn sử dụng cao hơn, người dùng có thể đăng ký gói thuê bao
- Nội dung được tóm tắt trong khi giữ tối đa cấu trúc tài liệu, và được trình bày gọn gàng bằng Markdown
- Tốc độ nhanh gấp 2 lần so với Claude Opus và chi phí cũng rẻ hơn
- Giới thiệu tính năng Artifacts mới, cho phép xem và chỉnh sửa mã, tài liệu, thiết kế website... theo thời gian thực trong một cửa sổ riêng
- Dù OpenAI, Google DeepMind và Anthropic đều đang phát triển các mô hình lớn hiệu năng cao, xu hướng hiện tại là tập trung vào những mô hình nhanh hơn, rẻ hơn nhưng vẫn cho hiệu suất xuất sắc
Kết quả benchmark và đánh giá
- Cho thấy hiệu năng vượt trội hơn các mô hình trước đó trên nhiều benchmark. Đặc biệt đứng đầu áp đảo ở GPQA
- Trong bài đánh giá lập trình có thể vận hành bằng Artifacts, mô hình giải được 64% số bài toán, vượt xa mô hình trước đó (38%)
- Trong các đánh giá của chuyên gia ở nhiều lĩnh vực như pháp lý, tài chính, triết học..., mô hình ghi nhận tỷ lệ thắng cao từ 82% đến 73%
- Khả năng nhận thức thị giác cũng đã được cải thiện, và được thiết kế để hạn chế tính năng nhận diện khuôn mặt thông qua các prompt bổ sung
Tính năng Artifacts mới
- Với Artifacts, người dùng có thể tạo và chỉnh sửa mã, tài liệu, thiết kế web... theo thời gian thực ở cửa sổ bên cạnh cuộc trò chuyện
- Đây được xem là bước đầu tiên trong quá trình AI hội thoại tiến hóa thành môi trường làm việc cộng tác
- Trong tương lai, tính năng này được kỳ vọng sẽ hỗ trợ cộng tác nhóm và phát triển thành công cụ quản lý tri thức ở cấp độ tổ chức
Xem xét về an toàn và đạo đức
- Claude 3.5 Sonnet vẫn duy trì ở mức ASL-2, nên hiện chưa có các năng lực đáng lo ngại
- Viện An toàn AI của Vương quốc Anh (UK AISI) đã tiến hành đánh giá an toàn trước khi phát hành
- Về tỷ lệ từ chối, mô hình cũng cho thấy sự cải thiện so với phiên bản trước
- Vẫn giữ nguyên nguyên tắc không sử dụng dữ liệu người dùng để huấn luyện mô hình
- Dù giữ lập trường dè dặt với việc phát triển công nghệ frontier, hãng chưa đưa ra cam kết rõ ràng
Tác động đến kỹ thuật phần mềm
- Claude 3.5 Sonnet cải thiện mạnh mẽ công việc lập trình của kỹ sư. Nó có thể tự động giải quyết các điểm nghẽn và thậm chí hỗ trợ tài liệu hóa
- Tỷ lệ vượt qua kiểm thử pull request đã tăng mạnh từ 38% với Opus lên 64% với Sonnet
- Ngay trong nội bộ Anthropic, từ người không chuyên đến kỹ sư giàu kinh nghiệm đều đang tận dụng Claude để tiết kiệm đáng kể thời gian
- Mô hình được kỳ vọng sẽ rút ngắn mạnh thời gian làm việc của kỹ sư và giúp bất kỳ ai cũng có thể lập trình dễ dàng hơn
- Dự kiến xu hướng nâng cao năng suất kỹ thuật nhờ AI sẽ tiếp tục tăng tốc
Hạn chế của mô hình
- Mô hình vẫn mắc lỗi ở một số câu đố hoặc trò chơi nổi tiếng, dù đôi khi có thể giải được nếu được cung cấp thêm ngữ cảnh
- Có khả năng vẫn dễ bị tổn thương trước các hình thức đánh lừa hoặc tấn công tinh vi
- Có vẻ mô hình tập trung vào việc nâng cao năng lực suy luận tổng quát hơn là bám chặt vào từng bài toán cụ thể
- Về bản chất, mô hình vẫn chỉ đang tận dụng tri thức do con người tạo ra, nên các giới hạn nền tảng vẫn còn tồn tại
Phản ứng của người dùng
- Mô hình đang cho thấy hiệu năng đáng kinh ngạc trong các lĩnh vực chuyên môn như vật lý, hóa học, cơ khí
- Nhiều ví dụ ứng dụng Artifacts đang xuất hiện dồn dập, từ tạo ảnh SVG, phát triển web app đến mô phỏng 3D
- Tuy vậy, vẫn có ý kiến cho rằng mô hình chưa thể vượt qua khả năng sáng tạo của con người
Ý kiến của GN⁺
- Sự xuất hiện của Claude 3.5 Sonnet đánh dấu một bước ngoặt lớn trong sự phát triển của công nghệ AI hội thoại
- Tốc độ và chi phí đã được cải thiện đáng kể, nên mô hình có vẻ sẽ ngày càng hữu ích trong nhiều lĩnh vực. Đặc biệt, nó được kỳ vọng sẽ đóng góp lớn cho việc nâng cao năng suất trong kỹ thuật phần mềm
- Tính năng Artifacts cho thấy tiềm năng phát triển vượt ra ngoài hội thoại đơn thuần, trở thành công cụ cộng tác có thể dùng trong công việc thực tế. Về dài hạn, nó cũng có thể phát triển thành hệ thống quản lý tri thức cho doanh nghiệp
- Những nỗ lực của Anthropic về an toàn và đạo đức là rất đáng ghi nhận. Tuy nhiên, mọi thứ vẫn chưa hoàn hảo và vẫn cần nghiên cứu cũng như giám sát liên tục
- Khi cạnh tranh với các mô hình lớn khác như GPT-4 tiếp tục tăng tốc, tiến bộ của công nghệ AI có thể sẽ còn diễn ra nhanh hơn nữa. Về dài hạn, khả năng phát triển AGI ở mức con người cũng không thể bị loại trừ
- Nhìn chung, Claude 3.5 Sonnet xứng đáng được xem là AI hội thoại tốt nhất ở thời điểm hiện tại. Nó sẽ đóng góp lớn cho đổi mới năng suất của cá nhân lẫn doanh nghiệp, nhưng đây cũng là lúc cần chuẩn bị cho những tác động xã hội đi kèm
1 bình luận
Ý kiến trên Hacker News
Tính năng Projects: Tính năng Projects của Anthropic rất hữu ích, và việc có thể tiến hành nhiều dự án cùng lúc là một điểm tốt. Tuy nhiên, cửa sổ ngữ cảnh của từng dự án có thể tạo cảm giác hơi nhỏ. Kỳ vọng trong tương lai sẽ có cửa sổ ngữ cảnh lớn hơn.
Claude 3.5 Sonnet: Khả năng lập trình của Claude 3.5 Sonnet rất ấn tượng. Nó giúp các lập trình viên chuyên nghiệp làm việc nhanh hơn. Để có mã nguồn chất lượng cao, vẫn cần chỉ dẫn chi tiết và đánh giá kết quả.
Thử nghiệm lập trình: Đã tiến hành thử nghiệm lập trình cùng với API của Anthropic, và hơn 95% dự án được viết bởi Claude. Kết quả cho thấy chất lượng rất cao.
Tính nhất quán của Sonnet 3.5: Sonnet 3.5 có độ nhất quán rất tốt và đưa ra phản hồi ổn định hơn các mô hình trước đây. Đây là một bước tiến lớn.
Đánh giá khả năng lập trình: Khả năng lập trình của GPT-4 không đem lại sự hài lòng. Do tốc độ phản hồi chậm hơn nên đang tìm kiếm các lựa chọn khác.
So sánh AI: Claude nghe tự nhiên như con người và mạnh về các câu hỏi liên quan đến dữ liệu. GPT-4 vượt trội hơn ở suy luận logic. Giá cả và tốc độ đầu ra là tương tự nhau.
Biểu đồ benchmark: Không đồng ý với nhận định rằng các biểu đồ benchmark đang tăng tốc. Cần có biểu đồ chi tiết hơn.
Khóa tài khoản: Tài khoản trên Anthropic Sonnet đã bị khóa sau quá trình tự động rà soát. Vì thế lại nghiêng về gói đăng ký OpenAI hơn.
Công nghệ tiên tiến nhất: Môi trường phát triển AI cạnh tranh hiện nay rất thú vị. Được trực tiếp trải nghiệm thời đại này là một điều đáng vui.
Khả năng tóm tắt của AI: Việc AI tóm tắt nhiều phương án thiết kế và các tech stack mới là cực kỳ hữu ích. Chi phí hội thoại kèm ví dụ mã cũng rẻ.
Mặt bằng chung của các mô hình ML đang được nâng lên: Khi dùng cùng một dataset, các mô hình có thể cho ra hiệu năng tương tự nhau. Dữ liệu có thể tạo ra khác biệt về hiệu năng mô hình. Công nghệ ML vẫn mang tính phổ quát.