Anthropic Economic Index: Tác động của Claude 3.7 Sonnet

• Anthropic công bố báo cáo nghiên cứu thứ hai về tác động kinh tế của AI sau khi ra mắt Claude 3.7 Sonnet
• Báo cáo này phân tích dữ liệu sử dụng Claude.ai sau khi phát hành Claude 3.7 Sonnet, mô hình mới và mạnh nhất của hãng
• Bộ dữ liệu được công khai để mọi người có thể tự do tải xuống

Những phát hiện chính

• Sau khi Claude 3.7 Sonnet ra mắt, tỷ trọng sử dụng trong các ứng dụng lập trình, giáo dục, khoa học và y tế tăng lên
• Chế độ mới "extended thinking" của Claude 3.7 Sonnet chủ yếu được dùng cho các tác vụ kỹ thuật
  • Chủ yếu được sử dụng cho các công việc liên quan đến nhà nghiên cứu khoa học máy tính, lập trình viên phần mềm, họa sĩ hoạt hình đa phương tiện và nhà thiết kế trò chơi điện tử
• Công bố dữ liệu phân tích hỗ trợ/tự động hóa ở cấp độ nhiệm vụ và nghề nghiệp
  • Các công việc liên quan đến copywriter và biên tập viên cho thấy mức độ lặp tác vụ cao nhất (con người và mô hình cùng viết)
  • Các công việc liên quan đến biên dịch viên và phiên dịch viên cho thấy mức độ hành vi chỉ thị cao nhất (mô hình hoàn thành công việc với sự tham gia tối thiểu của con người)
• Lần đầu tiên công bố hệ phân loại bottom-up về việc sử dụng trên Claude.ai
  • Cung cấp bộ dữ liệu mới gồm 630 danh mục chi tiết
  • Hệ phân loại này được kỳ vọng sẽ giúp nhận diện các trường hợp sử dụng mà cách tiếp cận top-down hiện có thể bỏ sót

Thay đổi sau khi Claude 3.7 Sonnet ra mắt

• Phân tích 1 triệu cuộc hội thoại Claude.ai miễn phí và Pro đã được ẩn danh trong 11 ngày sau khi phát hành
• Tỷ trọng sử dụng trong các lĩnh vực lập trình, giáo dục và khoa học tăng nhẹ
• Mức tăng trong sử dụng cho lập trình được cho là nhờ điểm benchmark lập trình được cải thiện của Claude 3.7 Sonnet
• Sự gia tăng ở các danh mục khác có thể phản ánh việc AI lan rộng trong toàn bộ nền kinh tế, các ứng dụng mới của lập trình vào các lĩnh vực đó, hoặc sự cải thiện năng lực ngoài dự đoán của mô hình

Mẫu sử dụng chế độ extended thinking

• Chế độ extended thinking chủ yếu được dùng trong các tình huống giải quyết vấn đề kỹ thuật và sáng tạo
• Các công việc liên quan đến nhà khoa học nghiên cứu máy tính và thông tin là nhóm sử dụng nhiều nhất, gần 10%
• Các công việc liên quan đến lập trình viên phần mềm (khoảng 8%), nghệ sĩ đa phương tiện (khoảng 7%) và nhà thiết kế trò chơi điện tử (khoảng 6%) cũng cho thấy tỷ lệ sử dụng đáng kể
• Để phục vụ nghiên cứu thêm về tính năng mô hình mới này, Anthropic công bố bộ dữ liệu ánh xạ tỷ lệ dùng chế độ suy nghĩ theo từng công việc

Thay đổi trong tỷ lệ hỗ trợ vs tự động hóa

• Cân bằng giữa sử dụng hỗ trợ và sử dụng tự động hóa về cơ bản không đổi trong dữ liệu mới, với hỗ trợ vẫn chiếm 57%
• Có quan sát thấy một số thay đổi trong các loại hình tự động hóa và hỗ trợ
  • Tương tác học tập, nơi người dùng yêu cầu thông tin hoặc giải thích về nhiều chủ đề khác nhau, tăng từ ~23% lên ~28%
• Các công việc dịch vụ xã hội cho thấy tỷ lệ sử dụng hỗ trợ gần 75%
• Các công việc liên quan đến sản xuất hoặc nghề nghiệp máy tính và toán học cho thấy tỷ lệ hỗ trợ/tự động hóa gần 50-50
• Không có nhóm nghề nghiệp nào mà tự động hóa chiếm ưu thế

Hệ phân loại bottom-up

• Công bố bộ dữ liệu bottom-up về việc sử dụng Claude.ai
• Được tạo bằng Clio và sử dụng cùng bộ dữ liệu hội thoại đã được ẩn danh
• Gồm 630 cụm chi tiết, kèm mô tả liên quan, chỉ số mức độ phổ biến và phân tích tự động hóa/hỗ trợ
• Bao gồm 3 cấp trong cấu trúc phân cấp
• Một số ví dụ cụm đặc biệt đáng chú ý:
  • Hỗ trợ hệ thống quản lý tài nguyên nước và các dự án hạ tầng
  • Tạo mô phỏng dựa trên vật lý với tính năng trực quan hóa tương tác
  • Hỗ trợ lựa chọn, triển khai và xử lý sự cố phông chữ
  • Hỗ trợ tạo và cải thiện tài liệu ứng tuyển việc làm
  • Cung cấp hướng dẫn về công nghệ pin và hệ thống sạc

Kết luận và kế hoạch sắp tới

• Khi mô hình phát triển, cách đo lường tác động kinh tế cũng cần phát triển theo
• Dữ liệu sau khi Claude 3.7 Sonnet ra mắt cho thấy mức tăng tương đối nhỏ trong các trường hợp sử dụng về lập trình, giáo dục và khoa học, trong khi cân bằng hỗ trợ/tự động hóa không thay đổi
• Chế độ extended thinking được sử dụng với tần suất cao nhất trong các lĩnh vực và công việc kỹ thuật
• Xác nhận các mẫu hình trong mô hình tự động hóa/hỗ trợ trên nhiều nhiệm vụ và nghề nghiệp
• Trong vài tháng tới, Anthropic sẽ tiếp tục theo dõi các chỉ số này và phát triển thêm các thước đo mới khi năng lực được cải thiện và mô hình tiếp tục được áp dụng rộng rãi trong toàn bộ nền kinh tế

[esc5221]

Anthropic Economic Index (chỉ số kinh tế)