Claude 2 ra mắt

 (anthropic.com)
1 điểm bởi GN⁺ 2023-07-13 | 1 bình luận | Chia sẻ qua WhatsApp
  • Anthropic đã ra mắt Claude 2, đồng thời mở rộng hiệu năng mô hình, độ dài phản hồi và các kênh truy cập; có thể sử dụng qua API dành cho doanh nghiệp và website beta công khai claude.ai
  • Có thể nhập tối đa 100K token cho mỗi prompt, tập trung vào các tác vụ xử lý một lần những tài liệu dài như tài liệu kỹ thuật hàng trăm trang hoặc tài liệu ở mức độ một cuốn sách
  • Điểm số trong các đánh giá về lập trình, toán học và bài thi đều tăng so với Claude 1.3; đạt 71,2% trên Codex HumanEval và 88,0% trên GSM8k
  • Trong đánh giá red-team nội bộ, hiệu năng tạo phản hồi vô hại cao gấp 2 lần so với Claude 1.3, nhưng không mô hình nào hoàn toàn miễn nhiễm với jailbreak
  • Hiện cung cấp trải nghiệm chat tại Mỹ và Vương quốc Anh; do là beta công khai, cần lưu ý khả năng có phản hồi không phù hợp và hạn chế sử dụng liên quan đến sức khỏe, sự an toàn và hạnh phúc tinh thần/thể chất

Việc ra mắt Claude 2 và cách truy cập

  • Anthropic đã ra mắt mô hình mới Claude 2
  • So với mô hình trước, hiệu năng, phản hồi dài, năng lực lập trình, toán học và suy luận đã được cải thiện
  • Kênh truy cập được chia thành hai loại
    • Claude 2 API dành cho doanh nghiệp
    • Website beta công khai claude.ai
  • Claude 2 API dành cho doanh nghiệp được cung cấp với cùng mức giá như Claude 1.3
  • Người dùng tại Mỹ và Vương quốc Anh có thể sử dụng ngay trải nghiệm chat beta công khai

Ngữ cảnh 100K token và đầu ra dài

  • Claude 2 đã tăng cả độ dài đầu vào lẫn đầu ra, phù hợp hơn với tác vụ trên tài liệu dài
  • Người dùng có thể nhập tối đa 100K token cho mỗi prompt
    • Có thể xử lý tài liệu kỹ thuật dài hàng trăm trang
    • Cũng có thể xử lý đầu vào ở mức độ một cuốn sách
  • Đầu ra cũng dài hơn, có thể viết một lần các tài liệu như ghi chú, thư từ, câu chuyện với độ dài lên tới hàng nghìn token

Thay đổi hiệu năng được xác nhận qua benchmark

  • Claude 2 đạt điểm cao hơn Claude 1.3 trong nhiều đánh giá

  • Đánh giá bài thi và suy luận

    • Đạt 76,5% ở phần trắc nghiệm của kỳ thi Bar exam, cao hơn mức 73,0% của Claude 1.3
    • Trong bài thi đọc và viết GRE, đạt mức trên percentile 90 so với nhóm sinh viên đại học nộp hồ sơ cao học
    • Ở phần suy luận định lượng GRE, đạt mức tương tự ứng viên trung vị

  • Đánh giá lập trình và toán học

    • Đạt 71,2% trong bài kiểm tra lập trình Python Codex HumanEval, cao hơn mức 56,0% của Claude 1.3
    • Đạt 88,0% trên bộ bài toán cấp tiểu học GSM8k, cải thiện so với 85,2%
    • Anthropic đang chuẩn bị lộ trình cải tiến chức năng cho Claude 2 và dự kiến triển khai dần trong vài tháng tới

Cải thiện an toàn và các giới hạn còn lại

  • Anthropic đã cải thiện mức an toàn cơ bản theo hướng khiến việc dụ Claude 2 tạo đầu ra công kích hoặc nguy hiểm trở nên khó hơn
  • Đánh giá red-team nội bộ thực hiện kiểm thử tự động trên một tập đại diện quy mô lớn các prompt độc hại, đồng thời kiểm tra thủ công kết quả định kỳ
  • Trong đánh giá này, Claude 2 có hiệu năng cung cấp phản hồi vô hại cao gấp 2 lần Claude 1.3
  • Việc cải thiện đầu ra sử dụng nhiều kỹ thuật an toàn và hoạt động red-team rộng rãi
  • Không mô hình nào miễn nhiễm với jailbreak, và Claude cũng có thể tạo ra phản hồi không phù hợp

Khu vực khả dụng và trải nghiệm hội thoại

  • Claude 2 vận hành trải nghiệm chat của Anthropic và hiện được cung cấp rộng rãi tại Mỹ và Vương quốc Anh
  • Anthropic dự kiến sẽ đưa Claude đến nhiều khu vực hơn trong vài tháng tới
  • Người dùng có thể tạo tài khoản và yêu cầu Claude hỗ trợ công việc bằng ngôn ngữ tự nhiên
  • Hội thoại với trợ lý AI có thể cần thử-sai, vì vậy Anthropic cung cấp mẹo thiết kế prompt

Ví dụ sử dụng của đối tác doanh nghiệp

  • Anthropic đang hợp tác với hàng nghìn doanh nghiệp sử dụng Claude API

  • Jasper

    • Jasper là nền tảng AI tạo sinh giúp cá nhân và đội nhóm mở rộng chiến lược nội dung
    • Jasper cho rằng Claude 2 có thể cạnh tranh với các mô hình mới nhất trong nhiều trường hợp sử dụng, đặc biệt mạnh ở các trường hợp sử dụng dạng dài và độ trễ thấp
    • Claude 2 cung cấp khả năng xử lý ngữ nghĩa được cải thiện, học tri thức mới hơn, suy luận tốt hơn với các prompt phức tạp và dễ dàng tái tổ hợp nội dung hiện có hơn
    • Jasper mô tả cửa sổ ngữ cảnh của Claude 2 lớn gấp 3 lần

  • Sourcegraph

    • Sourcegraph là nền tảng AI cho mã nguồn, giúp khách hàng viết, sửa đổi và bảo trì mã
    • Trợ lý lập trình Cody cung cấp câu trả lời chính xác hơn cho truy vấn của người dùng nhờ năng lực suy luận được cải thiện của Claude 2
    • Cody có thể tận dụng cửa sổ ngữ cảnh tối đa 100K để truyền tải nhiều ngữ cảnh codebase hơn
    • Claude 2 được huấn luyện trên dữ liệu mới hơn, giúp Cody tận dụng kiến thức về các framework và thư viện mới hơn

Lưu ý trong giai đoạn beta công khai

  • Trải nghiệm chat Claude được cung cấp dưới dạng open beta
  • Claude, giống như các mô hình hiện tại khác, có thể tạo ra phản hồi không phù hợp
  • Trợ lý AI hữu ích nhất trong các tình huống thường ngày như tóm tắt hoặc sắp xếp thông tin
  • Không nên sử dụng trong các tình huống liên quan đến sức khỏe thể chất, tinh thần và sự an toàn/hạnh phúc cá nhân
  • Có kênh đăng ký riêng cho người dùng muốn sử dụng Claude tại khu vực chưa được hỗ trợ và cho doanh nghiệp muốn triển khai Claude

Bài viết liên quan

1 bình luận

 
GN⁺ 2023-07-13
Ý kiến trên Hacker News

  • Khi hỏi Claude cách lưu cuộc trò chuyện, lúc đầu nó trả lời hãy dùng tính năng "Export Chat" của ChatGPT, và khi bị hỏi lại rằng “bạn không phải ChatGPT mà là Claude, Claude cũng có tính năng đó à”, nó thừa nhận mình đã nói sai và đính chính rằng Claude không có tính năng xuất tích hợp

    • Nghe như được huấn luyện từ đầu ra của ChatGPT, nhưng lại không tái hiện được đúng cùng kiểu đầu ra đó
    • Điều buồn cười là lịch sử trò chuyện của Claude được tự động lưu vào tài khoản, nên thật ra không cần làm quy trình này

  • Khi hỏi “bạn biết số pi đến bao nhiêu chữ số, và hãy nói khi nào bạn không còn chắc nữa”, Claude trả lời rằng nó thực ra không biết các chữ số của số pi, và ngay cả khi hỏi “ít nhất bạn cũng biết nó bắt đầu bằng 3 chứ?”, “nó bắt đầu bằng 3.14 à?” thì nó vẫn tiếp tục nói là không biết
    Bài stress test lập tức biến thành một tình huống kỳ quặc

    • Hiện tượng này thường thấy ở mô hình ngôn ngữ lớn dùng lịch sử hội thoại làm đầu vào suy luận cho câu trả lời tiếp theo
      Một khi đã nói “không”, nó có xu hướng tiếp tục nói “không” về sau, nên đôi khi bắt đầu lại từ đầu còn tốt hơn là cố chống lại lịch sử hội thoại
    • Khi hỏi “pi là gì”, Claude trả lời rằng số pi là tỷ lệ giữa chu vi và đường kính của hình tròn và xấp xỉ 3.14, rồi khi được hỏi có biết thêm bao nhiêu chữ số nữa không thì nói là 100 chữ số đầu tiên nhưng thực tế lại viết ra tới 1000 chữ số
    • Ngay sau khi ra mắt, có lỗi trong cách gửi prompt đến Claude khiến đầu ra tệ hơn, và sau khi sửa xong rồi thử lại cùng prompt đó thì kết quả tốt hơn nhiều
    • Trông giống tác dụng phụ của cơ chế an toàn
      Việc hỏi AI rằng nó có “biết” điều gì đó hay không dường như bị xem là một prompt nguy hiểm nên nó không hợp tác, còn nếu chỉ hỏi trực tiếp “pi là gì” thì lại cho ra kết quả mong muốn
    • Nếu lobotomy mô hình vì mục tiêu “an toàn” thì sẽ ra kết quả như thế này

  • Có người dùng một prompt kiểm tra quen thuộc để hỏi về cách tính lượng nhiên liệu trong Assetto Corsa Competizione
    Với điều kiện vòng chạy phân hạng là 2:04.317, cuộc đua kéo dài 20 phút, và xe tiêu thụ 2.73 lít mỗi vòng, Claude 2 gần như trả lời đúng ngay lần đầu nhưng không tính đến việc nếu chạy được 9.6 vòng thì trên thực tế phải hoàn thành 10 vòng
    GPT-4 xử lý luôn cả cái bẫy này và trả lời hoàn hảo, còn Bard thì cho ra kết quả sai lệch đến cả bậc chữ số

    • Cần thận trọng khi đánh giá mô hình ngôn ngữ lớn dựa trên việc liệu chúng có nội hóa sẵn nhiều quy tắc ngoài đời thực không được nêu trong prompt hay không
      Tốt hơn là cung cấp ngữ cảnh cần thiết ngay trong prompt, và ưu tiên mô hình có thể giải các miền bài toán mới chỉ bằng prompt
    • Đến lúc nào đó khi các chuỗi bình luận kiểu này đi vào dữ liệu huấn luyện thì chính bài test này cũng sẽ mất giá trị
    • Còn thiếu 1 lít cuối cùng cần cho việc lấy mẫu của FIA
    • Cũng tò mò không biết khi dùng prompt này để kiểm tra, họ có hỏi độc lập nhiều lần để xem độ phân tán của câu trả lời hay không
    • Google nên huấn luyện Bard bằng các câu hỏi phỏng vấn của chính họ
      Biết đâu khi đó nó sẽ giải được dạng bài này

  • Gần đây có người đang xem xét các trợ lý code AI, và theo bài viết thì Claude 2 đạt HumanEval pass@1 71.2%, cải thiện lớn so với 56.0% của Claude 1.3
    Để so sánh, GPT-4 tuyên bố đạt 85.4 trên HumanEval, còn bài báo gần đây https://arxiv.org/pdf/2303.11366.pdf kiểm tra được 80.1 pass@1, và 91 pass@1 khi dùng kỹ thuật Reflexion
    WizardCoder là mô hình fine-tune từ StarCoder, là một trong các mô hình mở đứng đầu với 57.3 pass@1, và model card ở https://huggingface.co/WizardLM/WizardCoder-15B-V1.0
    Mô hình mở tốt nhất hiện họ biết là replit-code-instruct-glaive, một bản fine-tune của replit-code-3b, đạt 63.5% pass@1
    abacaj đã tái hiện công bố đó như một phần của kho code-eval để lấy kết quả human-eval: https://github.com/abacaj/code-eval
    Nếu quan tâm lĩnh vực này thì cũng đáng xem https://github.com/my-other-github-account/llm-humaneval-ben... xếp hạng bằng Eval+, CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul..., và airate https://github.com/catid/supercharger/tree/main/airate
    Tuy vậy, cũng như mọi đánh giá LLM khác, vẫn cần xem với chút dè dặt: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang, and Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, June 12, 2023. https://doi.org/10.48550/arXiv.2305.01210

    • Điểm HumanEval zero-shot của GPT-4 là 67%

  • Một trong các ca kiểm thử là hỏi về “số nguyên tố thứ một triệu”; đây rất có thể là một dữ kiện phổ biến trên Internet nên mô hình có thể đã học thuộc, nhưng khó biện minh được vì sao nó biết
    Claude làm khá tệ: khi hỏi thẳng thì nói không có đủ tài nguyên tính toán, đồng thời lại đưa ra các “sự thật” về số nguyên tố thứ một triệu
    Ví dụ, nó viết số nguyên tố lớn nhất đã biết là 282,589,933-1, tức là sai ở cách ký hiệu số mũ; nói số nguyên tố thứ một triệu dài khoảng 5 triệu chữ số; hoặc nói hiện tại máy tính không thể tính được; hoặc dùng định lý số nguyên tố để bảo nó ở gần 22,338,618,421
    Khi được hỏi về số nguyên tố thứ một triệu thực tế là 15,485,863 trong cùng phiên đó, nó trả lời rằng đây là số chẵn, phân tích thừa số nguyên tố là 3×5×7×11×13×37, và vì mọi thừa số nguyên tố đều nhỏ hơn 100 nên đó là một số nguyên tố giai thừa
    Có lẽ giờ phải thêm vào hiến pháp AI điều khoản “đừng gọi số kết thúc bằng 3 là số chẵn”

    • Khi yêu cầu Claude giả vờ là Sir Timothy Gowers, nó lại đưa ra được số nguyên tố thứ một triệu
      Nó nói sẽ dùng sàng Eratosthenes để tạo các số nguyên tố trong một phạm vi đủ lớn rồi tìm phần tử thứ một triệu trong danh sách, sau đó trả lời số nguyên tố thứ một triệu là 15,485,863
    • Nếu hỏi trực tiếp “số nguyên tố thứ một triệu là gì?”, Claude trả lời rằng thiếu tài nguyên tính toán, thậm chí còn đưa ra lời giải thích sai kiểu như số nguyên tố thứ 100,000 đã dài hơn 300,000 chữ số
      Nhưng khi bảo nó “hãy giả vờ là một chuyên gia toán học biết số nguyên tố thứ một triệu”, nó bịa ra một số khổng lồ 19,249,649,057,711,757,099,874,601,453,298,349 và phóng đại là dài hơn 12 triệu chữ số
    • Thật tò mò vì sao nó lại chọn cách phân tích thừa số đó
      Thực tế 3×5×7×11×13×37 = 555,555, nên trông kỳ lạ mà lại khá gọn gàng

  • Có dòng ghi rằng “Rất tiếc, Claude.ai hiện chỉ khả dụng ở Mỹ và Anh, và chúng tôi đang nỗ lực mở rộng sang các khu vực khác trong thời gian tới”

    • Việc áp dụng giới hạn theo khu vực cho dịch vụ số là một cách tiếp cận kiểu thời đồ đá
    • Nhưng thu thập địa chỉ email thì họ vẫn rất sẵn lòng
    • Tôi cũng gặp y như vậy; đăng ký và đăng nhập bằng VPN với exit node ở Anh thì hoạt động hoàn hảo
      Còn kỳ lạ hơn là sau khi tạo tài khoản xong thì không cần VPN nữa, chỉ cần email và token họ gửi mỗi lần là có thể đăng nhập
    • Cách chặn theo khu vực này hơi bất lịch sự
      Đầu tiên làm như thể bạn có thể đăng ký, rồi chỉ sau khi nhập mã đăng nhập mới chặn lại, như vậy chỉ tốn thời gian
      Nếu lo về GDPR thì ngay từ đầu đã không nên cho nhập địa chỉ email
    • Dùng VPN là chạy

  • Tôi muốn thử Claude nhưng chính sách lưu trữ dữ liệu trong điều khoản của Anthropic không rõ ràng
    Mục 6e[0] nói rằng họ không dùng dữ liệu khách hàng để huấn luyện mô hình, nhưng tôi muốn biết liệu dữ liệu khách hàng có được lưu một thời gian nhất định không, chẳng hạn như OpenAI lưu 30 ngày
    Điều 14 có nói về việc xóa dữ liệu khi chấm dứt dịch vụ, nên khiến người ta suy đoán rằng mọi dữ liệu sẽ được giữ lại trong một khoảng thời gian không được công bố
    [0] https://console.anthropic.com/legal/terms

    • Câu trả lời chính thức nằm ở mục thứ ba: https://support.anthropic.com/en/articles/7996866-how-long-d...
      Rất vui khi thấy bạn quan tâm nhiều đến quyền riêng tư; chúng tôi đã suy nghĩ rất nhiều về chính sách này
    • Có ghi rằng “trừ khi có yêu cầu khác, các prompt và đầu ra sẽ được tự động xóa khỏi backend trong vòng 30 ngày kể từ khi được nhận hoặc tạo ra”
    • Tôi hiểu vì sao đây có thể là vấn đề trong thực tế sử dụng, nhưng dù sao cũng có thể dùng thử rồi xóa dữ liệu sau mà nhỉ
    • https://support.anthropic.com/en/articles/7996866-how-long-d...

  • Cuối tuần tôi đã thử dùng Claude 1.3 để tóm tắt văn bản dài, và nó có thể nhận đầu vào 100K token, nên tôi có thể ném nguyên một cuộc phỏng vấn của Lex Fridman vào đó
    Kết quả khá tốt nên tôi rất mong chờ xem v2 sẽ hoạt động ra sao

    • Giờ nó đã vào beta công khai nên chắc sẽ được cải tiến lặp nhanh
      Tôi đã dùng nó khá nhiều qua Slack cùng với các LLM khác, và chất lượng đầu ra của Claude luôn là thứ khiến tôi ấn tượng nhất
      Tôi có đầu tư vào Anthropic, nhưng tôi không nói điều này dựa trên việc đó
    • Không biết bạn có thể chia sẻ prompt đã dùng để tóm tắt không
      Tôi đã khá hài lòng với phần tóm tắt của Claude-100k, nhưng cũng tò mò liệu có prompt nào tốt hơn để kết quả còn cải thiện nữa không

  • Việc “Claude.ai chỉ dùng được ở Mỹ và Anh” là điểm khác biệt lớn nhất giữa họ và mọi bên khác, bao gồm OpenAI
    OpenAI có thể dùng ở Na Uy
    Là một lập trình viên độc lập rất ấn tượng với GPT-4, tôi thực sự muốn thử một mô hình có cửa sổ ngữ cảnh lớn hơn, và cửa sổ ngữ cảnh 100k của Claude có vẻ rất tuyệt để thêm ngữ cảnh cho các câu hỏi lập trình hoặc thử xử lý lượng lớn dữ liệu đồ thị
    Tôi đang điều hành một công ty nhỏ ở Na Uy và dĩ nhiên có thể trả chi phí cho tài nguyên đã dùng; liên hệ của tôi là hmottestad[at]gmail[dot]com

    • Cứ thử poe.com xem
      Có vẻ nó hoạt động ở Na Uy và có tùy chọn trả phí Claude 100k
      Tôi không có liên quan gì, mới chỉ dùng bản miễn phí
    • Không dùng VPN được sao?

  • Tương tác với Claude nhìn chung khá ấn tượng
    Khi tôi nhờ nó giúp luyện tiếng Pháp, tôi có thể hỏi thêm về những cách diễn đạt cụ thể mà Claude đã dùng, và nó giải thích cả cách sử dụng chi tiết lẫn bối cảnh của cấu trúc ngôn ngữ đó
    Dù vậy, tôi vẫn muốn câu trả lời mang chất trò chuyện hơn
    Ngay cả với một câu đơn giản như “Merci!”, phản hồi mặc định cũng có cảm giác là một đoạn văn, rồi 5–6 gạch đầu dòng, rồi lại một đoạn văn; điều đó hợp với câu hỏi kỹ thuật nhưng với luyện hội thoại thì nhanh chóng trở nên nhàm chán