Anthropic phát hành Claude 2.1

• Claude 2.1 hiện có thể sử dụng qua API và mang đến trải nghiệm trò chuyện trên claude.ai.
• Điểm nổi bật gồm cửa sổ ngữ cảnh 200K token, giảm hiện tượng ảo giác (hallucination), system prompt và tính năng beta mới là sử dụng công cụ.
• Dự kiến sẽ cập nhật chính sách giá để cải thiện hiệu quả chi phí cho khách hàng.

Cửa sổ ngữ cảnh 200K

• Người dùng Claude yêu cầu cửa sổ ngữ cảnh lớn hơn và đầu ra chính xác hơn khi làm việc với tài liệu dài.
• Với 200.000 token, có thể đưa vào Claude khoảng 150.000 từ hoặc hơn 500 trang tài liệu.
• Claude có thể làm việc với nội dung hoặc dữ liệu quy mô lớn để thực hiện nhiều tác vụ như tóm tắt, hỏi đáp, dự đoán xu hướng và so sánh nhiều tài liệu.

Giảm một nửa tỷ lệ ảo giác

• Claude 2.1 giảm một nửa tỷ lệ phát sinh các phát biểu sai nhằm cải thiện tính trung thực.
• Doanh nghiệp có thể xây dựng và triển khai ứng dụng AI vào vận hành với mức độ tin cậy và độ ổn định cao hơn.
• Claude 2.1 cho thấy sự cải thiện về khả năng hiểu và tóm tắt, đặc biệt là hiệu năng tốt hơn trên các tài liệu dài, phức tạp đòi hỏi độ chính xác cao.

API Tool Use

• Bổ sung tính năng beta mới là "Tool Use" cho phép tích hợp với quy trình, sản phẩm và API hiện có của người dùng.
• Claude có thể điều phối các hàm hoặc API do nhà phát triển định nghĩa, tìm kiếm nguồn web và truy xuất thông tin từ cơ sở tri thức riêng.
• Tool Use vẫn đang ở giai đoạn phát triển ban đầu, và Anthropic đang xây dựng các tính năng cho nhà phát triển cùng hướng dẫn prompt.

Trải nghiệm nhà phát triển

• Đơn giản hóa trải nghiệm developer console cho người dùng Claude API và giúp việc thử nghiệm prompt mới dễ dàng hơn.
• Với sản phẩm Workbench mới, nhà phát triển có thể lặp lại prompt và truy cập các thiết lập mô hình để tối ưu hóa hành vi của Claude.
• Giới thiệu system prompt để người dùng có thể cung cấp chỉ dẫn tùy chỉnh cho Claude.

Ý kiến của GN⁺

• Điểm quan trọng nhất của Claude 2.1 là cửa sổ ngữ cảnh 200K token và việc giảm tỷ lệ ảo giác, giúp người dùng xử lý tài liệu và dữ liệu lớn hơn đồng thời nhận được kết quả đáng tin cậy hơn.
• Những tính năng này cho thấy sự phát triển của công nghệ AI và có tiềm năng đổi mới cách làm việc của doanh nghiệp và nhà phát triển bằng cách cung cấp các công cụ hiệu quả và chính xác hơn.
• Bài viết mang đến thông tin thú vị về xu hướng mới nhất của công nghệ AI và các công cụ mới mà nhà phát triển có thể sử dụng, khiến nội dung trở nên hấp dẫn với những người quan tâm đến công nghệ.

[GN⁺]

Ý kiến trên Hacker News

• Vị ngọt đắng của context 200k: Thật đáng tiếc khi tỷ lệ lỗi tăng vọt từ 70k lên 195k. Tuy vậy, việc giảm lỗi ở phần giữa vẫn đáng được khen ngợi.
• Bất mãn về tính sử dụng hạn chế của mô hình: Claude không hề ít từ chối như tiêu đề tuyên bố. Anthropic kiểm duyệt mô hình quá mức nên rất khó sử dụng. Người dùng nên là người quyết định công cụ, chứ công cụ không nên quyết định người dùng.
• Chỉ ra sự không khớp giữa tiêu đề và nội dung: Việc "giảm từ chối" được nhắc trong thông báo không khớp với nội dung thực tế. Điều này cho thấy Claude 2.1 có xu hướng từ chối hơn là cung cấp thông tin sai.
• Thiếu hiệu quả trong lập trình: Tệ hơn GPT-4 gấp 10 lần. Khi được yêu cầu một hàm đồng bộ cơ sở dữ liệu đơn giản, nó đưa ra rất nhiều mã giả thay vì mã thực tế.
• Ấn tượng tiêu cực về mô hình: Mô hình của Anthropic được huấn luyện quá mức để từ chối hầu hết yêu cầu, khiến việc trò chuyện với Claude không hề dễ chịu.
• Trường hợp từ chối dưới góc độ ý thức hệ: Việc từ chối yêu cầu một danh sách từ vựng để nói như một người theo chủ nghĩa vị tha hiệu quả đã tạo ra một tình huống hài hước.
• Thất vọng về Claude 2: Ban đầu từng kỳ vọng, nhưng được đánh giá là kém GPT-4 rất nhiều; dù có cửa sổ ngữ cảnh lớn thì cũng vô nghĩa nếu chất lượng câu trả lời kém.
• Vấn đề khả năng tiếp cận khi dùng API: Có quan tâm đến việc dùng API nhưng thất vọng vì không nhận được phản hồi. Thiếu sự quan tâm với tư cách là một nền tảng cho nhà phát triển.
• Khó khăn trong việc tiếp cận API: Không nhận được phản hồi cho các yêu cầu qua website của Anthropic hay thông qua Bedrock, nên việc truy cập API dường như là không khả thi với tư cách một doanh nghiệp.
• Quan tâm đến việc đưa vào system prompt: Chú ý đến việc bổ sung system prompt để người dùng có thể cung cấp chỉ dẫn tùy chỉnh cho Claude nhằm cải thiện hiệu năng. Có kỳ vọng về sự dễ dàng trong cả việc sử dụng lẫn lạm dụng.
• Việc thử nghiệm Claude và lựa chọn OpenAI: Dù chưa dùng trong production, nó vẫn thường xuyên được đưa vào thử nghiệm khi xây dựng tính năng mới với LLM. OpenAI đã được xác thực nhanh hơn để ra mắt thị trường, và API của họ tốt hơn, đáng tin cậy hơn và rẻ hơn. Nhưng việc Claude được đưa vào AWS Bedrock đã khiến những điều trước đây không thể trở nên khả thi.