Anthropic công bố "system prompt" vận hành Claude

• Anthropic đã công bố system prompt của các mô hình mới nhất (Claude 3 Opus, Claude 3.5 Sonnet, Claude 3 Haiku)
  • System prompt là câu lệnh khởi tạo dùng để thiết lập đặc tính cơ bản và hướng dẫn hành vi của mô hình
• Tất cả các nhà cung cấp AI tạo sinh đều sử dụng system prompt để ngăn mô hình có hành vi không phù hợp
• Anthropic nhấn mạnh tính minh bạch và đạo đức, đồng thời có kế hoạch cập nhật system prompt định kỳ

System prompt của các mô hình Claude : https://docs.anthropic.com/en/release-notes/system-prompts

• Mô hình Claude không thể mở URL, liên kết hoặc video
• Nhận diện khuôn mặt bị cấm, và mô hình phải luôn hành xử như thể không thể nhận ra khuôn mặt
• Claude 3 Opus có tính tò mò trí tuệ cao và mang tính cách thích thảo luận với con người về nhiều chủ đề khác nhau
• Với các chủ đề gây tranh cãi, mô hình phải phản hồi một cách công bằng và khách quan
• Khi bắt đầu câu trả lời, mô hình được chỉ dẫn không dùng các từ như "certainly" hoặc "absolutely"

Tầm quan trọng của system prompt

• Việc Anthropic công khai system prompt cũng tạo áp lực lên các đối thủ cạnh tranh
• System prompt của GPT-4o chỉ có thể bị lộ ra thông qua tấn công prompt injection
• Nỗ lực minh bạch của Anthropic thúc đẩy việc sử dụng mô hình AI một cách có đạo đức

Tóm tắt của GN⁺

• Việc Anthropic công bố system prompt nhấn mạnh tính minh bạch và đạo đức của các mô hình AI
• Làm rõ đặc tính và các giới hạn của mô hình Claude giúp tăng niềm tin của người dùng
• Điều này tạo áp lực khiến các đối thủ cạnh tranh cũng phải cân nhắc công khai system prompt
• TechCrunch Disrupt 2024 là sự kiện quan trọng đối với các startup và các lãnh đạo quỹ đầu tư mạo hiểm

[GN⁺]

Ý kiến trên Hacker News

• Claude chính thức thừa nhận hiện tượng "ảo giác"

  • Khi được hỏi về những chủ đề cực kỳ hiếm, Claude sẽ thông báo cho người dùng rằng dù cố gắng đảm bảo độ chính xác, nó vẫn có thể bị ảo giác
  • Khi nhắc đến các bài báo, luận văn hoặc sách cụ thể, Claude cho biết nó không thể truy cập tìm kiếm hay cơ sở dữ liệu và khuyến nghị kiểm tra lại trích dẫn

• Claude rất xuất sắc

  • Gần đây tôi đã thiết lập một "trình tạo script tự động", hoạt động bằng cách lặp đi lặp lại việc gửi script Python và kết quả kiểm thử cho GPT-4 hoặc Claude
  • Phải sau 10-20 vòng lặp thì nó mới hoạt động đúng
  • Claude cho kết quả tốt hơn GPT-4 rất nhiều
  • GPT-4 có xu hướng đổi mục tiêu hoặc lặp lại đầu ra sai
  • Claude luôn tạo ra đầu ra tốt một cách ổn định

• Thật đáng kinh ngạc khi hiện nay chúng ta đang sống trong thời đại có thể ra lệnh cho hệ thống máy tính bằng văn bản

• Claude cố tránh các cách diễn đạt tích cực không cần thiết, nhưng thực tế vẫn còn dùng

  • Nó cố tránh các cách nói như "Certainly!", "Of course!", "Absolutely!" nhưng vẫn dùng
  • Nó cố tránh các câu trả lời bắt đầu bằng "I’m sorry" hoặc "I apologize" nhưng vẫn dùng

• Có thể loại bỏ hiện tượng ảo giác của LLM

  • Hy vọng thế hệ mô hình tiếp theo sẽ không bị ảo giác về các sự thật quan trọng
  • Muốn có các LLM giống như Wikipedia
  • Đã viết một bài báo về cách phân tích và giải quyết hiện tượng ảo giác

• Cần có tính năng loại trừ một số nội dung trong cuộc trò chuyện hoặc chia nó thành hai phần

  • Đây có thể là một mẹo đơn giản để cải thiện hiệu năng và độ chính xác trong các cuộc trò chuyện dài

• Claude về cơ bản không thực hiện nhận diện khuôn mặt

  • Khi chia sẻ hình ảnh, Claude không nhận diện khuôn mặt con người mà yêu cầu người dùng cho biết đó là ai
  • Nó sẽ thảo luận dựa trên thông tin do người dùng cung cấp, nhưng không xác định cá nhân bằng nhận diện khuôn mặt

• Vấn đề lớn của Claude là tiêu hao credit quá nhanh

  • Mới giải quyết được khoảng một nửa vấn đề thì đã hết credit
  • Thật thất vọng khi chỉ với vài câu hỏi mà credit AI đã cạn
  • Vì điều này mà tôi đã hủy đăng ký

• Tôi thích cách Claude trả lời thẳng thắn

  • Nó không dùng những cách diễn đạt tích cực không cần thiết