OpenAI o1-pro giờ đã có thể truy cập qua API

• 150 USD cho token đầu vào, 600 USD cho token đầu ra (mỗi 1 triệu token)
  • Đắt hơn 150 lần so với o1-mini
• Dòng mô hình o1 được huấn luyện thông qua học tăng cường (Reinforcement Learning) để suy nghĩ trước khi trả lời và thực hiện suy luận phức tạp
  • Mô hình o1-pro sử dụng nhiều tài nguyên tính toán hơn để suy nghĩ sâu hơn và cung cấp câu trả lời nhất quán, chất lượng cao
• Chỉ có thể dùng trong Responses API và hỗ trợ các tính năng sau
  • Hỗ trợ gọi nhiều công cụ
  • Hỗ trợ tương tác mô hình qua nhiều lượt trước khi phản hồi yêu cầu API
• Cửa sổ ngữ cảnh 200.000, số lượng token đầu ra tối đa 100.000
• Mốc dữ liệu là ngày 1 tháng 10 năm 2023

[GN⁺]

Ý kiến trên Hacker News

• Mô hình này chỉ có thể dùng qua Responses API mới. Nếu bạn đang có code dùng Chat Completions, bạn sẽ phải nâng cấp sang Responses để hỗ trợ nó
  • Có thể sẽ mất thời gian để thêm hỗ trợ vào công cụ LLM của tôi
• Giá: $150 cho mỗi 1 triệu token đầu vào, $600 cho mỗi 1 triệu token đầu ra
  • Rất đắt, nhưng sau khi dùng cùng gói đăng ký ChatGPT Pro, nó cho thấy năng lực đáng kinh ngạc
  • Khi cung cấp một codebase 100.000 token, nó tìm ra những bug rất tinh vi mà tôi đã hoàn toàn bỏ sót
  • So sánh giá API với mức phí đăng ký tôi đang trả khiến tôi hơi thấy áy náy
• Việc render một SVG con bồ nông đi xe đạp tốn 94 xu
• Giả sử một nhân viên văn phòng có động lực với mức lương $160k nghe hoặc nói 6 giờ mỗi ngày, thì chi phí mỗi 1 triệu token vào khoảng $10k
  • OpenAI giờ đã chạm tới mức giá của các mô hình tiên phong tương đương với con người tay nghề cao
  • o3 pro có thể thay đổi tình hình này, nhưng nếu o3 sắp ra mắt thì tôi nghĩ họ đã không phát hành mô hình này
• Có mốc cắt kiến thức là năm 2023 và cửa sổ ngữ cảnh 200k
  • Khá đáng thất vọng
• o1-pro vẫn nổi trội khi so với mọi bản phát hành khác, bao gồm Grok 3 think và Claude 3.7 think
  • Tôi đã định hủy gói Pro, nhưng 4.5 quá tốt cho các tác vụ không phải lập trình/toán học
  • Không thể chờ đến o3 pro
• Có những người đã thử nghiệm và thích nó
  • Tôi rất tự tin vào Sonnet 3.7
  • Mong nó nhanh hơn
  • Phần lớn vấn đề là khâu thực thi, và tôi muốn AI làm việc đó nhanh hơn cả khi tự tôi code
• Có vẻ o1-pro sẽ được dùng như một công cụ dự phòng hoặc để kiểm tra chéo codebase
  • Ngay cả khi giá rẻ hơn, tôi cho rằng vẫn cần rất nhiều công sức và kiến thức miền để đạt tốc độ gấp 10 lần Sonnet
• o1-pro không hỗ trợ streaming
  • Có vẻ nó dùng kỹ thuật kiểu best-of-n để tìm nhiều câu trả lời
  • Tôi nghĩ dùng llm-consortium có thể cho kết quả tương tự với chi phí thấp hơn nhiều
  • Bạn có thể prompt nhiều mô hình rồi chọn hoặc tổng hợp phản hồi tốt nhất trong số đó
  • Có thể lặp lại cho đến khi đạt ngưỡng tin cậy
• Ban đầu tôi nghĩ có thể thêm nó vào nền tảng, nhưng sau khi thấy giá, tôi ngần ngại bật mô hình này cho đa số người dùng
  • Ngoài các doanh nghiệp giàu có ra, hầu hết người dùng sẽ tự làm khổ mình
• Tôi luôn nghi ngờ o1-Pro có thể chỉ là workflow của mô hình o1
  • Có thể nó hoạt động bằng cách phân tán sang 8 instance o1 rồi tổng hợp kết quả lại