Phân tích báo cáo tài chính bằng LLM

• Khảo sát liệu mô hình ngôn ngữ lớn (LLM) có thể thực hiện phân tích báo cáo tài chính thành công tương tự các nhà phân tích con người chuyên nghiệp hay không
• Cung cấp cho GPT-4 các báo cáo tài chính đã được chuẩn hóa và ẩn danh, rồi yêu cầu mô hình dự đoán xu hướng lợi nhuận trong tương lai
• Phát hiện chính
  • Hiệu năng dự đoán: LLM vượt qua các nhà phân tích tài chính trong việc dự đoán thay đổi lợi nhuận ngay cả khi không có thông tin tường thuật hay thông tin theo ngành
  • Ưu thế tương đối: LLM thể hiện ưu thế tương đối trong những tình huống mà các nhà phân tích gặp khó khăn
  • Độ chính xác dự đoán: Độ chính xác dự đoán của LLM tương đương với hiệu năng của các mô hình ML hiện đại được huấn luyện chuyên biệt
  • Insight tường thuật: Dự đoán của LLM không bắt nguồn từ ký ức đã được huấn luyện sẵn, mà tạo ra những insight tường thuật hữu ích về hiệu quả hoạt động tương lai của doanh nghiệp
  • Chiến lược giao dịch: Chiến lược giao dịch dựa trên dự đoán của GPT mang lại tỷ lệ Sharpe và alpha cao hơn so với các chiến lược dựa trên mô hình khác

Ý kiến của GN⁺

• Tiềm năng của LLM: Việc mô hình ngôn ngữ lớn có thể vượt qua các nhà phân tích con người trong phân tích tài chính có thể mang lại thay đổi lớn cho ngành tài chính. Điều này cho thấy tiềm năng phát triển của các công cụ phân tích tự động.
• Tính minh bạch của mô hình: Việc LLM cung cấp insight tường thuật cho thấy quá trình dự đoán của mô hình có thể minh bạch hơn và dễ hiểu hơn. Điều này có thể giúp các nhà phân tích tài chính tin tưởng và tận dụng mô hình tốt hơn.
• Tính hữu ích của chiến lược giao dịch: Việc chiến lược giao dịch dựa trên GPT cho thấy hiệu quả cao có thể rất hấp dẫn với nhà đầu tư. Tuy nhiên, điều này không đảm bảo rằng dự đoán của mô hình luôn chính xác, vì vậy cần tiếp cận một cách thận trọng.
• Các điểm cần cân nhắc khi áp dụng công nghệ: Chất lượng dữ liệu và quá trình huấn luyện mô hình là rất quan trọng. Đồng thời, cần liên tục xem xét mức độ phù hợp giữa dự đoán của mô hình với tình hình thị trường thực tế.
• Công nghệ và dự án liên quan: Các dự án khác cung cấp chức năng tương tự trong phân tích tài chính gồm có AlphaSense, Kensho và các công cụ phân tích dựa trên GPT-3 của Bloomberg. Việc so sánh với các công cụ này có thể giúp hiểu rõ hơn những ưu và nhược điểm của LLM.

[GN⁺]

Ý kiến trên Hacker News

• Ở trang 40, Figure 3 cho thấy kết quả so sánh giữa mô hình mạng nơ-ron 3 lớp sử dụng 59 biến dự báo tài chính của Ou và Penman (1989) và GPT(CoT), trong đó GPT không cho thấy hiệu năng tốt hơn ở mức có ý nghĩa thống kê.
• Thị trường là quan trọng, nhưng đầu cơ không phải mục đích của thị trường. Nếu muốn kiếm tiền, tốt hơn là được đào tạo và nhận mức lương tốt. Đầu cơ, xét từ góc độ lòng tham, có rủi ro sụp đổ rất lớn. Hệ thống tài chính là một trò chơi tổng bằng không, và tài chính quốc tế có nhiều rủi ro. Cần quan tâm đến bạn bè, tối đa hóa hạnh phúc, và hành xử trung thực, có đạo đức.
• Việc giúp người dân bình thường có thể đặt ra những câu hỏi có ý nghĩa về tài chính của chính quyền địa phương có thể tạo ra thay đổi lớn nhất. Ví dụ, tại Cook County, bang Illinois, rất nhiều chính quyền địa phương và cơ quan dân cử lập báo cáo tài chính hằng tháng nhưng thiếu sự giám sát từ người dân.
• Lịch sử nghiên cứu: so sánh phát biểu của ban điều hành, đếm các từ tích cực/tiêu cực để thực hiện phân tích cảm xúc, và dùng Twitter cùng các bài báo để xây dựng mô hình cảm xúc theo thời gian thực. Đã xây dựng mô hình phân tích cảm xúc bằng LLM (GPT2), nhưng độ tin cậy thấp vì ban điều hành được huấn luyện để chỉ dùng các từ tích cực.
• Nếu các mô hình LLM được chuẩn hóa được sử dụng, có khả năng báo cáo tài chính sẽ bị thao túng để làm cho kết quả của LLM trở nên có lợi hơn.
• Trong thiết kế nghiên cứu, không cung cấp thông tin văn bản. Mối quan tâm chính là hiểu khả năng của LLM trong việc phân tích và tổng hợp các con số tài chính thuần túy. Điều này là do LLM hoạt động bằng cách dự đoán token tiếp theo chứ không thực hiện tính toán toán học.
• Gửi đến những người muốn bán LLM wrapper: lĩnh vực này rất khó. Bạn sẽ phải đối mặt với các vấn đề về dữ liệu, phân phối và nhu cầu thấp. Các quỹ thực sự sẽ dùng thứ này thì đã dùng rồi.
• Mục tiêu là hiểu nguồn gốc năng lực dự báo của GPT. Người ta chỉ thị cho mô hình đóng vai trò nhà phân tích tài chính, tính các tỷ lệ tài chính chính và đưa ra diễn giải kinh tế. Tuy nhiên, LLM hoạt động bằng cách dự đoán token tiếp theo chứ không phải bằng cách thực hiện tính toán.
• Nhớ đến bài trình bày của Greg Diamos tại Lamini về phân tích earnings call. Có thể xem các liên kết liên quan trên HuggingFace và GitHub.
• Sẽ rất thú vị nếu có so sánh với các mô hình có context window lớn hơn (Gemini, Claude Opus). Nếu không, có lẽ nên đổi tiêu đề thành "Phân tích báo cáo tài chính bằng GPT-4".