XrayGPT: Tóm tắt ảnh chụp X-quang ngực bằng mô hình thị giác-ngôn ngữ y khoa (VLM)

 (github.com/mbzuai-oryx)
7 điểm bởi xguru 2023-07-04 | 1 bình luận | Chia sẻ qua WhatsApp
  • Nghiên cứu về việc tự động phân tích ảnh X-quang ngực
  • Tinh chỉnh Vicuna LLM bằng dữ liệu y khoa (100.000 cuộc hội thoại thực tế giữa bệnh nhân và bác sĩ) và 30.000 cuộc hội thoại về chẩn đoán hình ảnh (Radiology)
  • Tạo các bản tóm tắt gọn gàng dạng hội thoại (~217k) từ các bộ dữ liệu báo cáo chẩn đoán hình ảnh văn bản miễn phí (MIMIC-CXR và OpenI) để cải thiện hiệu năng của LLM
  • Căn chỉnh Frozen Medical Visual Encoder (MedClip) với LLM (Vicuna) đã được tinh chỉnh bằng cách sử dụng Simple Linear Transformation

Bài viết liên quan

1 bình luận

 
cosine20 2023-07-06

Nếu có ảnh chụp X-quang ngực thì có thể tự thử demo trực tiếp luôn.