Hãy quên ChatGPT đi: Vì sao các nhà nghiên cứu giờ chạy AI cỡ nhỏ trên laptop

(nature.com)

30 điểm bởi GN⁺ 2024-09-22 | 7 bình luận | Chia sẻ qua WhatsApp

Các mô hình trí tuệ nhân tạo (AI) thường được sử dụng trực tuyến, nhưng nhiều công cụ công khai đang thay đổi điều đó
Nhà khoa học tin sinh học Chris Thorpe sử dụng mô hình ngôn ngữ lớn (LLM), một công cụ AI, để chuyển histo.fyi — cơ sở dữ liệu về các phân tử phức hợp hòa hợp mô chủ yếu (MHC), là các protein của hệ miễn dịch — thành các bản tóm tắt dễ đọc
Thorpe chạy AI trên laptop thay vì dùng LLM nền web như ChatGPT

Xu hướng gần đây của LLM

Các tổ chức đang tạo ra các phiên bản LLM 'open-weight' để người dùng có thể tải xuống và chạy cục bộ nếu có đủ năng lực tính toán
Các công ty công nghệ cũng đang tạo ra các phiên bản thu gọn có thể chạy trên phần cứng tiêu dùng, với hiệu năng sánh ngang các mô hình lớn trước đây

Vì sao các nhà nghiên cứu dùng mô hình cục bộ

Giảm chi phí
Bảo vệ tính bảo mật của bệnh nhân hoặc doanh nghiệp
Đảm bảo khả năng tái lập
Khi máy tính nhanh hơn và mô hình hiệu quả hơn, con người sẽ ngày càng chạy AI trên laptop hoặc thiết bị di động

Ví dụ về các mô hình open-weight cỡ nhỏ được công bố gần đây

Google DeepMind, Meta, Allen Institute for Artificial Intelligence và những bên khác đã công bố các mô hình chứa hàng tỷ tham số
Microsoft đã công bố các mô hình ngôn ngữ cỡ nhỏ như Phi-1, Phi-1.5, Phi-2, Phi-3 và Phi-3.5; một số trong đó cũng có thể xử lý hình ảnh
Sébastien Bubeck, Phó chủ tịch GenAI của Microsoft, giải thích rằng hiệu năng của Phi-3 đến từ bộ dữ liệu huấn luyện

Phát triển ứng dụng tùy chỉnh

Các nhà nghiên cứu có thể phát triển ứng dụng tùy chỉnh dựa trên những công cụ này
Alibaba của Trung Quốc đã xây dựng một mô hình tên là Qwen, và một nhà khoa học y sinh ở New Hampshire đã tinh chỉnh nó bằng dữ liệu khoa học để tạo ra Turbcat-72b

Bảo vệ quyền riêng tư

Một ưu điểm khác của mô hình cục bộ là bảo vệ quyền riêng tư
Việc gửi thông tin nhận dạng cá nhân tới các dịch vụ thương mại có thể vi phạm các quy định bảo vệ dữ liệu
Bác sĩ Cyril Zakka, người dẫn dắt nhóm y tế tại Hugging Face, sử dụng mô hình cục bộ để tạo dữ liệu huấn luyện cho các mô hình khác
Johnson Thomas, bác sĩ nội tiết tại hệ thống y tế Mercy ở Springfield, đang phát triển một hệ thống dựa trên OpenAI Whisper và Gemma 2 của Google DeepMind để phiên âm và tóm tắt các cuộc trò chuyện giữa bác sĩ và bệnh nhân nhằm bảo vệ quyền riêng tư của bệnh nhân
CELLama, do công ty dược phẩm Portrai ở Seoul phát triển, sử dụng LLM cục bộ để rút gọn thông tin về biểu hiện gene của tế bào và các đặc tính khác thành các câu tóm tắt, đồng thời nhấn mạnh quyền riêng tư là một lợi thế chính

Cách các mô hình được sử dụng

Các nhà nghiên cứu đang đối mặt với các lựa chọn LLM thay đổi rất nhanh
Thorpe hiện dùng Llama trên laptop và cho biết mô hình cục bộ có lợi thế về khả năng tái lập vì chúng không thay đổi
Thorpe đang viết mã để sắp xếp các phân tử MHC dựa trên cấu trúc 3D, đồng thời dùng một mô hình open-weight tên là ProtGPT2 để thiết kế protein mới
Tuy nhiên, đôi khi ứng dụng cục bộ có thể chưa đủ, và Thorpe dùng GitHub Copilot nền đám mây để lập trình

Cách tiếp cận

Có thể dùng phần mềm như Ollama, GPT4All và Llamafile để chạy LLM cục bộ
Người dùng có thể chọn ứng dụng hoặc dòng lệnh tùy theo sở thích
Stephen Hood của Mozilla nói rằng LLM cục bộ sẽ sớm đủ tốt cho phần lớn ứng dụng

Ý kiến của GN+

LLM cục bộ có thể là công cụ rất hữu ích cho các nhà nghiên cứu, nhờ những lợi thế như giảm chi phí, bảo vệ quyền riêng tư và đảm bảo khả năng tái lập
Tuy nhiên, trong một số trường hợp, dịch vụ nền đám mây có thể cung cấp hiệu năng tốt hơn, vì vậy các nhà nghiên cứu cần chọn công cụ phù hợp theo yêu cầu của ứng dụng
Vì tốc độ phát triển của LLM cục bộ đang tăng nhanh, các nhà nghiên cứu cần liên tục khám phá và thử nghiệm các mô hình, công cụ mới
Ngoài ra, cũng đáng cân nhắc việc phát triển các mô hình tùy chỉnh theo từng lĩnh vực nghiên cứu. Ví dụ, các nhà nghiên cứu y sinh có thể tinh chỉnh mô hình bằng dữ liệu y tế để đạt hiệu năng tốt hơn
LLM cục bộ vẫn đang ở giai đoạn đầu, nên các nhà nghiên cứu cần nhận thức được các vấn đề và giới hạn có thể phát sinh trong quá trình sử dụng. Ví dụ, cần xem xét cẩn trọng các yếu tố như thiên lệch của mô hình, chất lượng dữ liệu và các cân nhắc đạo đức

7 bình luận

savvykang 2024-09-24

Hiện tại nó vẫn nóng, chậm và thiếu chính xác. Với Nature mà nói thì chất lượng bài viết này khá thấp.

yangeok 2024-09-24

Nếu chạy ở edge thì có phải sẽ chậm và độ chính xác thấp không,,

kandk 2024-09-23

Thực tế là, trừ những lĩnh vực thật sự có vấn đề về latency và privacy, thì chẳng có lý do gì để dùng edge computing (local)..
Hầu như mọi dữ liệu trên thế giới đã được xử lý trên AWS, Google rồi, giờ mới mang privacy ra nói thì chỉ là chiêu trò tiếp thị của những công ty không có công nghệ để làm LLM thôi..

lcanon 2024-09-22

Trong tiêu đề bài viết của Nature có từ small, nhưng dường như phần lớn nội dung thực ra nhấn mạnh vào local.

dohyun682 2024-09-22

Lại bảo quên ChatGPT đi mỗi lần...