Waymo công bố EMMA, mô hình đa phương thức end-to-end cho xe tự hành

• EMMA: End-to-End Multimodal Model for Autonomous Driving
• Sử dụng LLM đa phương thức Gemini của Google để tạo trực tiếp quỹ đạo tương lai của xe từ dữ liệu cảm biến
• Nâng cao khả năng hiểu tình huống giao thông thông qua huấn luyện và tinh chỉnh chuyên biệt cho xe tự hành

Nội dung nghiên cứu chính

• Cho thấy mô hình đa phương thức có thể được áp dụng cho xe tự hành như thế nào
• Khám phá ưu và nhược điểm của phương pháp End-to-End
• Nhấn mạnh lợi ích của việc tận dụng tri thức thế giới đa phương thức
  • Điều này cũng hữu ích cho các tác vụ xe tự hành đòi hỏi hiểu biết không gian và khả năng suy luận
• Chứng minh hiệu quả chuyển giao học tập tích cực trên nhiều tác vụ xe tự hành quan trọng
  • Khi đồng huấn luyện lập kế hoạch đường đi, nhận diện đối tượng, hiểu đồ thị đường sá, v.v., hiệu năng được cải thiện so với huấn luyện riêng lẻ
  • Gợi ý rằng việc tích hợp thêm nhiều tác vụ xe tự hành cốt lõi theo cách tương tự là một hướng nghiên cứu đầy hứa hẹn

Giới thiệu EMMA

• EMMA phản ánh xu hướng nghiên cứu AI nhằm tích hợp các mô hình và kỹ thuật học đa phương thức quy mô lớn vào nhiều lĩnh vực hơn
• Dựa trên Gemini, Waymo xây dựng một mô hình chuyên biệt cho các tác vụ xe tự hành như lập kế hoạch đường đi và nhận diện đối tượng 3D

Các đặc điểm chính:

1. Học End-to-End
   • Xử lý đầu vào từ camera và dữ liệu văn bản để tạo ra nhiều loại đầu ra như lộ trình, đối tượng được nhận diện và các thành phần của đồ thị đường sá
2. Không gian ngôn ngữ thống nhất
   • Biểu diễn các đầu vào/đầu ra không phải cảm biến bằng ngôn ngữ tự nhiên để tận dụng tối đa tri thức thế giới của Gemini
3. Suy luận chuỗi suy nghĩ
   • Cải thiện quá trình ra quyết định bằng suy luận chuỗi suy nghĩ, nâng hiệu năng lập kế hoạch End-to-End thêm 6.7% và cung cấp cơ sở có thể diễn giải cho các quyết định lái xe

Thành tựu chính

• Đạt hiệu năng hàng đầu trên các benchmark công khai và nội bộ
  • Bao gồm lập kế hoạch End-to-End, nhận diện đối tượng 3D dựa trên camera, dự đoán đồ thị đường sá, hiểu cảnh, v.v.
• Hiệu năng được cải thiện nhờ đồng huấn luyện
  • Một mô hình EMMA duy nhất có thể đồng thời tạo đầu ra cho nhiều tác vụ, đồng thời đạt hiệu năng tương đương hoặc tốt hơn các mô hình được huấn luyện riêng
  • Cho thấy tiềm năng như một mô hình đa dụng có thể áp dụng cho nhiều ứng dụng xe tự hành

Hạn chế

• Khả năng xử lý chuỗi video dài còn hạn chế, gây khó khăn cho việc suy luận tình huống lái xe theo thời gian thực
  • Bộ nhớ dài hạn là yếu tố thiết yếu
• Không sử dụng đầu vào từ LiDAR hoặc radar
  • Cần tích hợp các encoder cảm biến 3D tinh vi hơn
• Vẫn còn các thách thức như phương pháp mô phỏng hiệu quả, thời gian suy luận mô hình được tối ưu và xác minh các bước ra quyết định trung gian

Triển vọng tương lai

• Dù EMMA còn hạn chế nếu hoạt động như một mô hình lái xe độc lập, nó cho thấy công nghệ đa phương thức có thể nâng cao hiệu năng và khả năng khái quát hóa của hệ thống xe tự hành
• Bằng cách áp dụng công nghệ AI tiên tiến vào các tác vụ thực tế, AI đang mở rộng năng lực của mình sang những môi trường phức tạp và năng động
• AI cũng có thể hữu ích trong các lĩnh vực quan trọng khác, nơi cần ra quyết định nhanh và chính xác dựa trên nhiều loại đầu vào trong các tình huống bất định
• Nghiên cứu này hướng tới việc khám phá khả năng ứng dụng các mô hình ngôn ngữ lớn đa phương thức trong xe tự hành, đồng thời góp phần cải thiện an toàn giao thông và khả năng tiếp cận
• Kỳ vọng sẽ góp phần thúc đẩy AI có thể điều hướng và suy luận hiệu quả hơn trong các môi trường thực tế phức tạp

Ý kiến của GN⁺

• EMMA là một nghiên cứu có thể trở thành cột mốc quan trọng đối với sự phát triển của công nghệ xe tự hành
  • Đây là ví dụ cho thấy rõ thế mạnh của học đa phương thức
  • Chứng minh rằng việc tích hợp nhiều tác vụ cốt lõi của xe tự hành giúp cải thiện hiệu năng
• Dù vẫn còn hạn chế để áp dụng ngay vào lái xe thực tế, đây sẽ là tài liệu tham khảo tốt cho việc phát triển các công nghệ liên quan
  • Đặc biệt, bộ nhớ dài hạn, hợp nhất đa phương thức và tối ưu hóa mô phỏng là những lĩnh vực cần được nghiên cứu trọng tâm trong thời gian tới
• Kỳ vọng công nghệ AI đa phương thức có thể được ứng dụng không chỉ trong xe tự hành mà còn ở nhiều lĩnh vực khác như y tế, sản xuất và ứng phó thảm họa
  • Nó sẽ đặc biệt hữu ích trong những lĩnh vực có dữ liệu đa dạng và đòi hỏi ra quyết định quan trọng
• Tuy nhiên, do đặc tính hộp đen của các mô hình đa phương thức, các vấn đề về khả năng giải thích và đạo đức có thể trở nên nổi bật
  • Việc giảm thiểu thiên lệch của mô hình và đưa ra căn cứ cho kết quả đầu ra sẽ là điều quan trọng
• Các nghiên cứu tương tự bao gồm DriveNet của NVIDIA, AV2.0 của Wayve và FSD của Tesla
  • Dù mỗi công ty có cách tiếp cận hơi khác nhau, tất cả đều cùng tận dụng học đa phương thức
  • Kỳ vọng công nghệ xe tự hành sẽ tiếp tục phát triển hơn nữa thông qua cả cạnh tranh lẫn hợp tác giữa các công ty