LiteRT-LM-Unity - Trình bao bọc Android cho Unity dành cho LiteRT-LM

Tôi đang phát triển LLM on-device trên Android.

Trước đây tôi dùng whisper.cpp, nhưng vì không có tăng tốc GPU nên luôn thấy thiếu về tốc độ.
Sau khi LiteRT-LM được công bố, đặc biệt là khi áp dụng cả MTP, tôi đánh giá tốc độ đã nhanh lên đáng kể nên đã tiến hành công việc porting,
và đã thu được kết quả như mong đợi.

Tôi cũng đã thực hiện benchmark kết quả của nhiều mô hình khác nhau được công bố trong LiteRT Community.

Tôi chia sẻ công khai vì nghĩ có thể sẽ hữu ích cho ai đó.

[wedding]

Đã triển khai hỗ trợ Parakeet ASR và hiện đang triển khai hỗ trợ whisper ASR.