ExecuTorch Alpha: Trao quyền triển khai mô hình ngôn ngữ lớn và AI trên thiết bị biên cùng sự hợp tác của cộng đồng

• PyTorch giới thiệu ExecuTorch Alpha, tập trung vào việc triển khai các mô hình ngôn ngữ lớn (LLM) và các mô hình ML quy mô lớn trên thiết bị biên, ổn định hóa API và củng cố quy trình cài đặt.

• ExecuTorch Alpha cung cấp hỗ trợ cho Llama 2 của Meta và hỗ trợ sớm cho Llama 3, cho phép chạy hiệu quả các LLM này trên các thiết bị biên như iPhone, điện thoại Samsung Galaxy và các thiết bị tương tự.

• Để tối ưu hiệu năng trên các thiết bị biên có tài nguyên hạn chế, ExecuTorch Alpha sử dụng kỹ thuật lượng tử hóa và tận dụng hỗ trợ dynamic shape cùng các dtype mới của XNNPack để hỗ trợ rộng rãi cho các thiết bị CPU.

• ExecuTorch SDK cung cấp các công cụ gỡ lỗi và profiling được cải thiện, cho phép nhà phát triển ánh xạ lại các nút toán tử về mã nguồn Python ban đầu để xử lý sự cố hiệu quả và tinh chỉnh hiệu năng.

• Sự hợp tác với các đối tác như Arm, Apple, Qualcomm Technologies, Google, Unity và Meta đã đóng vai trò quan trọng trong việc phát triển ExecuTorch, vốn đã được Meta sử dụng cho hand tracking và nhiều mô hình khác nhau trên thiết bị.