'Inferact' do các nhà sáng lập vLLM thành lập huy động 150 triệu USD vòng seed để thương mại hóa công cụ suy luận mã nguồn mở

Tóm tắt:

• Startup 'Inferact', do các nhà sáng lập của công cụ suy luận LLM mã nguồn mở vLLM thành lập, đã huy động được 150 triệu USD (khoảng 210 tỷ won) trong vòng seed và được định giá 800 triệu USD.
• Vòng gọi vốn này do a16z và Lightspeed dẫn dắt; số vốn huy động được dự kiến sẽ được dùng để xây dựng nền tảng suy luận AI cấp doanh nghiệp dựa trên vLLM và mở rộng thương mại hóa.
• Inferact đặt mục tiêu cung cấp hạ tầng suy luận hiệu năng cao, chi phí thấp, giúp doanh nghiệp triển khai và vận hành các mô hình ngôn ngữ lớn (LLM) một cách hiệu quả trong nhiều môi trường phần cứng khác nhau.

Tóm tắt chi tiết:
Khoản đầu tư seed quy mô lớn lần này vào Inferact cho thấy việc tối ưu hóa hiệu quả ở giai đoạn 'suy luận (Inference)' đang là bài toán cốt lõi của thị trường AI hiện nay.

1. Mối quan hệ giữa Inferact và vLLM

   • Inferact là công ty do các tác giả chủ chốt của dự án vLLM — một trong những engine phục vụ LLM mã nguồn mở được sử dụng rộng rãi nhất hiện nay — thành lập. Công ty do CEO Simon Mo dẫn dắt.
   • vLLM đã giải quyết tình trạng nghẽn bộ nhớ thông qua thuật toán 'PagedAttention', đồng thời mang lại thông lượng (Throughput) cao hơn so với các giải pháp trước đây, qua đó trở thành tiêu chuẩn thực tế (de facto standard) trong giới phát triển.

2. Quy mô đầu tư và bối cảnh

   • 150 triệu USD (vòng Seed): Đây là quy mô đặc biệt hiếm thấy, vượt xa một vòng seed thông thường, phản ánh nhu cầu bùng nổ của thị trường đối với việc giảm chi phí suy luận AI và tối ưu hiệu năng.
   • Định giá 800 triệu USD: Dù vẫn đang ở giai đoạn trước khi sản phẩm được thương mại hóa toàn diện, công ty vẫn được đánh giá cao nhờ tầm ảnh hưởng sẵn có của vLLM và lợi thế công nghệ (moat).
   • Nhà đầu tư chính: Andreessen Horowitz (a16z) và Lightspeed Venture Partners, hai quỹ đầu tư mạo hiểm lớn tại Thung lũng Silicon, là những đơn vị dẫn dắt vòng này.

3. Mục tiêu kỹ thuật và lộ trình

   • Thương mại hóa cho doanh nghiệp: Dựa trên vLLM mã nguồn mở, Inferact sẽ xây dựng một nền tảng thương mại dành cho môi trường doanh nghiệp, bao gồm dịch vụ được quản lý, bảo mật và hỗ trợ kỹ thuật.
   • Mở rộng khả năng tương thích phần cứng: Công ty có kế hoạch mở rộng hỗ trợ để đạt hiệu năng tối ưu không chỉ trên GPU của NVIDIA mà còn trên nhiều bộ tăng tốc phần cứng khác như AMD và AWS Inferentia.
   • Tối ưu chi phí suy luận: Tương tự như các trường hợp doanh nghiệp như Stripe đã giảm hơn 70% chi phí suy luận thông qua những framework tương tự vLLM, Inferact hướng tới việc giúp doanh nghiệp cung cấp dịch vụ LLM nhanh hơn và rẻ hơn.

4. Tác động tới hệ sinh thái nhà phát triển

   • Tính bền vững của dự án mã nguồn mở vLLM sẽ được củng cố, đồng thời các tổ chức cần tính năng doanh nghiệp sẽ có một lựa chọn trả phí rõ ràng hơn.
   • Bằng cách trừu tượng hóa quy trình tối ưu mô hình vốn phức tạp, Inferact được kỳ vọng sẽ tạo ra môi trường để các kỹ sư ML tập trung vào phát triển ứng dụng mô hình thay vì quản lý hạ tầng.

[darjeeling]

Việc vLLM huy động được 150 triệu USD xác nhận rằng chúng ta đã chuyển từ kỷ nguyên “throughput” sang kỷ nguyên “độ trễ (cold start)”.

https://reddit.com/r/LocalLLaMA/…