Phát triển trình biên dịch shader DirectX tốt hơn cả Microsoft

Xây dựng trình biên dịch shader DirectX tốt hơn Microsoft

• Câu chuyện về tình trạng phức tạp của trình biên dịch shader DirectX của Microsoft và nỗ lực mang lại trải nghiệm tốt hơn cho các nhà phát triển game.
• Đang phát triển một API đồ họa thử nghiệm tên là sysgpu, hậu duệ của WebGPU, cho engine Mach bằng Zig, với kế hoạch hỗ trợ các backend Metal, Vulkan, Direct3D và OpenGL.
• Cần biên dịch các chương trình shader có thể dùng trong Direct3D 12.

Lược sử ngắn gọn của DirectX

• API đồ họa DirectX sử dụng HLSL làm ngôn ngữ shading.
• Trước đây, trước thời Direct3D 11, trình biên dịch mang tên FXC được sử dụng, nhưng nổi tiếng là chậm và sinh mã tối ưu kém.

FXC không còn được dùng nữa, và DXC xuất hiện cùng Direct3D 12

• Cùng với việc ra mắt Direct3D 12 và Shader Model 6.0 (SM6), Microsoft đã loại bỏ FXC và giới thiệu một trình biên dịch mới mang tên DXC.
• DXC là một nhánh fork chính thức của Microsoft từ LLVM/Clang v3.7, và các thay đổi được đánh dấu rõ ràng bằng chú thích.

Thứ mà driver DirectX dùng làm bữa sáng: DXBC hoặc DXIL

• Dù HLSL là ngôn ngữ được chọn cho lập trình Direct3D, trên thực tế GPU có nhiều kiến trúc tính toán và yêu cầu khác nhau.
• Microsoft cung cấp một API frontend thân thiện với nhà phát triển, còn các nhà cung cấp phần cứng độc lập sẽ viết driver để chuyển đổi nó sang dạng gần nhất với ISA phần cứng thực tế.
• Với sự xuất hiện của DirectX 12 và Shader Model 6.0, một định dạng mới là DXIL được dùng thay cho DXBC.

DXIL

• DXIL hiện là định dạng chính thức mà các nhà sản xuất driver DirectX 12 sử dụng.
• Nhà phát triển game dùng trình biên dịch DXC để tạo bytecode DXIL, rồi chuyển nó cho driver đồ họa để biến thành mã máy thực tế chạy trên phần cứng GPU.

Chỉnh sửa nhánh fork LLVM của Microsoft

• Microsoft nhận thức rằng việc để các nhà sản xuất driver độc lập sử dụng một định dạng LLVM bitcode cụ thể là điều không lý tưởng, và cũng thừa nhận việc duy trì nhánh fork LLVM không hề dễ chịu.
• Microsoft đã bắt đầu công việc nhằm tích hợp trực tiếp hỗ trợ biên dịch HLSL vào LLVM/Clang.

Thách thức cho nhà phát triển game, WebGPU và hơn thế nữa

• Lớp trừu tượng hóa đồ họa cần cung cấp một ngôn ngữ shading thống nhất, và hiện phần lớn các triển khai WebGPU dùng cách biên dịch HLSL sang DXBC hoặc DXIL.

Đường vòng đơn giản: SPIR-V

• Vulkan/SPIR-V cũng sử dụng cách tiếp cận tương tự, và việc SPIR-V có được tối ưu hay không là do nhà sản xuất GPU quyết định.

Có nên dùng dxcompiler.dll không?

• Runtime WebGPU phải quyết định giữa việc dùng trình biên dịch HLSL DXC mới hay dùng trình biên dịch FXC đã chính thức bị khai tử, vốn cho hiệu năng và chất lượng sinh mã kém hơn.

Vì sao không thể liên kết tĩnh?

• Nhánh fork LLVM của Microsoft không hỗ trợ liên kết tĩnh, và nguyên nhân là do độ phức tạp của hệ thống build.

Giới thiệu dxil.dll - blob ký mã độc quyền cho shader DirectX

• dxil.dll không được build từ mã nguồn, mà phụ thuộc vào một blob mã độc quyền theo từng nền tảng trong kho lưu trữ “mã nguồn mở” của Microsoft.

Vấn đề hỗ trợ nền tảng

• Microsoft chỉ phát hành dxil.dll cho Windows (x86/arm) và Linux (x86), không cung cấp binary cho macOS hay Linux aarch64.

Tóm tắt

• Không thể build DXC thành thư viện tĩnh, và việc khôi phục chức năng LLVM do blob ký mã độc quyền sẽ là một công việc quy mô lớn.
• Không thể thực hiện biên dịch shader offline cho game đa nền tảng trong pipeline CI trên macOS hoặc arm Linux.

Cải thiện hệ thống build

• Chuyển hệ thống build từ CMake sang build.zig để tìm cách build thành một thư viện tĩnh duy nhất.

Giải quyết phụ thuộc thư viện động

• Đã fork codebase DXC và chỉnh sửa mã C++ để loại bỏ phụ thuộc vào thư viện động.

Giải quyết phần ký mã độc quyền

• Đã tìm ra cách biên dịch shader HLSL mà không cần phụ thuộc vào dxil.dll.

Kết quả

• Cung cấp thư viện dxcompiler và CLI dxc dưới dạng binary tĩnh, không phụ thuộc vào dxil.dll độc quyền.
• Build các binary cho macOS, Linux và Windows trong pipeline CI.

Lưu ý

• Một số binary vẫn chưa được build hoặc kiểm thử, và có kế hoạch dùng chính Zig thay vì HLSL làm ngôn ngữ shading.

Ghi chú cá nhân

• Sau khi có một công việc kỹ thuật toàn thời gian dưới tên Stephen, tác giả hoạt động trực tuyến để xây dựng engine Mach.
• Có gốc rễ trong FOSS và tin rằng con người nên sở hữu công cụ của mình và được trao quyền nhờ chúng.
• Ước mơ là xây dựng Mach cho mọi người và kiếm sống bằng cách bán các game chất lượng cao.

Cảm ơn bạn đã đọc

• Hãy xem thử machengine.org.
• Hãy cân nhắc hỗ trợ việc phát triển để có thể làm được nhiều hơn.
• Hãy tham gia máy chủ Discord của Mach.
• Hãy tài trợ trên GitHub.
• machengine.org

Ý kiến của GN⁺

• Điều quan trọng nhất trong bài viết này là nỗ lực của cộng đồng phát triển nhằm vượt qua sự phức tạp và các giới hạn của DXC, trình biên dịch shader DirectX của Microsoft.
• Nhà phát triển engine Mach đã dùng Zig để cải thiện hệ thống build của DXC và đưa ra một cách tiếp cận mới để biên dịch shader HLSL mà không phụ thuộc vào dxil.dll độc quyền, qua đó đóng góp quan trọng cho phát triển game đa nền tảng.
• Bài viết nhấn mạnh tầm quan trọng của phần mềm mã nguồn mở và việc các nhà phát triển cần có quyền sở hữu cũng như kiểm soát công cụ của mình, đồng thời cho thấy giá trị của hợp tác và đổi mới trong cộng đồng kỹ thuật.

[GN⁺]

Ý kiến trên Hacker News

• Tổng quan rất hay về độ phức tạp của việc biên dịch shader cho API 3D

  • Bài viết đưa ra cái nhìn tổng quan về bài toán phức tạp của biên dịch shader xuyên nhiều API 3D.
  • Dù tập trung vào D3D và Microsoft, tình hình ở các API 3D khác cũng không khá hơn là bao.
  • Ví dụ, không thể cross-compile shader Metal từ máy chủ Linux; việc này chỉ khả thi trên macOS và gần đây là trên Windows.
  • Nếu đội ngũ Mach có thể hiện thực hóa thành công việc "dùng Zig như một trình biên dịch shader xuyên API 3D" và khiến nó hoạt động mượt mà như "dùng Zig làm toolchain cross-compile", thì đây sẽ là sự kiện lớn nhất của đồ họa máy tính kể từ năm 1995.

• Các vấn đề liên quan đến Godot

  • Hỗ trợ Direct3D 12 hiện phụ thuộc vào thư viện độc quyền dxil.dll của DirectX Shader Compiler được phân phối kèm với Godot.
  • Việc phân phối phần mềm độc quyền đi ngược lại sứ mệnh của dự án Godot.

• Thảo luận về việc phân phối thêm .dll

  • Việc phân phối thêm .dll không phải là điều bất thường, tương tự như nhiều trò chơi điện tử đã dùng các middleware độc quyền như Bink, SpeedTree, PhysX, v.v.
  • Hầu hết các launcher game như Steam, GOG, Epic, v.v. cũng đều yêu cầu các .DLL riêng.
  • Nhiều game dùng D3D11On12, và nhiều tựa game đã phát hành có kèm dxil.dll trong bộ cài.
  • Việc reverse engineer chữ ký mã và tái hiện thực nó là điều đáng kinh ngạc, nhất là khi đầu ra còn giống hệt dxil.dll đến từng bit.
  • Tuy nhiên, những ai thích cách đơn giản hơn có thể chỉ cần chọn phân phối DLL.

• Câu hỏi về chữ ký của DXIL.dll

  • Chữ ký mà DXIL.dll thực hiện có đơn thuần là một biến thể MD5 đã được chỉnh sửa không?

• Những thay đổi của DXC đối với tầng sinh mã và hạ tầng của LLVM

  • Nhánh fork LLVM của DXC đã loại bỏ hoặc làm hỏng tầng sinh mã và hạ tầng của LLVM.
  • Việc sửa vấn đề này và khôi phục các tính năng LLVM bị phá vỡ sẽ là một khối lượng công việc khổng lồ.
  • Do hạn chế về nguồn lực, chưa có kế hoạch xử lý vấn đề này trong trình biên dịch DXC mới.
  • Trong tương lai, Clang có thể hỗ trợ sinh DXBC, nhưng công việc đó sẽ chưa bắt đầu trong vài năm vì hiện tại ưu tiên là hỗ trợ sinh DXIL và SPIR-V trước.
  • Có lời cảm ơn Microsoft vì đã đặt ra kỳ vọng rõ ràng.

• Lời khuyên về hệ sinh thái Mach

  • Có khuyến nghị nên tìm hiểu đặc biệt về mach-sysgpu, một bản tái hiện thực hoàn chỉnh của WebGPU, chủ yếu do Ali Chraghi, 17 tuổi, viết.

• Thảo luận về SDL_gpu và SDL3

  • Đội ngũ SDL đang phát triển một ngôn ngữ shader mới tên là SDL_gpu, dự kiến ra mắt cùng SDL3.
  • Nó sẽ mang lại một cách để làm việc đa nền tảng liên quan đến đồ họa 3D trong game.

• Ứng dụng của ngôn ngữ Zig

  • Việc dùng chính Zig làm ngôn ngữ shader là một ý tưởng rất ngầu.
  • Zig là một ngôn ngữ thực thụ, đồng thời cũng là hệ thống build và ngôn ngữ shader.

• Lời cảm ơn dành cho công việc hạ tầng

  • Thật vui khi đọc về loại công việc hạ tầng như thế này vì nó mở ra rất nhiều cánh cửa.

• Nhắc đến cách phát âm của DXIL

  • DXIL được phát âm là "dixel", giống như thay chữ 'p' trong "pixel" bằng chữ 'd'.