Sử dụng Mô hình Unity Sentis từ Hugging Face

Unity 3D là một trong những game engine phổ biến nhất trên thế giới. Unity Sentis là inference engine chạy trên Unity 2023 trở lên. Đây là API cho phép bạn dễ dàng tích hợp và chạy các mô hình neural network trong game hoặc ứng dụng của mình bằng cách tận dụng phần cứng tăng tốc. Vì Unity có thể xuất ra nhiều dạng thiết bị khác nhau bao gồm PC, mobile và console, nên đây là cách dễ dàng để chạy các mô hình neural network trên nhiều loại phần cứng khác nhau.

Khám phá các Mô hình Sentis trên Hub

Bạn sẽ tìm thấy các mô hình unity-sentis bằng cách lọc ở phía bên trái của trang mô hình.

Tất cả các mô hình Sentis trên Hub đều đi kèm mã nguồn và hướng dẫn để bạn dễ dàng bắt đầu sử dụng mô hình trong Unity. Tất cả các mô hình Sentis dưới namespace unity (ví dụ, unity/sentis-yolotinyv7) đã được xác nhận là hoạt động, vì vậy bạn có thể yên tâm rằng chúng sẽ chạy trong Unity.

Để biết thêm chi tiết về việc sử dụng Sentis, bạn có thể đọc tài liệu của nó. Để nhận được sự hỗ trợ từ những người khác đang sử dụng Sentis, bạn có thể đặt câu hỏi trong diễn đàn thảo luận của nó

Các loại tệp

Mỗi kho lưu trữ sẽ chứa một số loại tệp:

• sentis files: Đây là các tệp mô hình chính chứa các mạng nơ-ron chạy trên Unity.
• ONNX files: Đây là định dạng thay thế mà bạn có thể bao gồm bên cạnh hoặc thay thế cho các tệp Sentis. Nó có thể hữu ích để trực quan hóa bằng các công cụ bên thứ ba như Netron.
• cs file: Đây là các tệp C# chứa mã để chạy mô hình trên Unity.
• info.json: File này chứa thông tin về các tệp trong kho.
• Các tệp dữ liệu. Đây là những tệp khác cần thiết để chạy mô hình. Chúng có thể bao gồm tệp từ vựng, danh sách tên lớp, v.v. Một số tệp điển hình sẽ có phần mở rộng json hoặc txt.
• README.md. Đây là thẻ mô hình. Nó chứa các hướng dẫn về cách sử dụng mô hình và các thông tin liên quan khác.

Chạy mô hình

Luôn tham khảo các hướng dẫn trên thẻ mô hình. Bạn cần có một số kiến thức về Unity và kiến thức cơ bản về C#.

1. Mở Unity 2023 trở lên và tạo một cảnh mới.

2. Cài đặt gói com.unity.sentis từ trình quản lý gói.

3. Tải xuống các tệp mô hình của bạn (*.sentis) và các tệp dữ liệu, sau đó đặt chúng vào thư mục StreamingAssets, đây là một thư mục con bên trong thư mục Assets. (Nếu thư mục này không tồn tại, bạn có thể tạo nó).

4. Đặt tệp C# của bạn lên một đối tượng trong cảnh, chẳng hạn như Main Camera.

5. Tham khảo thẻ mô hình để xem có bất kỳ đối tượng nào khác cần tạo trong cảnh hay không.

Trong hầu hết các trường hợp, chúng tôi chỉ cung cấp cài đặt cơ bản để bạn có thể bắt đầu. Việc tìm ra các cách sử dụng sáng tạo là do bạn quyết định. Ví dụ, bạn có thể muốn kết hợp hai hoặc nhiều mô hình để thực hiện những điều thú vị.

Chia sẻ các mô hình Sentis của bạn

Chúng tôi khuyến khích bạn chia sẻ các mô hình Sentis của riêng mình trên Hugging Face. Đây có thể là những mô hình bạn đã tự huấn luyện hoặc những mô hình bạn đã chuyển đổi sang định dạng Sentis và đã kiểm tra để chạy trong Unity.

Vui lòng cung cấp các mô hình ở định dạng Sentis cho từng kho lưu trữ mà bạn tải lên. Điều này giúp kiểm tra thêm rằng chúng sẽ chạy được trong Unity và cũng là định dạng được ưu tiên cho các mô hình lớn. Bạn cũng có thể bao gồm các phiên bản ONNX gốc của các tệp mô hình.

Cung cấp một tệp C# với một triển khai tối giản. Ví dụ, một mô hình xử lý hình ảnh nên có mã nguồn cho thấy cách chuẩn bị hình ảnh cho đầu vào và xây dựng hình ảnh từ đầu ra. Thay vào đó, bạn có thể liên kết đến một số mã nguồn mẫu bên ngoài. Điều này sẽ giúp người khác dễ dàng tải xuống và sử dụng mô hình trong Unity.

Cung cấp các tệp dữ liệu cần thiết để chạy mô hình. Ví dụ: các tệp từ vựng.

Cuối cùng, vui lòng cung cấp tệp info.json, trong đó liệt kê các tệp của dự án của bạn. Điều này giúp đếm số lượt tải xuống. Một số ví dụ về nội dung của info.json là:

{
   "code": [ "mycode.cs"], 
   "models": [ "model1.sentis", "model2.sentis"],
   "data": [ "vocab.txt" ]
}

Hoặc nếu ví dụ mã của bạn nằm bên ngoài:

{
   "sampleURL": [ "http://sampleunityproject"], 
   "models": [ "model1.sentis", "model2.sentis"]
}

Thông tin bổ sung

Chúng tôi cũng có một số dự án mẫu hoàn chỉnh để giúp bạn bắt đầu sử dụng Sentis.