Tài liệu Hugging Face Hub

Hugging Face Hub là nền tảng AI tham chiếu cho ML mở. Nền tảng này lưu trữ hơn 2 triệu mô hình, 1,5 triệu bộ dữ liệu và 1,5 triệu ứng dụng AI (Spaces), tất cả đều mở và công khai. Ngoài AI mở, Hub còn là một nền tảng cộng tác tuyệt vời cho các nhóm nội bộ và riêng tư. Khám phá, thử nghiệm, cộng tác và xây dựng, tất cả trong một! 🤗

Hugging Face Hub là gì?

Chúng tôi đang hỗ trợ cộng đồng cùng hợp tác hướng tới mục tiêu thúc đẩy Machine Learning 🔥.

Không một công ty nào, kể cả các Tech Titans, có thể tự mình “giải quyết AI” – cách duy nhất để chúng ta đạt được điều này là chia sẻ kiến thức và tài nguyên theo cách tiếp cận lấy cộng đồng làm trung tâm. Chúng tôi đang xây dựng bộ sưu tập mã nguồn mở lớn nhất về các mô hình, bộ dữ liệu và demo trên Hugging Face Hub nhằm dân chủ hóa và thúc đẩy ML cho tất cả mọi người 🚀.

Chúng tôi khuyến khích bạn đọc Quy tắc ứng xử và Hướng dẫn nội dung để làm quen với các giá trị mà chúng tôi kỳ vọng thành viên cộng đồng sẽ tuân thủ 🤗.

Bạn có thể tìm thấy gì trên Hub?

Hugging Face Hub lưu trữ các kho lưu trữ dựa trên Git, là những thư mục được kiểm soát phiên bản có thể chứa tất cả các tệp của bạn. Đối với lưu trữ đối tượng có thể thay đổi, không kiểm soát phiên bản, Hub cũng cung cấp Storage Buckets.

Trên đó, bạn sẽ có thể tải lên và khám phá…

• Mô hình: chứa các mô hình tiên tiến nhất hiện nay cho các tác vụ LLM, văn bản, thị giác và âm thanh
• Bộ dữ liệu: chứa nhiều loại dữ liệu khác nhau cho các lĩnh vực và phương thức khác nhau
• Spaces: các ứng dụng tương tác để trình diễn các mô hình ML ngay trong trình duyệt của bạn

Hub cung cấp phiên bản hóa, lịch sử commit, diff, nhánh và hơn một chục tích hợp thư viện! Tất cả các kho lưu trữ được xây dựng trên Xet, một công nghệ mới để lưu trữ hiệu quả các tệp lớn bên trong Git, chia tệp thành các khối duy nhất một cách thông minh và tăng tốc quá trình tải lên và tải xuống.

Bạn có thể tìm hiểu thêm về các tính năng mà tất cả các kho lưu trữ đều có trong tài liệu Repositories.

Mô hình

Bạn có thể khám phá và sử dụng hàng chục nghìn mô hình ML mã nguồn mở được chia sẻ bởi cộng đồng. Để thúc đẩy việc sử dụng và phát triển mô hình có trách nhiệm, các kho mô hình được trang bị Model Cards để thông báo cho người dùng về các hạn chế và thiên kiến của từng mô hình. Các metadata bổ sung về thông tin như tác vụ, ngôn ngữ và kết quả đánh giá cũng có thể được bao gồm, thậm chí các biểu đồ chỉ số huấn luyện còn được thêm vào nếu kho chứa TensorBoard traces. Bạn cũng có thể dễ dàng thêm một inference widget vào mô hình của mình, cho phép bất kỳ ai tương tác trực tiếp với mô hình ngay trong trình duyệt! Để truy cập theo chương trình, một API serverless được cung cấp bởi Inference Providers.

Để tải các model lên Hub, hoặc tải model và tích hợp chúng vào công việc của bạn, hãy khám phá tài liệu Models. Bạn cũng có thể chọn từ hơn chục thư viện như 🤗 Transformers, Asteroid và ESPnet hỗ trợ Hub.

Bộ dữ liệu

Hub là nơi lưu trữ hơn 500k bộ dữ liệu công khai bằng hơn 8k ngôn ngữ, có thể được sử dụng cho một loạt các tác vụ trong NLP, Computer Vision và Audio. Hub giúp việc tìm kiếm, tải xuống và tải lên các bộ dữ liệu trở nên đơn giản. Các bộ dữ liệu đi kèm với tài liệu chi tiết dưới dạng Dataset Cards và Data Studio để bạn có thể khám phá dữ liệu trực tiếp trong trình duyệt. Trong khi nhiều bộ dữ liệu là công khai, các tổ chức và cá nhân có thể tạo các bộ dữ liệu riêng tư để tuân thủ các vấn đề về giấy phép hoặc quyền riêng tư. Bạn có thể tìm hiểu thêm về Datasets tại đây trong tài liệu Hugging Face Hub.

Thư viện 🤗 datasets cho phép bạn tương tác với các bộ dữ liệu một cách lập trình, giúp bạn dễ dàng sử dụng các bộ dữ liệu từ Hub trong các dự án của mình. Chỉ với một dòng code, bạn có thể truy cập các bộ dữ liệu; ngay cả khi chúng quá lớn để chứa vừa trong máy tính của bạn, bạn vẫn có thể sử dụng streaming để truy cập dữ liệu một cách hiệu quả.

Spaces

Spaces là cách đơn giản để lưu trữ các ứng dụng demo ML trên Hub. Chúng cho phép bạn xây dựng danh mục ML của mình, giới thiệu các dự án tại các hội nghị hoặc cho các bên liên quan, và làm việc hợp tác với những người khác trong hệ sinh thái ML.

Hiện tại, chúng tôi hỗ trợ hai SDK Python tuyệt vời (Gradio và Streamlit) cho phép bạn xây dựng các ứng dụng thú vị chỉ trong vài phút. Người dùng cũng có thể tạo các Spaces tĩnh, tức là các trang HTML/CSS/JavaScript đơn giản, hoặc triển khai bất kỳ ứng dụng nào dựa trên Docker.

Nếu bạn cần sức mạnh GPU cho các bản demo của mình, hãy thử ZeroGPU: nó cung cấp động các GPU NVIDIA RTX Pro 6000 Blackwell, theo thời gian thực, chỉ khi cần.

Sau khi bạn đã khám phá một vài Spaces (hãy xem Space of the Week!), hãy tìm hiểu tài liệu Spaces để nắm rõ cách tạo Space của riêng bạn. Bạn cũng có thể nâng cấp Space của mình để chạy trên GPU hoặc phần cứng tăng tốc khác. ⚡️

Thùng chứa lưu trữ

Storage Buckets cung cấp lưu trữ đối tượng kiểu S3 trên Hugging Face, được vận hành bởi backend lưu trữ Xet. Khác với các repository (dựa trên git và theo dõi lịch sử tệp), bucket là các container lưu trữ đối tượng từ xa, được thiết kế cho các tệp quy mô lớn với tính năng khử trùng lặp dựa trên địa chỉ nội dung. Chúng được thiết kế cho các trường hợp sử dụng cần lưu trữ đơn giản, nhanh và có thể thay đổi, chẳng hạn như lưu trữ checkpoint huấn luyện, log, các sản phẩm trung gian, hoặc bất kỳ bộ sưu tập tệp lớn nào không cần kiểm soát phiên bản.

Tổ chức

Các công ty, trường đại học và tổ chức phi lợi nhuận là một phần thiết yếu của cộng đồng Hugging Face! Hub cung cấp Tổ chức, có thể được sử dụng để nhóm các tài khoản và quản lý bộ dữ liệu, mô hình và Spaces. Giáo viên cũng có thể tạo các tổ chức cộng tác cho sinh viên bằng cách sử dụng Hugging Face for Classrooms. Các kho lưu trữ của một tổ chức sẽ được hiển thị trên trang của tổ chức đó và mọi thành viên của tổ chức sẽ có khả năng đóng góp vào kho lưu trữ. Ngoài việc nhóm gọn gàng tất cả công việc của một tổ chức, Hub cho phép quản trị viên thiết lập các vai trò để kiểm soát quyền truy cập vào kho lưu trữ và quản lý phương thức thanh toán và thông tin hóa đơn của tổ chức. Machine Learning sẽ thú vị hơn khi cộng tác! 🔥

Khám phá các tổ chức hiện có, tạo một tổ chức mới tại đây, và sau đó truy cập tài liệu về Tổ chức để tìm hiểu thêm.

Bảo mật

Hugging Face Hub hỗ trợ các tính năng bảo mật và kiểm soát truy cập để bạn yên tâm rằng mã nguồn, mô hình và dữ liệu của mình được an toàn. Hãy truy cập phần Bảo mật trong tài liệu này để tìm hiểu về:

• Token truy cập người dùng
• Kiểm soát truy cập cho các tổ chức
• Ký commit bằng GPG
• Quét phần mềm độc hại

Update on GitHub