Usando o spaCy no Hugging Face

spaCy é uma biblioteca popular para Processamento Avançado de Linguagem Natural, amplamente utilizada na indústria. O spaCy facilita o uso e o treinamento de pipelines para tarefas como reconhecimento de entidades nomeadas, classificação de texto, marcação de partes do discurso e muito mais, permitindo que você construa aplicações poderosas para processar e analisar grandes volumes de texto.

Explorando modelos do spaCy no Hub

Os modelos oficiais do spaCy 3.3 estão na Página da Organização do spaCy. Qualquer pessoa da comunidade também pode compartilhar seus modelos de spaCy, que você pode encontrar filtrando à esquerda na página de modelos.

Todos os modelos no Hub vêm com recursos úteis

1. Um cartão de modelo gerado automaticamente com esquema de rótulos, métricas, componentes e muito mais.
2. Seções de avaliação no canto superior direito, onde você pode visualizar as métricas.
3. Tags de metadados que auxiliam na descoberta e contêm informações como licença e idioma.
4. Um widget interativo que você pode usar para interagir com o modelo diretamente no navegador
5. Um widget de Inference Providers que permite fazer solicitações de inferência.

Usando modelos existentes

Todos os modelos spaCy do Hub podem ser instalados diretamente usando pip install.

pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"

Para encontrar o link de interesse, você pode acessar um repositório com um modelo spaCy. Ao abrir o repositório, você pode clicar em Use in spaCy e receberá um trecho de código funcional que pode ser usado para instalar e carregar o modelo!

Uma vez instalado, você pode carregar o modelo como qualquer pipeline do spaCy.

# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")

# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()

Compartilhando seus modelos

Usando a CLI do spaCy (recomendado)

A biblioteca spacy-huggingface-hub estende a CLI nativa do spaCy para que as pessoas possam facilmente enviar seus modelos empacotados para o Hub.

Você pode instalar o spacy-huggingface-hub a partir do pip:

pip install spacy-huggingface-hub

Em seguida, você pode verificar se o comando foi registrado com sucesso

python -m spacy huggingface-hub --help

Para enviar com a CLI, você pode usar o comando huggingface-hub push, conforme mostrado abaixo.

python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]

Em seguida, você pode enviar qualquer pipeline empacotado com o spacy package. Certifique-se de definir --build wheel para gerar um arquivo binário .whl. O uploader lerá todos os metadados do pacote do pipeline, incluindo o README.md formatado gerado automaticamente e os detalhes do modelo disponíveis no meta.json.

hf auth login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl

Em apenas um minuto, você pode colocar seu modelo empacotado no Hub, testá-lo diretamente no navegador e compartilhá-lo com o restante da comunidade. Todos os metadados necessários serão enviados para você e você ainda recebe um cartão de modelo legal.

O comando exibirá duas coisas:

• Onde encontrar seu repositório no Hub! Por exemplo, https://huggingface.co/spacy/en_core_web_sm
• E como instalar o pipeline diretamente do Hub!

A partir de um script Python

You can use the push function from Python. It returns a dictionary containing the "url" and ”whl_url” of the published model and the wheel file, which you can later install with pip install.

from spacy_huggingface_hub import push

result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])

Recursos adicionais

• Biblioteca spacy-huggingface-hub.
• Post de blog de lançamento
• spaCy v 3.1 Anúncio
• spaCy documentation