> For the complete documentation index, see [llms.txt](https://docs.tabiya.org/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.tabiya.org/tabiya-documentation/es/nuestra-pila-tecnologica/livelihoods-classifier/advanced-topics.md). # Temas avanzados ## inference/linker.`py` ### class EntityLinker Crea una canalización de un transformador de reconocimiento de entidades y un transformador de oraciones para embedir texto. #### Parámetros de inicialización entity\_model : str, por defecto='tabiya/roberta-base-job-ner' Ruta a un `AutoModelForTokenClassification` modelo o un `AutoModelCrfForNer` modelo. Este modelo se utiliza para el reconocimiento de entidades dentro del texto de entrada. similarity\_model : str, por defecto='all-MiniLM-L6-v2' Ruta o nombre de un modelo de transformador de oraciones usado para embedir texto. El transformador de oraciones se utiliza para calcular embeddings para las entidades extraídas y los conjuntos de referencia. El modelo 'all-mpnet-base-v2' está disponible pero no en caché, por lo que debe usarse con el parámetro `from_cache=False` al menos la primera vez. crf : bool, por defecto=False Indicador para indicar si usar un `AutoModelCrfForNer` modelo en lugar de un `AutoModelForTokenClassification`. `CRF` (Campo Aleatorio Condicional) los modelos CRF se usan cuando la tarea requiere predicciones secuenciales con dependencias entre las salidas. evaluation\_mode : bool, por defecto=False Si se establece en `True`, el vinculador devolverá las puntuaciones de similitud del coseno entre los embeddings. Este modo es útil para evaluar la calidad de las vinculaciones. k : int, por defecto=32 Especifica la cantidad de ítems a recuperar de los conjuntos de referencia. Este parámetro limita el número de coincidencias principales a considerar al vincular entidades. from\_cache : bool, por defecto=True Si se establece en `True`, los embeddings precomputados se cargan desde la caché para ahorrar tiempo. Si se establece en `False`, los embeddings se calculan en tiempo real, lo que requiere acceso a GPU para eficiencia y puede consumir mucho tiempo. output\_format : str, por defecto='occupation' Especifica el formato de la salida para ocupaciones, ya sea `ocupación`, `preffered_label`, `esco_code`, `uuid` o `all` para obtener todas las columnas. El `uuid` también está disponible para las habilidades. #### Parámetros al llamar text : str Una cadena arbitraria relacionada con ofertas de trabajo. linking : bool, por defecto=True Especifica si el modelo realiza el enlace de entidades con la taxonomía. ### class FrenchEntityLinker Versión francesa del vinculador de entidades. Para usarlo, necesitamos reescribir las bases de datos de referencia a la versión francesa de ESCO. ## `inference/evaluator.py` ## class Evaluator(EntityLinker) Clase Evaluator que hereda del Entity Linker. Calcula las consultas, el corpus, el corpus invertido y los documentos relevantes para el [InformationRetrievalEvaluator](https://github.com/UKPLab/sentence-transformers/blob/master/sentence_transformers/evaluation/InformationRetrievalEvaluator.py), realiza el enlace de entidades y calcula las métricas de Recuperación de Información. ### Parámetros de inicialización entity\_type: str Ocupación, Habilidad o Cualificación para determinar el conjunto de evaluación exacto que se utilizará. ## `util/transformersCRF.py` ### class CRF(nn.Module) Implementado a partir de [aquí](https://github.com/lonePatient/BERT-NER-Pytorch/tree/master). Una clase que crea un modelo lineal de Campo Aleatorio Condicional. ### class AutoModelForCrfPretrainedConfig(PretrainedConfig) Clase de configuración que hereda de [PretrainedConfig ](https://huggingface.co/docs/transformers/en/main_classes/configuration#transformers.PretrainedConfig)clase de HuggingFace. ### class AutoModelCrfForNer(PreTrainedModel) Una clase general que hereda de [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) clase. El model\_type se detecta automáticamente. model\_type: str Opciones posibles incluyen `BertCrfForNer`, `RobertaCrfForNer` y `DebertaCrfForNer.` ### class BERT\_CRF\_Config(PretrainedConfig) Clase personalizada usada para configurar BERT para CRF. ### class BertCrfForNer(PreTrainedModel) Modelo CRF basado en BERT que hereda de [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) clase. Igual que [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Parámetros de Forward Igual que [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) excepto por `special_tokens_mask` por defecto: None. Usamos esta opción de HuggingFace como un pequeño truco para implementar el special\_mask necesario para CRF. ### class ROBERTA\_CRF\_Config(PretrainedConfig) Clase personalizada usada para configurar RoBERTa para CRF. ### class RobertaCrfForNer(PreTrainedModel) Modelo CRF basado en RoBERTa que hereda de [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) clase. Igual que [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Parámetros de Forward Igual que [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) excepto por `special_tokens_mask` por defecto: None. Usamos esta opción de HuggingFace como un pequeño truco para implementar el special\_mask necesario para CRF. ### class DEBERTA\_CRF\_Config(PretrainedConfig) Clase personalizada usada para configurar RoBERTa para CRF. ### class DebertaCrfForNer(PreTrainedModel) Modelo CRF basado en RoBERTa que hereda de [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) clase. Igual que [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Parámetros de Forward Igual que [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) excepto por `special_tokens_mask` por defecto: None. Usamos esta opción de HuggingFace como un pequeño truco para implementar el special\_mask necesario para CRF. ## `util/utilfunctions.py` ### class Config Clase de configuración para los [hiperparámetros de entrenamiento](/tabiya-documentation/es/nuestra-pila-tecnologica/livelihoods-classifier/training.md#train-an-entity-extraction-model). ### class CPU\_Unpickler Una clase que carga los tensores en la CPU. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.tabiya.org/tabiya-documentation/es/nuestra-pila-tecnologica/livelihoods-classifier/advanced-topics.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.