> For the complete documentation index, see [llms.txt](https://docs.tabiya.org/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.tabiya.org/tabiya-documentation/deutsch/unser-tech-stack/livelihoods-classifier/advanced-topics.md). # Fortgeschrittene Themen ## inference/linker.`py` ### class EntityLinker Erstellt eine Pipeline aus einem Entity-Recognition-Transformer und einem Sentence-Transformer zur Einbettung von Text. #### Initialisierungsparameter entity\_model : str, Standard='tabiya/roberta-base-job-ner' Pfad zu einem vortrainierten `AutoModelForTokenClassification` Modell oder einem `AutoModelCrfForNer` Modell. Dieses Modell wird für die Entitätenerkennung im Eingabetext verwendet. similarity\_model : str, Standard='all-MiniLM-L6-v2' Pfad oder Name eines Sentence-Transformer-Modells, das für die Einbettung von Text verwendet wird. Der Sentence-Transformer wird verwendet, um Einbettungen für die extrahierten Entitäten und die Referenzsätze zu berechnen. Das Modell 'all-mpnet-base-v2' ist verfügbar, aber nicht im Cache, daher sollte es mit dem Parameter `from_cache=False` zumindest beim ersten Mal verwendet werden. crf : bool, Standard=False Ein Flag, das angibt, ob anstelle eines Standard- `AutoModelCrfForNer` Modells `AutoModelForTokenClassification`. `CRF` (Conditional Random Field) Modelle werden verwendet, wenn die Aufgabe sequentielle Vorhersagen mit Abhängigkeiten zwischen den Ausgaben erfordert. evaluation\_mode : bool, Standard=False Wenn gesetzt auf `True`, gibt der Linker die Kosinusähnlichkeitswerte zwischen den Einbettungen zurück. Dieser Modus ist nützlich zur Bewertung der Qualität der Verknüpfungen. k : int, Standard=32 Gibt die Anzahl der Elemente an, die aus den Referenzsätzen abgerufen werden sollen. Dieser Parameter begrenzt die Anzahl der Top-Treffer, die bei der Verknüpfung von Entitäten berücksichtigt werden. from\_cache : bool, Standard=True Wenn gesetzt auf `True`, werden die vorab berechneten Einbettungen aus dem Cache geladen, um Zeit zu sparen. Wenn gesetzt auf `False`, werden die Einbettungen zur Laufzeit berechnet, was für Effizienz GPU-Zugriff erfordert und zeitaufwändig sein kann. output\_format : str, Standard='occupation' Gibt das Ausgabeformat für Berufe an, entweder `Beruf`, `preffered_label`, `esco_code`, `uuid` oder `all` um alle Spalten zu erhalten. Das `uuid` ist auch für die Fähigkeiten verfügbar. #### Aufrufparameter text : str Eine beliebige stringbezogene Angabe zur Stellenanzeige. linking : bool, Standard=True Gibt an, ob das Modell die Entitätsverknüpfung zur Taxonomie durchführt. ### class FrenchEntityLinker Französische Version des Entity Linkers. Um sie zu verwenden, müssen wir die Referenzdatenbanken auf die französische Version von ESCO umschreiben. ## `inference/evaluator.py` ## class Evaluator(EntityLinker) Evaluator-Klasse, die vom Entity Linker erbt. Sie berechnet die Queries, das Korpus, das invertierte Korpus und die relevanten Dokumente für die [InformationRetrievalEvaluator](https://github.com/UKPLab/sentence-transformers/blob/master/sentence_transformers/evaluation/InformationRetrievalEvaluator.py), führt Entitätsverknüpfung durch und berechnet die Metriken der Informationsbeschaffung. ### Initialisierungsparameter entity\_type: str Occupation, Skill, or Qualification, um den genauen Evaluationssatz zu bestimmen, der verwendet werden soll. ## `util/transformersCRF.py` ### class CRF(nn.Module) Implementiert von [hier](https://github.com/lonePatient/BERT-NER-Pytorch/tree/master). Eine Klasse, die ein lineares Conditional Random Field-Modell erstellt. ### class AutoModelForCrfPretrainedConfig(PretrainedConfig) Konfigurationsklasse, die von [PretrainedConfig ](https://huggingface.co/docs/transformers/en/main_classes/configuration#transformers.PretrainedConfig)HuggingFace-Klasse erbt. ### class AutoModelCrfForNer(PreTrainedModel) Eine allgemeine Klasse, die von [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse erbt. Der model\_type wird automatisch erkannt. model\_type: str Mögliche Optionen umfassen `BertCrfForNer`, `RobertaCrfForNer` und `DebertaCrfForNer.` ### class BERT\_CRF\_Config(PretrainedConfig) Benutzerdefinierte Klasse zur Konfiguration von BERT für CRF. ### class BertCrfForNer(PreTrainedModel) BERT-basiertes CRF-Modell, das von [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse erbt. Gleich wie [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Forward-Parameter Gleich wie [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) außer für `special_tokens_mask` Standard: None. Wir verwenden diese Option von HuggingFace als kleinen Trick, um die für CRF benötigte special\_mask zu implementieren. ### class ROBERTA\_CRF\_Config(PretrainedConfig) Benutzerdefinierte Klasse zur Konfiguration von RoBERTa für CRF. ### class RobertaCrfForNer(PreTrainedModel) RoBERTa-basiertes CRF-Modell, das von [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse erbt. Gleich wie [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Forward-Parameter Gleich wie [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) außer für `special_tokens_mask` Standard: None. Wir verwenden diese Option von HuggingFace als kleinen Trick, um die für CRF benötigte special\_mask zu implementieren. ### Klasse DEBERTA\_CRF\_Config(PretrainedConfig) Benutzerdefinierte Klasse zur Konfiguration von RoBERTa für CRF. ### class DebertaCrfForNer(PreTrainedModel) RoBERTa-basiertes CRF-Modell, das von [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse erbt. Gleich wie [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Forward-Parameter Gleich wie [PreTrainedModel HuggingFace](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) außer für `special_tokens_mask` Standard: None. Wir verwenden diese Option von HuggingFace als kleinen Trick, um die für CRF benötigte special\_mask zu implementieren. ## `util/utilfunctions.py` ### class Config Konfigurationsklasse für die [training hyperparameters](/tabiya-documentation/deutsch/unser-tech-stack/livelihoods-classifier/training.md#train-an-entity-extraction-model). ### class CPU\_Unpickler Eine Klasse, die die Tensoren auf der CPU lädt. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.tabiya.org/tabiya-documentation/deutsch/unser-tech-stack/livelihoods-classifier/advanced-topics.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.