> For the complete documentation index, see [llms.txt](https://docs.tabiya.org/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.tabiya.org/tabiya-documentation/deutsch/unser-technologie-stack/livelihoods-classifier/advanced-topics.md). # Fortgeschrittene Themen Auf dieser Seite möchten wir weitere Details zu den Klassen und Funktionen geben, die sich im GItHub-Repository befinden. ## inference/linker.`py` ### Klasse EntityLinker Erstellt eine Pipeline aus einem Entity-Recognition-Transformer und einem Sentence-Transformer zum Embedding von Text. #### Initialisierungsparameter entity\_model : str, default='tabiya/roberta-base-job-ner' Pfad zu einem vortrainierten `AutoModelForTokenClassification` Modell oder ein `AutoModelCrfForNer` Modell. Dieses Modell wird zur Entitätserkennung innerhalb des Eingabetexts verwendet. similarity\_model : str, default='all-MiniLM-L6-v2' Pfad oder Name eines Sentence-Transformer-Modells, das zum Embedding von Text verwendet wird. Der Sentence Transformer wird verwendet, um Embeddings für die extrahierten Entitäten und die Referenzmengen zu berechnen. Das Modell 'all-mpnet-base-v2' ist verfügbar, befindet sich jedoch nicht im Cache, daher sollte es mit dem Parameter `from_cache=False` zumindest beim ersten Mal. crf : bool, default=False Ein Flag, das angibt, ob ein `AutoModelCrfForNer` Modell anstelle eines Standard- `AutoModelForTokenClassification`. `CRF` (Conditional Random Field)-Modelle werden verwendet, wenn die Aufgabe sequenzielle Vorhersagen mit Abhängigkeiten zwischen den Ausgaben erfordert. evaluation\_mode : bool, default=False Wenn auf `True`, gesetzt wird, gibt der Linker die Kosinusähnlichkeitswerte zwischen den Embeddings zurück. Dieser Modus ist nützlich, um die Qualität der Verknüpfungen zu bewerten. k : int, default=32 Gibt die Anzahl der aus den Referenzmengen abzurufenden Elemente an. Dieser Parameter begrenzt die Anzahl der besten Übereinstimmungen, die bei der Verknüpfung von Entitäten berücksichtigt werden. from\_cache : bool, default=True Wenn auf `True`, gesetzt wird, werden die vorab berechneten Embeddings aus dem Cache geladen, um Zeit zu sparen. Wenn auf `False`, gesetzt wird, werden die Embeddings on-the-fly berechnet, was für Effizienz GPU-Zugriff erfordert und zeitaufwendig sein kann. output\_format : str, default='occupation' Gibt das Ausgabeformat für Berufe an, entweder `occupation`, `preffered_label`, `esco_code`, `uuid` oder `all` um alle Spalten zu erhalten. Die `uuid` ist auch für die Fähigkeiten verfügbar. #### Aufrufparameter text : str Ein beliebiger String im Zusammenhang mit einer Stellenanzeige. linking : bool, default=True Geben Sie an, ob das Modell das Entity Linking zur Taxonomie durchführt. ### Klasse FrenchEntityLinker Französische Version des Entity-Linkers. Um sie zu verwenden, müssen wir die Referenzdatenbanken auf die französische Version von ESCO umschreiben. ## `inference/evaluator.py` ## Klasse Evaluator(EntityLinker) Evaluator-Klasse, die vom EntityLinker erbt. Sie berechnet die Queries, den Korpus, den invertierten Korpus und die relevanten Dokumente für den [InformationRetrievalEvaluator](https://github.com/UKPLab/sentence-transformers/blob/master/sentence_transformers/evaluation/InformationRetrievalEvaluator.py), führt Entity Linking durch und berechnet die Information-Retrieval-Metriken. ### Initialisierungsparameter entity\_type: str Beruf, Fähigkeit oder Qualifikation, um den genau zu verwendenden Evaluationssatz zu bestimmen. ## `util/transformersCRF.py` ### Klasse CRF(nn.Module) Implementiert von [hier](https://github.com/lonePatient/BERT-NER-Pytorch/tree/master). Eine Klasse, die ein lineares Conditional-Random-Field-Modell erstellt. ### Klasse AutoModelForCrfPretrainedConfig(PretrainedConfig) Konfigurationsklasse, die von [PretrainedConfig ](https://huggingface.co/docs/transformers/en/main_classes/configuration#transformers.PretrainedConfig)HuggingFace-Klasse. ### Klasse AutoModelCrfForNer(PreTrainedModel) Eine allgemeine Klasse, die von [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse. Der model\_type wird automatisch erkannt. model\_type: str Mögliche Optionen sind `BertCrfForNer`, `RobertaCrfForNer` und `DebertaCrfForNer.` ### Klasse BERT\_CRF\_Config(PretrainedConfig) Benutzerdefinierte Klasse zur Konfiguration von BERT für CRF. ### Klasse BertCrfForNer(PreTrainedModel) BERT-basiertes CRF-Modell, das von [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse erbt. Gleich wie [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Forward-Parameter Gleich wie [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) außer für `special_tokens_mask` standardmäßig: None. Wir verwenden diese Option von HuggingFace als kleinen Trick, um die für CRF benötigte special\_mask zu implementieren. ### Klasse ROBERTA\_CRF\_Config(PretrainedConfig) Benutzerdefinierte Klasse zur Konfiguration von RoBERTa für CRF. ### Klasse RobertaCrfForNer(PreTrainedModel) RoBERTa-basiertes CRF-Modell, das von [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse erbt. Gleich wie [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Forward-Parameter Gleich wie [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) außer für `special_tokens_mask` standardmäßig: None. Wir verwenden diese Option von HuggingFace als kleinen Trick, um die für CRF benötigte special\_mask zu implementieren. ### Klasse DEBERTA\_CRF\_Config(PretrainedConfig) Benutzerdefinierte Klasse zur Konfiguration von RoBERTa für CRF. ### Klasse DebertaCrfForNer(PreTrainedModel) RoBERTa-basiertes CRF-Modell, das von [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) Klasse erbt. Gleich wie [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel). #### Forward-Parameter Gleich wie [HuggingFace-PreTrainedModel](https://huggingface.co/docs/transformers/en/main_classes/model#transformers.PreTrainedModel) außer für `special_tokens_mask` standardmäßig: None. Wir verwenden diese Option von HuggingFace als kleinen Trick, um die für CRF benötigte special\_mask zu implementieren. ## `util/utilfunctions.py` ### Klasse Config Konfigurationsklasse für die [Trainings-Hyperparameter](/tabiya-documentation/deutsch/unser-technologie-stack/livelihoods-classifier/training.md#train-an-entity-extraction-model). ### Klasse CPU\_Unpickler Eine Klasse, die die Tensoren auf der CPU lädt. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://docs.tabiya.org/tabiya-documentation/deutsch/unser-technologie-stack/livelihoods-classifier/advanced-topics.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.