> For the complete documentation index, see [llms.txt](https://docs.tabiya.org/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.tabiya.org/tabiya-documentation/deutsch/unser-technologie-stack/livelihoods-classifier/datasets.md). # Datensätze ## Referenzmengen #### Berufe * **Ort**: inference/files/occupations\_augmented.csv * **Quelle**: [ESCO-Datensatz - v1.1.1](https://esco.ec.europa.eu/en/use-esco/download) * **Beschreibung**: ESCO (European Skills, Competences, Qualifications and Occupations) ist die europäische mehrsprachige Klassifikation von Fähigkeiten, Kompetenzen und Berufen. Dieser Datensatz enthält Informationen, die für die Berufe relevant sind. * **Lizenz**: Creative Commons Attribution 4.0 International siehe DATA\_LICENSE für Details. * **Änderungen**: Beibehalten wurden die Spalten `alt_label`, `preferred_label`, `esco_code`, und `uuid`. Jeder alternative Bezeichner wurde in einzelne Zeilen aufgeteilt. #### Fähigkeiten * **Ort**: inference/files/skills.csv * **Quelle**: [ESCO-Datensatz - v1.1.1](https://esco.ec.europa.eu/en/use-esco/download) * **Beschreibung**: ESCO (European Skills, Competences, Qualifications and Occupations) ist die europäische mehrsprachige Klassifikation von Fähigkeiten, Kompetenzen und Berufen. Dieser Datensatz enthält Informationen, die für die Fähigkeiten relevant sind. * **Lizenz**: Creative Commons Attribution 4.0 International siehe Data License für Details. * **Änderungen**: Beibehalten wurden die Spalten `preferred_label` und `uuid`. #### Qualifikationen * **Ort**: inference/files/qualifications.csv * **Quelle**: [Offizielle Vergleichswebsite des Europäischen Qualifikationsrahmens (EQF) der Europäischen Union](https://europass.europa.eu/en/compare-qualifications) * **Beschreibung**: Dieser Datensatz enthält relevante Informationen zum EQF (Europäischer Qualifikationsrahmen), die von der offiziellen EQF-Vergleichswebsite extrahiert wurden. Er umfasst Datenstrings, Länderinformationen und EQF-Stufen. Nicht-englischer Text wurde ignoriert. * **Lizenz**: Bitte entnehmen Sie [Lizenzinformationen](https://europass.europa.eu/en/node/2161). * **Änderungen**: Nicht-englischer Text wurde entfernt, und die verbleibenden Informationen wurden in eine strukturierte Datenbank formatiert. Für die französische Version des Tools verwenden wir die französische Version von ESCO v1.1.1 sowie eine Übersetzung der Qualifikationen mithilfe der Google Translation API. ## Trainingsmengen #### **Entitätsextraktion** * **Ort:** [job\_ner\_dataset](https://huggingface.co/datasets/tabiya/job_ner_dataset) * **Quelle:** [Green Benchmark-Korpus](https://github.com/acp19tag/skill-extraction-dataset) * **Beschreibung:** Dieses Datensatz bietet eine umfassende Benchmark-Suite für die Entitätserkennung (ER) in Stellenbeschreibungen. Er wurde entwickelt, um die erhebliche Lücke bei Ressourcen für die Extraktion wichtiger Entitäten wie Fähigkeiten aus Stellenbeschreibungen zu schließen. Der Datensatz umfasst 18,6 Tsd. annotierte Entitäten in fünf Kategorien: Fähigkeit, Qualifikation, Erfahrung, Beruf und Domäne. * **Lizenz:** CC-BY-NC-4.0 * **Änderungen:** Es wurden keine Änderungen am ursprünglichen Datensatz vorgenommen. Er wurde nur in das HuggingFace-Format konvertiert. #### **Ähnlichkeit von Entitäten** * **Ort:** TBD * **Quelle:**[ hahu-occupation-titles](https://huggingface.co/datasets/tabiya/occupation_titles_esco) * **Beschreibung:** Die `hahu_test.csv` Datei ist die ursprüngliche Datei, die von Hahu Jobs mit den folgenden Feldern bereitgestellt wurde: * title: Der Titel der Stellenposition, der die spezifische Rolle und/oder Position innerhalb der Organisation angibt. * esco\_label: Das von ESCO bereitgestellte bevorzugte oder alternative Label, das dem entsprechenden ESCO-Code entspricht. * esco\_code: Der dem Job zugeordnete ESCO-Code, der eine standardisierte Klassifizierung und den Vergleich über verschiedene Stellenanzeigen hinweg erleichtert. * **Lizenz:** CC-BY-NC-4.0 * **Änderungen:** Extrahierte Berufsbezeichnung und relevanter ESCO-Code, abgeglichen mit bevorzugten und alternativen Bezeichnungen. ## Evaluationsmengen #### Hahu-Test * **Ort**: inference/files/eval/redacted\_hahu\_test\_with\_id.csv * **Quelle**: [hahu\_test](https://huggingface.co/datasets/tabiya/hahu_test) * **Beschreibung**: Dieser Datensatz besteht aus 542 zufällig ausgewählten Einträgen aus dem allgemeinen 11-Klassen-Klassifikationssystem der äthiopischen Hahu-Jobs-Plattform. Aus jeder Klasse wurden 50 Einträge ausgewählt, um den endgültigen Datensatz zu erstellen. * **Lizenz**: Creative Commons Attribution 4.0 International siehe Data License für Details. * **Änderungen**: An den ausgewählten Einträgen wurden keine Änderungen vorgenommen. #### Haus und Tech * **Ort**: * inference/files/eval/house\_test\_annotations.csv * inference/files/eval/house\_validation\_annotations.csv * inference/files/eval/tech\_test\_annotations.csv * inference/files/eval/tech\_validation\_annotations.csv * **Quelle**: Bereitgestellt von [Decorte et al.](https://arxiv.org/abs/2209.05987) * **Beschreibung**: Der Datensatz enthält die HOUSE- und TECH-Erweiterungen des SkillSpan-Datensatzes. In der ursprünglichen Arbeit von Decorte et al. wurden die Test- und Entwicklungsentitäten des SkillSpan-Datensatzes nach dem ESCO-Modell annotiert. * **Lizenz**: MIT, bitte verweisen Sie auf die ursprüngliche Quelle. * **Änderungen**: Die Datensätze wurden unverändert und ohne weitere Änderungen verwendet. #### Zuordnung von Qualifikationen * **Ort**: inference/files/eval/qualification\_mapping.csv * **Quelle**: Erweitert aus dem [Green Benchmark](https://github.com/acp19tag/skill-extraction-dataset) Qualifikationen * **Beschreibung**: Dieser Datensatz ordnet die Qualifikationen des Green Benchmark den entsprechenden EQF-Stufen zu. Zwei Annotatoren haben die Qualifikationen markiert, was zu einer Cohen's-Kappa-Übereinstimmung von 0,45 führte und damit eine mittlere Übereinstimmung anzeigt. * **Lizenz**: Creative Commons Attribution 4.0 International siehe Data License für Details. * **Änderungen**: Der Datensatz wurde um Zuordnungen der EQF-Stufen erweitert, und die Annotationen wurden von zwei Annotatoren überprüft. #### Zugang und Nutzung Um diese Datensätze zu verwenden, stellen Sie sicher, dass Sie die Lizenz- und Nutzungsbedingungen des ursprünglichen Datensatzes einhalten. Alle vorgenommenen Änderungen sollten dokumentiert und Ihrem Projekt ordnungsgemäß zugeschrieben werden. {% hint style="info" %} Für Datensätze, die Zugriffstoken erfordern, wie z. B. von HuggingFace 🤗, wenden Sie sich bitte an die Betreuer. {% endhint %} --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://docs.tabiya.org/tabiya-documentation/deutsch/unser-technologie-stack/livelihoods-classifier/datasets.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.