Ctrlk
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Datensätze

Referenzmengen

Berufe

  • Ort: inference/files/occupations_augmented.csv

  • Quelle: ESCO-Datensatz - v1.1.1

  • Beschreibung: ESCO (European Skills, Competences, Qualifications and Occupations) ist die europäische mehrsprachige Klassifikation von Fähigkeiten, Kompetenzen und Berufen. Dieser Datensatz enthält Informationen, die für die Berufe relevant sind.

  • Lizenz: Creative Commons Attribution 4.0 International siehe DATA_LICENSE für Details.

  • Änderungen: Beibehalten wurden die Spalten alt_label, preferred_label, esco_code, und uuid. Jeder alternative Bezeichner wurde in einzelne Zeilen aufgeteilt.

Fähigkeiten

  • Ort: inference/files/skills.csv

  • Quelle: ESCO-Datensatz - v1.1.1

  • Beschreibung: ESCO (European Skills, Competences, Qualifications and Occupations) ist die europäische mehrsprachige Klassifikation von Fähigkeiten, Kompetenzen und Berufen. Dieser Datensatz enthält Informationen, die für die Fähigkeiten relevant sind.

  • Lizenz: Creative Commons Attribution 4.0 International siehe Data License für Details.

  • Änderungen: Beibehalten wurden die Spalten preferred_label und uuid.

Qualifikationen

  • Ort: inference/files/qualifications.csv

  • Quelle: Offizielle Vergleichswebsite des Europäischen Qualifikationsrahmens (EQF) der Europäischen Union

  • Beschreibung: Dieser Datensatz enthält relevante Informationen zum EQF (Europäischer Qualifikationsrahmen), die von der offiziellen EQF-Vergleichswebsite extrahiert wurden. Er umfasst Datenstrings, Länderinformationen und EQF-Stufen. Nicht-englischer Text wurde ignoriert.

  • Lizenz: Bitte entnehmen Sie Lizenzinformationen.

  • Änderungen: Nicht-englischer Text wurde entfernt, und die verbleibenden Informationen wurden in eine strukturierte Datenbank formatiert.

Für die französische Version des Tools verwenden wir die französische Version von ESCO v1.1.1 sowie eine Übersetzung der Qualifikationen mithilfe der Google Translation API.

Trainingsmengen

Entitätsextraktion

  • Ort: job_ner_dataset

  • Quelle: Green Benchmark-Korpus

  • Beschreibung: Dieses Datensatz bietet eine umfassende Benchmark-Suite für die Entitätserkennung (ER) in Stellenbeschreibungen. Er wurde entwickelt, um die erhebliche Lücke bei Ressourcen für die Extraktion wichtiger Entitäten wie Fähigkeiten aus Stellenbeschreibungen zu schließen. Der Datensatz umfasst 18,6 Tsd. annotierte Entitäten in fünf Kategorien: Fähigkeit, Qualifikation, Erfahrung, Beruf und Domäne.

  • Lizenz: CC-BY-NC-4.0

  • Änderungen: Es wurden keine Änderungen am ursprünglichen Datensatz vorgenommen. Er wurde nur in das HuggingFace-Format konvertiert.

Ähnlichkeit von Entitäten

  • Ort: TBD

  • Quelle: hahu-occupation-titles

  • Beschreibung:

    Die hahu_test.csv Datei ist die ursprüngliche Datei, die von Hahu Jobs mit den folgenden Feldern bereitgestellt wurde:

    • title: Der Titel der Stellenposition, der die spezifische Rolle und/oder Position innerhalb der Organisation angibt.

    • esco_label: Das von ESCO bereitgestellte bevorzugte oder alternative Label, das dem entsprechenden ESCO-Code entspricht.

    • esco_code: Der dem Job zugeordnete ESCO-Code, der eine standardisierte Klassifizierung und den Vergleich über verschiedene Stellenanzeigen hinweg erleichtert.

  • Lizenz: CC-BY-NC-4.0

  • Änderungen: Extrahierte Berufsbezeichnung und relevanter ESCO-Code, abgeglichen mit bevorzugten und alternativen Bezeichnungen.

Evaluationsmengen

Hahu-Test

  • Ort: inference/files/eval/redacted_hahu_test_with_id.csv

  • Quelle: hahu_test

  • Beschreibung: Dieser Datensatz besteht aus 542 zufällig ausgewählten Einträgen aus dem allgemeinen 11-Klassen-Klassifikationssystem der äthiopischen Hahu-Jobs-Plattform. Aus jeder Klasse wurden 50 Einträge ausgewählt, um den endgültigen Datensatz zu erstellen.

  • Lizenz: Creative Commons Attribution 4.0 International siehe Data License für Details.

  • Änderungen: An den ausgewählten Einträgen wurden keine Änderungen vorgenommen.

Haus und Tech

  • Ort:

    • inference/files/eval/house_test_annotations.csv

    • inference/files/eval/house_validation_annotations.csv

    • inference/files/eval/tech_test_annotations.csv

    • inference/files/eval/tech_validation_annotations.csv

  • Quelle: Bereitgestellt von Decorte et al.

  • Beschreibung: Der Datensatz enthält die HOUSE- und TECH-Erweiterungen des SkillSpan-Datensatzes. In der ursprünglichen Arbeit von Decorte et al. wurden die Test- und Entwicklungsentitäten des SkillSpan-Datensatzes nach dem ESCO-Modell annotiert.

  • Lizenz: MIT, bitte verweisen Sie auf die ursprüngliche Quelle.

  • Änderungen: Die Datensätze wurden unverändert und ohne weitere Änderungen verwendet.

Zuordnung von Qualifikationen

  • Ort: inference/files/eval/qualification_mapping.csv

  • Quelle: Erweitert aus dem Green Benchmark Qualifikationen

  • Beschreibung: Dieser Datensatz ordnet die Qualifikationen des Green Benchmark den entsprechenden EQF-Stufen zu. Zwei Annotatoren haben die Qualifikationen markiert, was zu einer Cohen's-Kappa-Übereinstimmung von 0,45 führte und damit eine mittlere Übereinstimmung anzeigt.

  • Lizenz: Creative Commons Attribution 4.0 International siehe Data License für Details.

  • Änderungen: Der Datensatz wurde um Zuordnungen der EQF-Stufen erweitert, und die Annotationen wurden von zwei Annotatoren überprüft.

Zugang und Nutzung

Um diese Datensätze zu verwenden, stellen Sie sicher, dass Sie die Lizenz- und Nutzungsbedingungen des ursprünglichen Datensatzes einhalten. Alle vorgenommenen Änderungen sollten dokumentiert und Ihrem Projekt ordnungsgemäß zugeschrieben werden.

Für Datensätze, die Zugriffstoken erfordern, wie z. B. von HuggingFace 🤗, wenden Sie sich bitte an die Betreuer.

VorherigeWebanwendung
NächsteSchulung

Zuletzt aktualisiert