Conjuntos de datos

Conjuntos de referencia

Ocupaciones

• Ubicación: inference/files/occupations_augmented.csv

• Fuente: Conjunto de datos ESCO - v1.1.1

• Descripción: ESCO (European Skills, Competences, Qualifications and Occupations) es la clasificación multilingüe europea de habilidades, competencias y ocupaciones. Este conjunto de datos incluye información relevante para las ocupaciones.

• Licencia: Atribución de Creative Commons 4.0 Internacional; consulte DATA_LICENSE para obtener detalles.

• Modificaciones: Las columnas conservadas son alt_label, preferred_label, esco_code, y uuid. Cada etiqueta alternativa se ha separado en filas individuales.

Habilidades

• Ubicación: inference/files/skills.csv

• Fuente: Conjunto de datos ESCO - v1.1.1

• Descripción: ESCO (European Skills, Competences, Qualifications and Occupations) es la clasificación multilingüe europea de habilidades, competencias y ocupaciones. Este conjunto de datos incluye información relevante para las habilidades.

• Licencia: Atribución de Creative Commons 4.0 Internacional; consulte Data License para obtener detalles.

• Modificaciones: Las columnas conservadas son preferred_label y uuid.

Cualificaciones

• Ubicación: inference/files/qualifications.csv

• Fuente: Sitio web oficial de comparación del EQF de la Unión Europea

• Descripción: Este conjunto de datos contiene información relevante del EQF (Marco Europeo de Cualificaciones) extraída del sitio web oficial de comparación del EQF. Incluye cadenas de datos, información de países y niveles del EQF. Se ignoró el texto que no estaba en inglés.

• Licencia: Consulte la fuente original para información de la licencia.

• Modificaciones: Se eliminó el texto que no estaba en inglés y la información restante se formateó en una base de datos estructurada.

Para la versión francesa de la herramienta, utilizamos la versión francesa de ESCO v1.1.1, así como una traducción de las cualificaciones, usando la API de Google Translate.

Conjuntos de entrenamiento

Extracción de entidades

• Ubicación: job_ner_dataset

• Fuente: corpus Green Benchmark

• Descripción: Este conjunto de datos proporciona una suite de referencia integral para el Reconocimiento de Entidades (ER) en descripciones de trabajo. Desarrollado para cubrir la importante falta de recursos para extraer entidades clave como habilidades de descripciones de trabajo, el conjunto de datos presenta 18,6 mil entidades anotadas en cinco categorías: Habilidad, Cualificación, Experiencia, Ocupación y Dominio.

• Licencia: CC-BY-NC-4.0

• Modificaciones: No se realizaron modificaciones al conjunto de datos original. Solo se convirtió al formato de HuggingFace.

Similitud de entidades

• Ubicación: Por determinar

• Fuente: hahu-occupation-titles

• Descripción:

  El hahu_test.csv archivo es el archivo original proporcionado por Hahu Jobs con los siguientes campos:

  • title: El título del puesto de trabajo, que indica el rol y/o la posición específica dentro de la organización.

  • esco_label: La etiqueta preferida o alternativa proporcionada por ESCO, que coincide con el código ESCO correspondiente.

  • esco_code: El código ESCO asociado con el empleo, facilitando la clasificación estandarizada y la comparación entre distintos anuncios de empleo.

• Licencia: CC-BY-NC-4.0

• Modificaciones: Se extrajo el título de la ocupación y el código ESCO relevante, y se emparejó con las etiquetas preferidas y alternativas.

Conjuntos de evaluación

Prueba de Hahu

• Ubicación: inference/files/eval/redacted_hahu_test_with_id.csv

• Fuente: hahu_test

• Descripción: Este conjunto de datos consta de 542 entradas elegidas al azar del sistema de clasificación general 11 de la plataforma de empleo etíope hahu jobs. Se seleccionaron 50 entradas de cada clase para crear el conjunto de datos final.

• Licencia: Atribución de Creative Commons 4.0 Internacional; consulte Data License para obtener detalles.

• Modificaciones: No se realizaron modificaciones en las entradas seleccionadas.

House y Tech

• Ubicación:

  • inference/files/eval/house_test_annotations.csv

  • inference/files/eval/house_validation_annotations.csv

  • inference/files/eval/tech_test_annotations.csv

  • inference/files/eval/tech_validation_annotations.csv

• Fuente: Proporcionado por Decorte et al.

• Descripción: El conjunto de datos incluye las extensiones HOUSE y TECH del conjunto de datos SkillSpan. En el trabajo original de Decorte et al., las entidades de prueba y desarrollo del conjunto de datos SkillSpan fueron anotadas en el modelo ESCO.

• Licencia: MIT, consulte la fuente original.

• Modificaciones: Los conjuntos de datos se utilizaron tal como se proporcionaron, sin modificaciones adicionales.

Mapeo de cualificaciones

• Ubicación: inference/files/eval/qualification_mapping.csv

• Fuente: Ampliado a partir de Green Benchmark Cualificaciones

• Descripción: Este conjunto de datos asigna las cualificaciones de Green Benchmark a los niveles EQF apropiados. Dos anotadores etiquetaron las cualificaciones, lo que dio como resultado un acuerdo Kappa de Cohen de 0,45, lo que indica un acuerdo moderado.

• Licencia: Atribución de Creative Commons 4.0 Internacional; consulte Data License para obtener detalles.

• Modificaciones: Se amplió el conjunto de datos para incluir mapeos de niveles EQF y las anotaciones fueron verificadas por dos anotadores.

Acceso y uso

Para usar estos conjuntos de datos, asegúrese de cumplir con la licencia y los términos de uso del conjunto de datos original. Cualquier modificación realizada debe documentarse y atribuirse adecuadamente a su proyecto.

Para los conjuntos de datos que requieren tokens de acceso, como los de HuggingFace 🤗, póngase en contacto con los mantenedores.