> For the complete documentation index, see [llms.txt](https://docs.tabiya.org/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.tabiya.org/tabiya-documentation/es/nuestra-pila-tecnologica/livelihoods-classifier/datasets.md).

# Conjuntos de datos

## Conjuntos de referencia

#### Ocupaciones

* **Ubicación**: inference/files/occupations\_augmented.csv
* **Fuente**: [Conjunto de datos ESCO - v1.1.1](https://esco.ec.europa.eu/en/use-esco/download)
* **Descripción**: ESCO (European Skills, Competences, Qualifications and Occupations) es la clasificación multilingüe europea de habilidades, competencias y ocupaciones. Este conjunto de datos incluye información relevante para las ocupaciones.
* **Licencia**: Atribución de Creative Commons 4.0 Internacional; consulte DATA\_LICENSE para obtener detalles.
* **Modificaciones**: Las columnas conservadas son `alt_label`, `preferred_label`, `esco_code`, y `uuid`. Cada etiqueta alternativa se ha separado en filas individuales.

#### Habilidades

* **Ubicación**: inference/files/skills.csv
* **Fuente**: [Conjunto de datos ESCO - v1.1.1](https://esco.ec.europa.eu/en/use-esco/download)
* **Descripción**: ESCO (European Skills, Competences, Qualifications and Occupations) es la clasificación multilingüe europea de habilidades, competencias y ocupaciones. Este conjunto de datos incluye información relevante para las habilidades.
* **Licencia**: Atribución de Creative Commons 4.0 Internacional; consulte Data License para obtener detalles.
* **Modificaciones**: Las columnas conservadas son `preferred_label` y `uuid`.

#### Cualificaciones

* **Ubicación**: inference/files/qualifications.csv
* **Fuente**: [Sitio web oficial de comparación del EQF de la Unión Europea](https://europass.europa.eu/en/compare-qualifications)
* **Descripción**: Este conjunto de datos contiene información relevante del EQF (Marco Europeo de Cualificaciones) extraída del sitio web oficial de comparación del EQF. Incluye cadenas de datos, información de países y niveles del EQF. Se ignoró el texto que no estaba en inglés.
* **Licencia**: Consulte la fuente original para [información de la licencia](https://europass.europa.eu/en/node/2161).
* **Modificaciones**: Se eliminó el texto que no estaba en inglés y la información restante se formateó en una base de datos estructurada.

Para la versión francesa de la herramienta, utilizamos la versión francesa de ESCO v1.1.1, así como una traducción de las cualificaciones, usando la API de Google Translate.

## Conjuntos de entrenamiento

#### **Extracción de entidades**

* **Ubicación:** [job\_ner\_dataset](https://huggingface.co/datasets/tabiya/job_ner_dataset)
* **Fuente:** [corpus Green Benchmark](https://github.com/acp19tag/skill-extraction-dataset)
* **Descripción:** Este conjunto de datos proporciona una suite de referencia integral para el Reconocimiento de Entidades (ER) en descripciones de trabajo. Desarrollado para cubrir la importante falta de recursos para extraer entidades clave como habilidades de descripciones de trabajo, el conjunto de datos presenta 18,6 mil entidades anotadas en cinco categorías: Habilidad, Cualificación, Experiencia, Ocupación y Dominio.
* **Licencia:** CC-BY-NC-4.0
* **Modificaciones:** No se realizaron modificaciones al conjunto de datos original. Solo se convirtió al formato de HuggingFace.

#### **Similitud de entidades**

* **Ubicación:** Por determinar
* **Fuente:**[ hahu-occupation-titles](https://huggingface.co/datasets/tabiya/occupation_titles_esco)
* **Descripción:**

  El `hahu_test.csv` archivo es el archivo original proporcionado por Hahu Jobs con los siguientes campos:

  * title: El título del puesto de trabajo, que indica el rol y/o la posición específica dentro de la organización.
  * esco\_label: La etiqueta preferida o alternativa proporcionada por ESCO, que coincide con el código ESCO correspondiente.
  * esco\_code: El código ESCO asociado con el empleo, facilitando la clasificación estandarizada y la comparación entre distintos anuncios de empleo.
* **Licencia:** CC-BY-NC-4.0
* **Modificaciones:** Se extrajo el título de la ocupación y el código ESCO relevante, y se emparejó con las etiquetas preferidas y alternativas.

## Conjuntos de evaluación

#### Prueba de Hahu

* **Ubicación**: inference/files/eval/redacted\_hahu\_test\_with\_id.csv
* **Fuente**: [hahu\_test](https://huggingface.co/datasets/tabiya/hahu_test)
* **Descripción**: Este conjunto de datos consta de 542 entradas elegidas al azar del sistema de clasificación general 11 de la plataforma de empleo etíope hahu jobs. Se seleccionaron 50 entradas de cada clase para crear el conjunto de datos final.
* **Licencia**: Atribución de Creative Commons 4.0 Internacional; consulte Data License para obtener detalles.
* **Modificaciones**: No se realizaron modificaciones en las entradas seleccionadas.

#### House y Tech

* **Ubicación**:
  * inference/files/eval/house\_test\_annotations.csv
  * inference/files/eval/house\_validation\_annotations.csv
  * inference/files/eval/tech\_test\_annotations.csv
  * inference/files/eval/tech\_validation\_annotations.csv
* **Fuente**: Proporcionado por [Decorte et al.](https://arxiv.org/abs/2209.05987)
* **Descripción**: El conjunto de datos incluye las extensiones HOUSE y TECH del conjunto de datos SkillSpan. En el trabajo original de Decorte et al., las entidades de prueba y desarrollo del conjunto de datos SkillSpan fueron anotadas en el modelo ESCO.
* **Licencia**: MIT, consulte la fuente original.
* **Modificaciones**: Los conjuntos de datos se utilizaron tal como se proporcionaron, sin modificaciones adicionales.

#### Mapeo de cualificaciones

* **Ubicación**: inference/files/eval/qualification\_mapping.csv
* **Fuente**: Ampliado a partir de [Green Benchmark](https://github.com/acp19tag/skill-extraction-dataset) Cualificaciones
* **Descripción**: Este conjunto de datos asigna las cualificaciones de Green Benchmark a los niveles EQF apropiados. Dos anotadores etiquetaron las cualificaciones, lo que dio como resultado un acuerdo Kappa de Cohen de 0,45, lo que indica un acuerdo moderado.
* **Licencia**: Atribución de Creative Commons 4.0 Internacional; consulte Data License para obtener detalles.
* **Modificaciones**: Se amplió el conjunto de datos para incluir mapeos de niveles EQF y las anotaciones fueron verificadas por dos anotadores.

#### Acceso y uso

Para usar estos conjuntos de datos, asegúrese de cumplir con la licencia y los términos de uso del conjunto de datos original. Cualquier modificación realizada debe documentarse y atribuirse adecuadamente a su proyecto.

{% hint style="info" %}
Para los conjuntos de datos que requieren tokens de acceso, como los de HuggingFace 🤗, póngase en contacto con los mantenedores.
{% endhint %}


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.tabiya.org/tabiya-documentation/es/nuestra-pila-tecnologica/livelihoods-classifier/datasets.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.