Schulung

Trainieren Sie Ihr Modell zur Entitätsextraktion mit PyTorch.

Aktivieren Sie zunächst die virtuelle Umgebung wie erläutert hier.

Trainieren Sie ein Modell zur Entitätsextraktion

Konfigurieren Sie die erforderlichen Hyperparameter in der Datei config.json. Die Standardwerte sind:

{
    "model_name": "bert-base-cased",
    "crf": false,
    "dataset_path": "tabiya/job_ner_dataset",   
    "label_list": ["O", "B-Skill", "B-Qualification", "I-Domain", "I-Experience", "I-Qualification", "B-Occupation", "B-Domain", "I-Occupation", "I-Skill", "B-Experience"],
    "model_max_length": 128,
    "batch_size": 32,
    "learning_rate": 1e-4,
    "epochs": 4,
    "weight_decay": 0.01,
    "save": false,
    "output_path": "bert_job_ner"
}

Um das Modell zu trainieren, führen Sie das folgende Skript im train Verzeichnis aus:

python train.py

Das Trainingsskript basiert auf dem offiziellen HuggingFace-Tutorial zur Token-Klassifikation.

Trainieren Sie ein Modell zur Entitätsähnlichkeit

Konfigurieren Sie die erforderlichen Hyperparameter in der sbert_train Funktion in der Datei sbert_train.py:

sbert_train(model_id='all-MiniLM-L6-v2', dataset_path='your/dataset/path', output_path='your/output/path')

Um das Ähnlichkeitsmodell zu trainieren, führen Sie das folgende Skript im train Verzeichnis aus:

python sbert_train.py

Das Dataset sollte als CSV-Datei mit zwei Spalten formatiert sein, etwa 'title' und 'esco_label', wobei jede Zeile ein Paar verwandter Textdatenpunkte enthält, die während des Trainingsprozesses verwendet werden. Stellen Sie sicher, dass in Ihrem Dataset keine fehlenden Werte vorhanden sind, um ein erfolgreiches Training des Modells zu gewährleisten. Hier ist ein Beispiel, wie Ihre CSV-Datei aussehen könnte:

Titel	esco_label
Leitender Konfliktmanager	Direktor einer öffentlichen Einrichtung
usw.	usw.

Weitere Informationen finden Sie hier.