Erste Schritte

Installation

Voraussetzungen\

• Eine aktuelle Version von git (z. B. ^2.37 )

• Python 3.10 oder höher

• Poetry 1.8 oder höher

  Hinweis: Zur Installation von Poetry konsultieren Sie die Poetry-Dokumentation

  Hinweis: Installieren Sie Poetry systemweit (nicht in einer virtuellen Umgebung).

• Git LFS

Git LFS verwenden

Dieses Tool verwendet Git LFS zur Behandlung großer Dateien. Bevor Sie es verwenden, müssen Sie Git LFS auf Ihrem lokalen Rechner installieren und einrichten. Installationsanweisungen finden Sie unter https://git-lfs.com/.

Nachdem Git LFS eingerichtet ist, befolgen Sie diese Schritte, um das Repository zu klonen:

git clone https://github.com/tabiya-tech/tabiya-livelihoods-classifier.git

Wenn Sie das Repository bereits ohne Git LFS geklont haben, führen Sie Folgendes aus:

git lfs pull

Installieren Sie die Abhängigkeiten

Virtuelle Umgebung einrichten

Im Stammverzeichnis des Backend-Projekts (also im selben Verzeichnis wie diese README-Datei) führen Sie die folgenden Befehle aus:

# virtuelle Umgebung erstellen
python3 -m venv venv

# virtuelle Umgebung aktivieren
source venv/bin/activate

# Verwenden Sie die im Lockfile angegebene Version der Abhängigkeiten
poetry lock --no-update
# Fehlende Pakete installieren und nicht referenzierte Pakete entfernen
poetry install --sync

Hinweis: Installieren Sie die Abhängigkeiten für das Training mit:

# Verwenden Sie die im Lockfile angegebene Version der Abhängigkeiten
poetry lock --no-update
# Fehlende Pakete installieren und nicht referenzierte Pakete entfernen
poetry install --sync --with train

Hinweis: Bevor Sie Aufgaben ausführen, aktivieren Sie die virtuelle Umgebung, damit die installierten Abhängigkeiten verfügbar sind:

# virtuelle Umgebung aktivieren
source venv/bin/activate

Um die virtuelle Umgebung zu deaktivieren, führen Sie Folgendes aus:

# virtuelle Umgebung deaktivieren
deactivate

Aktivieren Sie Python und laden Sie das NLTK-Punktuationspaket herunter, um den Satz-Tokenizer zu verwenden. Sie müssen nur punkt es einmal herunterladen.

python <<EOF
import nltk
nltk.download('punkt')
EOF

Umgebungsvariable & Konfiguration

Das Tool verwendet die folgende Umgebungsvariable:

• HF_TOKEN: Um das Projekt zu verwenden, benötigen Sie Zugriff auf das HuggingFace 🤗-Modell zur Entitätsextraktion. Kontaktieren Sie die Administratoren über [[e-mail]]. Dort müssen Sie ein Token mit Leserechten erstellen, um das Modell verwenden zu können. Finden oder erstellen Sie Ihren Token mit Leserechten hier. Das Backend unterstützt die Verwendung einer .env -Datei zum Festlegen der Umgebungsvariable. Erstellen Sie eine .env Datei im Stammverzeichnis des Backend-Projekts und setzen Sie die Umgebungsvariablen wie folgt:

# .env-Datei
HF_TOKEN=<YOUR_HF_TOKEN>

ACHTUNG: Die .env-Datei sollte sicher aufbewahrt und nicht mit anderen geteilt werden, da sie sensible Informationen enthält.

QuickStart-Leitfaden

Inferenz-Pipeline

Die Inferenz-Pipeline extrahiert Berufe und Fähigkeiten aus einer Stellenbeschreibung und ordnet sie den ähnlichsten Entitäten in der ESCO-Taxonomie zu.

Verwendung

Aktivieren Sie zunächst die virtuelle Umgebung wie erläutert hier.

Dann, starten Sie den Python-Interpreter im Stammverzeichnis und führen Sie die folgenden Befehle aus:

Laden Sie die EntityLinker -Klasse und erstellen Sie eine Instanz der Klasse; führen Sie dann mit folgendem Code eine Inferenz auf beliebigem Text durch:

from inference.linker import EntityLinker
pipeline = EntityLinker(k=5)
text = 'We are looking for a Head Chef who can plan menus.'
extracted = pipeline(text)
print(extracted)

Nach dem Ausführen der obigen Befehle sollten Sie die folgende Ausgabe sehen:

[
  {'type': 'Occupation', 'tokens': 'Head Chef', 'retrieved': ['head chef', 'industrial head chef', 'head pastry chef', 'chef', 'kitchen chef']},
  {'type': 'Skill', 'tokens': 'plan menus', 'retrieved': ['plan menus', 'plan patient menus', 'present menus', 'plan schedule', 'plan engineering activities']}
]

Französische Version

Sie können die französische Version des Entity Linker mit folgendem Code verwenden:

from inference.linker import FrenchEntityLinker
pipeline = FrenchEntityLinker(entity_model = 'tabiya/camembert-large-job-ner', similarity_model = 'intfloat/multilingual-e5-base')

text = 'Nous recherchons un chef de cuisine capable de planifier les menus.'
extracted = pipeline(text)
print(extracted)

Sie sollten die folgende Ausgabe sehen:

[
  {'type': 'Occupation', 'tokens': 'chef de cuisine', 'retrieved': ['chef de cuisine', 'chef de marque', 'chef mécanicien', 'chef cuisinier/cheffe cuisinière', 'chef de train']}, 
  {'type': 'Skill', 'tokens': 'planifier les menus', 'retrieved': ['planifier les menus', 'présenter des menus', 'établir les menus des patients', 'préparer des plannings', 'préparer des plats préparés']}
]

Ausführen der Evaluierungstests

Laden Sie die Evaluator Klasse und geben Sie die Ergebnisse aus:

from inference.evaluator import Evaluator

results = Evaluator(entity_type='Skill', entity_model='tabiya/roberta-base-job-ner', similarity_model='all-MiniLM-L6-v2', crf=False, evaluation_mode=True)
print(results.output)

Diese Klasse erbt von der EntityLinkerwobei der Hauptunterschied die 'entity_type' -Markierung ist.

Wenn Sie Evaluierungen auf benutzerdefinierten Datensätzen ausführen möchten, müssen Sie Änderungen an der _load_dataset Funktion vornehmen, die sich in der evaluation.py Datei befindet. Bitte beziehen Sie sich auf die ursprünglichen Evaluierungsdatensätze, wie beschrieben hier. Wenn Sie Probleme haben, eröffnen Sie bitte ein Issue auf GitHub.

Mindestanforderungen an die Hardware

• 4 GB CPU/GPU RAM

Der Code läuft auf der GPU, wenn verfügbar. Stellen Sie sicher, dass auf Ihrem Rechner CUDA installiert ist, wenn Sie auf der GPU ausführen.