Erfahrungen

Die Erweiterung der ESCO-Taxonomie durch Einbeziehung der unsichtbaren Wirtschaft und die Anpassung unserer Methodik an die aufgetretenen Herausforderungen haben uns wertvolle Erkenntnisse gebracht.

ESCO vs O*Net

Wird überarbeitet

ICATUS-Ebenenwahl

Wie besprochen hier, umfasst die ICATUS-Taxonomie drei Ebenen, die unterschiedliche Grade der Detaillierung darstellen, nämlich die Ebenen major division, division und group. Für Tabiyas Abgleichverfahren werden die auf der Gruppenebene liegenden Tätigkeiten der ungesehenen Wirtschaft mit ESCO-Berufen abgeglichen. Insgesamt gibt es 60 ICATUS-Tätigkeiten auf Gruppenebene, die die ICATUS-Eingabe des Frameworks bilden. Die Gruppenebene wurde gewählt und nicht die Ebenen major division oder division, vor allem weil die Gruppenebene in der ICATUS-Taxonomie das höchste Maß an Präzision erreicht. Somit können wir beim Abgleich von dieser Ebene aus im Vergleich zu den Ebenen major division und division am meisten Details gewinnen.

Die Herausforderung lag jedoch im Abgleich der Tätigkeiten auf Gruppenebene mit ESCO-Berufen, die Aktivitäten und Berufe gelegentlich auf unterschiedlichen Granularitätsebenen definieren. Insbesondere stellen wir fest, dass es Fälle gibt, in denen ein ESCO-Beruf mehr als eine ICATUS-Gruppenebene umfasst. Zum Beispiel werden die ICATUS-Gruppenaktivitäten „Cleaning up after food preparation/meals/snacks“ und „Preparing meals/snacks“ jeweils dem ESCO-Beruf „kitchen assistant“ zugeordnet (definiert als „Kitchen assistants assist in the preparation of food and cleaning of the kitchen area.“). Offensichtlich setzt sich der Beruf „kitchen assistant“ aus diesen beiden ICATUS-Gruppenaktivitäten zusammen. Theoretisch wäre eine Möglichkeit, dies zu umgehen, die Zuordnung der ICATUS-Aktivitäten auf Division-Ebene statt auf Gruppenebene. Diese Methode erweist sich jedoch letztlich als zu informationsaufwendig, da auf Division-Ebene die Wahrscheinlichkeit sehr hoch ist, relativ seltene, aber relevante ESCO-Berufe (und damit Fähigkeiten) vom ICATUS-zu-ESCO-Abgleich auszuschließen. Das schadet dem Endnutzer, weil es die letztendliche Liste der verfügbaren Fähigkeiten einschränkt, mit denen die von ihm ausgeübte Arbeit dargestellt werden kann. Nach Diskussionen zwischen dem Forschungsteam und dem Harambee-Team kamen wir überein, dass die beste Vorgehensweise, um in diesem Fall keinen Schaden anzurichten, darin besteht, ICATUS-Aktivitäten auf Gruppenebene mit ESCO-Berufen abzugleichen.

ESCO-Berufe als Zwischenschritt zu Skills (NLP, Word2Vec etc.)

Der Grund, weshalb ICATUS-Aktivitäten mit ESCO-Berufen und anschließend mit Skills abgeglichen werden, anstatt ICATUS-Aktivitäten direkt mit Skills abzugleichen, erfordert eine Zusammenfassung der konzeptionellen Roadmap, die letztlich zu dieser Entscheidung führte. Anfangs schien, da das Ziel die Zuordnung von Skills zu Aktivitäten ist, der intuitivste Weg darin zu bestehen, ICATUS-Aktivitäten direkt mit ESCO-Skills abzugleichen. Dazu wurden Techniken der Natural Language Processing (NLP) eingesetzt. Insbesondere wurde zur Gegenüberstellung von ICATUS-Aktivitäten und ESCO-Skills eine Technik namens Word2Vec angewendet. Word2Vec ist ein Algorithmus aus dem Bereich NLP, der Wort-Einbettungen verwendet, um einem gegebenen Wort numerische Werte in Bezug auf den umgebenden Kontext dieses Wortes zuzuweisen, welcher durch die Beziehung dieses Wortes zu anderen Wörtern in dem zum Training des Algorithmus verwendeten Wörterbuch informiert wird (Mikolov et al., 2013). Nach mehreren Versuchen, ESCO-Skills direkt mit ICATUS-Aktivitäten abzugleichen, scheiterten die NLP-Techniken aufgrund der Unvereinbarkeit der Natur von ICATUS/ESCO als Eingaben und der erforderlichen Eingabeform, damit der Algorithmus optimal funktioniert. Da ICATUS aus kurzen Phrasen zu Aktivitäten besteht, statt aus einzelnen Wörtern wie die ESCO-Taxonomie für Skills, konnte Word2Vec diese Taxonomien nicht optimal miteinander in Einklang bringen, um eine sinnvolle Skills-Zuordnung zu erzeugen. Daraus ergab sich ein Trade-off zwischen Präzision und Reproduzierbarkeit. Einerseits ermöglichen NLP-Methoden nahezu perfekte Reproduzierbarkeit, erreichen in diesem Kontext jedoch auf der Präzisionsskala nur niedrige Werte. Es wurde entschieden, bei der Konzeption des Tabiya-Frameworks die Präzision zu priorisieren. Daher erwies sich die vorherrschende Methodik, ESCO-Berufe als Brücke zu Skills zu verwenden, als optimaler Kompromiss hinsichtlich Präzision und Reproduzierbarkeit für unsere Zwecke. Das heißt, die manuelle Zuordnung von ESCO-Berufen zu ICATUS-Aktivitäten, um daraus Skills im Zusammenhang mit der ungesehenen Wirtschaft abzuleiten, erzielte hohe Präzisionswerte und ausreichend hohe Reproduzierbarkeitswerte, da diese Arbeit unabhängig überprüft wurde. Daher setzte sich das manuelle Abgleichverfahren bei der Erstellung des Tabiya-Frameworks durch.