> For the complete documentation index, see [llms.txt](https://docs.tabiya.org/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.tabiya.org/tabiya-documentation/deutsch/unser-technologie-stack/compass/ux-evaluation.md).

# UX evaluation

Im August 2024 testete Tabiya die User Experience von Kompass mit Arbeitssuchenden, die von Harambee Youth Employment Accelerator rekrutiert wurden.

## Hintergrund und Motivation

Tabiya führte in Partnerschaft mit dem Harambee Youth Employment Accelerator eine dreitägige Reihe von User-Experience-(UX)-Tests durch, die folgende Fragen beantworten sollte:

1. Können die Teilnehmenden mit Kompass ein natürliches Gespräch beginnen und aufrechterhalten?
2. Führt Kompass die Nutzer wirksam durch den Prozess der Fähigkeitsidentifikation?
3. Halten Nutzer die von Kompass identifizierten Fähigkeiten für relevant und korrekt?
4. Sind die Teilnehmenden mit dem Gesamterlebnis zufrieden und haben sie das Gefühl, ihre Fähigkeiten besser zu verstehen?

[Im südafrikanischen Fall sind die vorgesehenen Nutzer von Kompass die Jugendlichen des Landes, die mit hoher und steigender Nicht-Beteiligung an Arbeitsmarkt, Bildung und Ausbildung konfrontiert sind](#user-content-fn-1)[^1]. Dies ist unter anderem zurückzuführen auf[ Verzerrungen bei der Jobsuche](#user-content-fn-2)[^2]. Das heißt, Arbeitssuchende verfügen möglicherweise über unvollständige Informationen zu ihren Fähigkeiten. Das bedeutet, dass Arbeitssuchende sich auf Stellen bewerben könnten, für die sie ungeeignet sind, oder [die Suche ganz einstellen](#user-content-fn-3)[^3]. Kompass wurde entwickelt, um diese spezifische Verzerrung bei der Suche zu verringern, die zu den Treibern der Arbeitslosigkeit gehört, insbesondere unter Jugendlichen.

## Methodik

Südafrikanische Jugendliche (im Alter von 18 bis 35 Jahren), die auf der SA Youth Mobi Platform von Harambee angemeldet waren, sahen eine Anzeige zur Teilnahme an einer UX-Testsession, die in den Harambee-Büros in Kapstadt stattfand. Nach Eingang der Rückmeldungen wurden 604 als am besten mit den Auswahlkriterien vereinbar eingestuft. Zu diesen Kriterien gehören die folgenden:

1. Der/die Jugendliche ist bei der SA Youth Mobi Platform angemeldet
2. Der/die Jugendliche wohnt gewöhnlich nicht mehr als etwa 15 Kilometer vom Harambee-Büro in Kapstadt entfernt
3. Der/die Jugendliche hat bereits Berufserfahrung gesammelt
4. Der/die Jugendliche sucht aktiv nach Beschäftigung

Auf Grundlage dieses Kriteriums wurden schwarze Teilnehmerinnen und Teilnehmende, die nachweisen konnten, dass sie ein eigenes kleines Unternehmen gegründet hatten, bei der endgültigen Auswahl der Teilnehmenden für den UX-Test bevorzugt.

Bevor die UX-Testsession beginnt, erhält jede teilnehmende Person ein Einwilligungsformular zum Lesen und Unterschreiben. Falls zutreffend, wurden die Teilnehmenden gebeten, ein Einwilligungsformular für Fotoaufnahmen zu unterschreiben, wenn sie sich damit wohlfühlten. Anschließend bestand jeder UX-Test aus vier Teilen. Der erste Teil umfasste eine Einführung und die Bitte an die teilnehmende Person um Erlaubnis, die Sitzung aufzuzeichnen. Dieser Teil der UX-Testsitzung wurde auch genutzt, um der teilnehmenden Person zu erklären, was Kompass ist und wie es funktioniert.

Der zweite Teil bestand aus dem Beginn des UX-Tests. Während dieses Teils interagierte jede teilnehmende Person so selbstständig wie möglich mit Kompass, bis ihre Erfahrungen und Fähigkeiten zusammengefasst waren oder bis der Moderator anzeigte, dass die Interaktion mit Kompass aufgrund einer Zeitvorgabe beendet werden sollte. Der UX-Test umfasste, dass Kompass Informationen von den Teilnehmenden zu ihren Berufserfahrungen erfasste, einschließlich bezahlter und unbezahlter Arbeit in Betrieben oder in nicht betrieblichen Kontexten. Dies wird in diesem Bericht durchgehend als Abschnitt zur Berufserfahrung bezeichnet. Anschließend erstellte Kompass eine Erfahrungsübersicht, die die Erfahrungen, Orte und Zeiträume der Teilnehmenden chronologisch auflistete. Danach erfasste Kompass in einem interaktiven Dialog Informationen darüber, welche Fähigkeiten die Teilnehmenden aus den jeweiligen Berufserfahrungen erworben hatten. Am Ende des Dialogs wurden anschließend bis zu fünf Fähigkeiten pro Erfahrung aufgelistet. Dies wird in diesem Bericht durchgehend als Abschnitt zur Fähigkeitszuordnung bezeichnet.

Während des dritten Teils der Sitzung stellte der Moderator der teilnehmenden Person eine Reihe von Fragen zum Feedback nach dem Test. Abschließend beendete der Moderator die Sitzung, indem er jeder teilnehmenden Person den Zeitraum mitteilte, in dem sie mit ihrem Geldanreiz (450 R) für die Teilnahme am UX-Test rechnen konnte. Der Abschluss wurde auch genutzt, um die Teilnehmenden zu fragen, ob sie damit einverstanden wären, in eine Harambee-WhatsApp-Gruppe für ein Expertengremium aufgenommen zu werden, das regelmäßig eingeladen wird, an Harambee-Sitzungen teilzunehmen, die auf seine Jugenddatenbank ausgerichtet sind. Für alle vier Teile waren 45 Minuten vorgesehen, sie konnten jedoch bis zu einer Stunde dauern. Zusätzlich zu 450 R erhielt jede teilnehmende Person vor jedem UX-Test ein Snack-Paket. Dies geschieht, um sicherzustellen, dass die Teilnehmenden vor Beginn ihres UX-Tests etwas zu essen haben. Den vollständigen Gesprächsleitfaden für jeden UX-Test finden Sie [hier](/tabiya-documentation/deutsch/unser-technologie-stack/compass/ux-evaluation/ux-testing-discussion-guide.md).

Kompass wurde entwickelt, um Informationen von seinen Nutzern auf dialogische Weise zu erheben. Daher funktioniert Kompass ähnlich wie eine Messaging-App. Kompass fragt seine Nutzer textlich nach Informationen zu ihren Erfahrungen und lässt die Nutzer antworten, bevor es abschließt oder nach weiteren Informationen nachfragt. Da diese Übung einer Interaktion ähnelt, bei der jemand über Textnachrichten auf seinem Smartphone kommunizieren würde, wurde der UX-Test auf einem Mobiltelefon durchgeführt. Aus Gründen der besseren Zugänglichkeit und Benutzerfreundlichkeit wurde das Samsung Galaxy A23 gewählt, da dies das am häufigsten genutzte Smartphone unter den Jugendlichen in Harambees Datenbank ist.

## Ergebnisse

1. Demografie

Eine Gruppe von 11 bei SA Youth angemeldeten Jugendlichen wurde ausgewählt, um die Funktionalität von Kompass zu testen. Drei dieser Teilnehmenden testeten Kompass am 27. August. Zwei waren männlich und eine war weiblich. Vier waren für den 28. zur Teilnahme am Test eingeplant, doch an diesem Tag lag die Ausfallquote bei 50 %. Ein männlicher und eine weibliche Person erschienen; die beiden Abwesenden waren männlich. Der 29. August war der letzte Testtag. Vier Teilnehmende, drei weiblich und einer männlich, testeten jeweils Kompass. Daher nahmen 82 % (9 Personen) der ausgewählten Kohorte von 11 Personen am UX-Test teil. 44 % der UX-Test-Teilnehmenden waren männlich und 66 % weiblich.

2. Zeitlicher Ablauf

Von den neun jungen Menschen, die Kompass testeten, ergaben sich zwei Gruppen. Gruppe 1 umfasste drei Teilnehmende, die eine Zusammenfassung der Berufserfahrung, aber keine Zusammenfassung der Fähigkeiten erhielten. Gruppe 2 umfasste sechs Teilnehmende, die sowohl eine Zusammenfassung der Berufserfahrung als auch der Fähigkeiten erhielten. Gruppe 1 benötigte durchschnittlich 32 Minuten für die gesamte UX-Testsession. Gruppe 2 benötigte durchschnittlich 32 Minuten und 3o Sekunden für den Abschluss. Einen Überblick über jede UX-Testsession, einschließlich Details zu den Zeitabläufen jeder Sitzung, finden Sie [hier](https://github.com/tabiya-tech/docs/tree/main/projects/compass/ux-evaluation/broken-reference/README.md).

Das vollständige Kompass-Erlebnis wurde nur einmal ohne Unterbrechung abgeschlossen. Dies geschah durch Teilnehmende 9, die nur über eine Erfahrung und damit über einen Satz von Fähigkeiten verfügte. Daher war die ursprünglich veranschlagte Zeit von 45 Minuten für den Abschluss der gesamten UX-Testsession eine Unterschätzung. Stattdessen schlossen alle Teilnehmenden innerhalb von 45 Minuten ab, nur weil der Moderator der Teilnehmersitzungen die Teilnehmenden vorzeitig anwies, ihre Interaktionen mit Kompass zu beenden. Da die Teilnehmenden für ihre Zeit bezahlt wurden, hätte ein Verzicht darauf gegen das Arbeitsrecht verstoßen.

3. Teilnehmenden-Feedback

Die Teilnehmenden reagierten äußerst positiv auf Kompass. 88,9 % der Teilnehmenden berichteten, dass sie Kompass einfach zu bedienen fanden und seine Antworten verstanden. Dieses Feedback deutet darauf hin, dass Kompass das Beginnen und Aufrechterhalten eines natürlichen Gesprächs in dieser Gruppe von UX-Testenden ermöglichte. Tatsächlich waren die Teilnehmenden besonders beeindruckt von der Tatsache, dass sie mit Kompass „als wäre es ein Mensch“ Gespräche führen konnten. Dies half ihnen, ihre Wege zur Erfassung von Berufserfahrung und Fähigkeiten selbstständig zu absolvieren. 77,8 % der Teilnehmenden fanden, dass Kompass genaue und relevante Fähigkeiten identifizierte, ohne irrelevante Fähigkeiten auszulassen. 88,9 % der Teilnehmenden sagten, dass Kompass ihnen half, ihre Erfahrungen und Fähigkeiten besser zu verstehen, insbesondere weil es diese in seinen Zusammenfassungen so einfach darstellte.

Alle Teilnehmenden begrüßten die Aussicht, dass Kompass ihnen Jobs und Branchen vorschlägt, auf die sie sich aufgrund ihrer Erfahrungen bewerben könnten. Zusätzliches Feedback umfasste, dass persönliche Eigenschaften und Merkmale als Teil der Fähigkeitszusammenfassungen von Kompass aufgenommen werden sollten sowie Qualifikationen in den Kompass-Lebenslauf aufgenommen werden sollten. 100 % der Teilnehmenden, die den UX-Test abgeschlossen hatten, sagten, sie würden Kompass anderen Arbeitssuchenden empfehlen. All dies zusammengenommen ist ein starkes Indiz zugunsten der Hypothese, dass die Teilnehmenden mit ihrem Gesamterlebnis mit Kompass zufrieden sind.

4. Positive Beobachtungen

**Vorhersagbarkeit**. Mit der Zeit begannen die Teilnehmenden, den Ablauf der von Kompass gestellten Fragen zu den einzelnen Erfahrungen vorherzusehen. Dies führte zu schnelleren Antworten, da die Teilnehmenden Antworten auf zwei separate Fragen kombinieren konnten, von denen sie schließlich wussten, dass Kompass sie stellen würde (z. B. was die Erfahrung war und wo sie stattfand), ohne dazu aufgefordert zu werden.

**Hartnäckigkeit**. Die Hartnäckigkeit von Kompass, insbesondere in der unsichtbaren Ökonomie, ist eine Stärke. Kompass stellt den Teilnehmenden zunächst eine Reihe von Einstiegsfragen, um ihre Erfahrung in der sichtbaren oder unsichtbaren Ökonomie zu charakterisieren. Nachdem eine Erfahrung von einer teilnehmenden Person erfasst wurde, wiederholt Kompass die bereits beantwortete Frage, bevor er zur nächsten Kategorie der Berufserfahrung übergeht. Diese Wiederholung der Fragen ermöglicht es den Teilnehmenden, all ihre Berufserfahrungen (und damit die dazugehörigen Fähigkeiten) sowohl in der sichtbaren als auch in der unsichtbaren Ökonomie anzugeben, was insbesondere für die unsichtbare Ökonomie wichtig ist.

**Agilität**. Im gesamten Nutzerverlauf der Teilnehmenden konnte Kompass das Gespräch wirksam wieder auf das Thema lenken, wenn Teilnehmende Fragen missverstanden hatten. Ebenso konnte Kompass die meisten Grammatik- und Rechtschreibfehler verarbeiten, von denen jede teilnehmende Person mindestens einen machte. Der einzige Rechtschreibfehler, den Kompass nicht automatisch korrigierte, war „Checkers“, das von Teilnehmerin 4 fälschlicherweise als „Checker“ geschrieben wurde. Dieser Rechtschreibfehler blieb bestehen, bis die Erfahrungsübersicht dem Nutzer präsentiert wurde. Dennoch haben die Teilnehmenden im Verlauf ihrer Kompass-Nutzerreisen mehrere Gelegenheiten, Rechtschreibfehler zu korrigieren.

Ein weiteres Beispiel für die Agilität von Kompass ist der Fall von Teilnehmerin 6, die eine ehrenamtliche Tätigkeit fälschlicherweise als bezahlte Tätigkeit erfasste. Als die teilnehmende Person auf eine Frage antwortete, in der gefragt wurde, ob sie für Geld für ein Unternehmen oder Geschäft gearbeitet habe, identifizierte Kompass Schlüsselwörter, darunter „ehrenamtlich“, in ihrer Antwort und fragte dann nach, ob die erfasste Erfahrung tatsächlich bezahlt oder unbezahlt gewesen sei. Nachdem sich herausgestellt hatte, dass es sich um eine unbezahlte Position handelte, konnte Kompass diese Rolle korrekt als solche einstufen und sie in der Erfahrungsübersicht von Teilnehmerin 6 korrekt aufführen.

5. Überlegungen

**Missverständnisse**. Obwohl Kompass über diese Kohorte hinweg objektiv hervorragende Ergebnisse erzielt hat, wäre es nachlässig, Elemente auszulassen, die bei einer Einführung für größere Zielgruppen zu berücksichtigen sind. Die erste Überlegung ist der Effekt der Sprachbarriere. Kompass erfordert ein mittleres Maß an Englischkenntnissen. Im Fall der südafrikanischen Jugendlichen ist Englisch wahrscheinlich nicht die Erstsprache des durchschnittlichen potenziellen Kompass-Nutzers.

Jede teilnehmende Person in der Tabiya-Harambee-UX-Testsession verfügte über ein durchschnittliches Kompetenzniveau, das hoch genug war, um den UX-Test und den anschließenden Fragebogen zu bewältigen. Es gab jedoch Momente, wie zum Beispiel im UX-Test von Teilnehmerin 4, in denen Moderator und teilnehmende Person in der Muttersprache der teilnehmenden Person miteinander sprachen, wenn die teilnehmende Person Fragen stellte oder wenn der Moderator erklärte, was Kompass ist. Darüber hinaus war klar, dass Kompass einige Fragen stellte, die bei Teilnehmenden Verwirrung, Missverständnisse oder Zögern auslösten. Einige Beispiele sind:

1. „Kannst du mir von der ersten Erfahrung erzählen, die du hattest, als du für dich selbst gearbeitet hast?“ Auf diese Frage beschrieb Teilnehmer 1 die Unabhängigkeit und Erfüllung, die er aus dieser Erfahrung zog, anstatt die Erfahrung selbst zu beschreiben. Kompass lenkte das Gespräch um, indem es die teilnehmende Person anschließend fragte, welche Art von Arbeit sie ausgeführt habe.
2. „...wie sah ein typischer Arbeitstag aus“ ist die Formulierung, die Kompass verwendet, um Informationen darüber einzuholen, welche Fähigkeiten die Teilnehmenden aus ihren verschiedenen Berufserfahrungen erworben haben. Teilnehmer 1 lieferte Informationen über die Atmosphäre oder äußere Ereignisse eines typischen Tages statt über die Aufgaben, die an einem typischen Tag erledigt wurden. Kompass lenkte das Gespräch um, indem es fragte, für welche Aufgaben die Teilnehmenden verantwortlich waren.
3. Als Kompass Teilnehmende 5 bat, „mir zu sagen, wie Ihre Erfahrung war“, antwortete die teilnehmende Person: „Es war eine gute Erfahrung, sich ehrenamtlich zu engagieren“, anstatt ins Detail zu gehen, welche Aufgaben die Erfahrung umfasste.

Die Fähigkeit von Kompass, trotz Fehlinterpretationen Erkenntnisse zu inferieren und Gespräche umzulenken, ist in dieser Hinsicht eine deutliche Stärke. Angesichts dessen, dass nur 11 % der Teilnehmenden die Abschnitte zu Erfahrungen und Fähigkeitszuordnung von Kompass rechtzeitig abschlossen, wäre es jedoch sinnvoll, missverstandene Fragen zu überarbeiten, um Zeit zu sparen. Kompass’ Bestreben, sein Sprachangebot über Englisch hinaus zu erweitern, spricht ebenfalls dafür, Missverständnisse zu verringern.

**Vertraulichkeit**. Eine damit zusammenhängende, aber etwas andere Überlegung, die erwähnenswert ist, betrifft die Art und Weise, wie Kompass fälschlich erfasste vertrauliche Informationen verwendet. Während der durchgeführten Gespräche fragte Kompass nicht direkt nach sensiblen oder vertraulichen Informationen. Dennoch gab es während des UX-Tests Momente, in denen Teilnehmende eine von Kompass’ Fragen missverstanden oder falsch beantworteten. Im Fall von Teilnehmendem 3 führte sein Missverständnis der Frage „Kannst du mir sagen, war dies ein bezahlter Job?“ dazu, dass er den genauen Lohn angab, den er durch den Job verdient hatte, anstatt lediglich zu bestätigen, dass die Stelle bezahlt war. Diese Information erschien nicht auf dem Lebenslauf der teilnehmenden Person; daher hatte sie keine Auswirkungen auf ihre Ergebnisse für diese Version von Kompass. Sollte es jedoch das Ziel sein, irgendwann eine Version von Kompass einzuführen, die die Gespräche mit jungen Menschen nutzt, um geeignete Jobs und Branchen vorzuschlagen, um potenzielle Stellen zu finden, dann könnte dies problematisch sein. Kompass könnte in diesem Fall einer teilnehmenden Person, die fälschlicherweise ihren genauen Lohn angegeben hat, Jobmöglichkeiten anbieten, die innerhalb desselben Lohnbereichs vergütet werden, und damit ihre Bewerbungsoptionen im Vergleich zu einer teilnehmenden Person einschränken, deren Vergütung Kompass nicht bekannt ist.

**Berichterstattung über Fähigkeiten**. Teilnehmerin 5 merkte an, dass „Geduld und Genauigkeit“ Fähigkeiten waren, die erforderlich waren, um eine ihrer Rollen gut auszuüben. Trotz dieser Angabe ließ Kompass diese Fähigkeiten in seiner Fähigkeitsübersicht weg. Es ist erwähnenswert, dass Teilnehmerin 5 der Ansicht war, dass diese Fähigkeiten nicht so wichtig seien wie die von Kompass hervorgehobenen Fähigkeiten. Umgekehrt bemerkte Teilnehmer 7, dass eine großartige Persönlichkeit und gute Kommunikationsfähigkeit für die Arbeit bei dem Unternehmen, bei dem er zuvor gearbeitet hatte, unerlässlich gewesen seien. Obwohl keines davon ausdrücklich in seiner Fähigkeitsübersicht enthalten war, war „Kundenservice“ – eine plausibel alternative Bezeichnung für diese Merkmale – enthalten.

Ob Fähigkeiten, die von den Teilnehmenden ausdrücklich erwähnt wurden, aufgenommen werden sollen oder nicht, ist nicht leicht zu beantworten. Für einige Teilnehmende, wie Teilnehmerin 5, scheinen die von Kompass zusammengefassten Fähigkeiten (die auf dem Rahmenwerk der Europäischen Klassifikation für Fähigkeiten, Kompetenzen, Qualifikationen und Berufe (ESCO) beruhen) gut mit ihren Erfahrungen zu korrespondieren. In anderen Fällen, wie im Fall von Teilnehmerin 4, würden selbst zugeordnete persönliche Eigenschaften und Merkmale einen Mehrwert in einem Lebenslauf darstellen. Wenn Kompass die Teilnehmenden jedoch ausdrücklich auffordert, Fähigkeiten anzugeben, die sie für ihre Rolle für wichtig halten, scheint es sinnvoll, dass Kompass zumindest die am engsten verwandte ESCO-Fähigkeit findet, um sie der Fähigkeitsübersicht der teilnehmenden Person hinzuzufügen.

Außerdem bemerkte Teilnehmerin 4, als sie im Abschnitt zur Zuordnung der Berufserfahrung von Kompass Informationen über ihre Erfahrung als Kassiererin angeben sollte, dass sie als Kassiererin „Kunden bei elektronischen und Barzahlungen unterstützt, Kundeneinkäufe gescannt und eingepackt sowie Wechselgeld und Kassenbestand gezählt“ habe. Trotz dieser detaillierten Aufgaben und Fähigkeiten, die diese teilnehmende Person anführte, nahm Kompass keine davon in ihre Zusammenfassung der Berufserfahrungen auf. Dies liegt vermutlich daran, dass sie den Teil von Kompass noch nicht erreicht hatte, in dem direkt nach den Aufgaben gefragt wird, die Teilnehmende im Rahmen einer bestimmten Stelle ausgeführt und aus denen sie ihre Fähigkeiten gewonnen haben. Leider gelangte Teilnehmerin 4 wegen Zeitmangels nicht zum Abschnitt zur Fähigkeitszuordnung von Kompass. Das ließ Teilnehmerin 4 frustriert und enttäuscht zurück. Idealerweise sollte Kompass in der Lage sein, im Abschnitt zur Berufserfahrung gegebene Angaben zu Fähigkeiten zu erkennen und diese Informationen vorsorglich der Zusammenfassung der Berufserfahrungen einer jungen Person hinzuzufügen, sodass sie diese Informationen nicht im Abschnitt zur Fähigkeitszuordnung wiederholen müssen.

**Berichterstattung über Erfahrungen**. Es gibt mehrere Fälle, in denen Kompass die Berufserfahrungen der Teilnehmenden fälschlicherweise zusammenfasst. Beispielsweise wurde die Erfahrung aus der unsichtbaren Ökonomie von Teilnehmerin 2 in ihrer Zusammenfassung der Berufserfahrung doppelt aufgeführt, und ebenso wurde die Kassiererinnen-Erfahrung von Teilnehmerin 4 fälschlicherweise doppelt aufgeführt.

Eine der Eröffnungsfragen von Kompass an Teilnehmerin 6 lautete: „Hast du jemals für ein Unternehmen oder das Geschäft jemand anderes gegen Geld gearbeitet?“ Teilnehmerin 6 antwortete darauf: „Ja, ich arbeite derzeit für ein Unternehmen.“ Anschließend erfasste Kompass Informationen über den Namen und den Standort des Unternehmens sowie darüber, wie lange sie dort gearbeitet hatte. Kompass fragte sie jedoch nicht, wie ihre Rolle bezeichnet wurde. Daher wurde diese Berufserfahrung in ihrer Erfahrungsübersicht als „Arbeit für ein Unternehmen“ bezeichnet.

In einem anderen Fall stufte Teilnehmerin 5 eine bezahlte Beschäftigung fälschlicherweise als Auftragsarbeit ein (dies ist nicht überraschend, da der Begriff Auftragsarbeit leicht als Arbeit interpretiert werden kann, die nach Unterzeichnung eines Vertrags geleistet wird, insbesondere wenn Englisch nicht die Muttersprache der teilnehmenden Person ist). Im Dialog korrigierte Kompass diesen Fehler und erkannte die Erfahrung der teilnehmenden Person korrekt als bezahlte Beschäftigung und nicht als Auftragsarbeit. Dennoch nahm Kompass „Auftragsarbeit (Selbstständigkeit)“ in die Zusammenfassung der Berufserfahrung der teilnehmenden Person auf. Schließlich arbeitete Teilnehmerin 5 aus der Ferne als Datenerfasserin für eine in Großbritannien ansässige Organisation. Als Kompass diese Erfahrung zusammenfasste, wurde die Tatsache, dass diese Tätigkeit aus der Ferne ausgeführt wurde, weggelassen. Daher könnte es einem potenziellen Arbeitgeber so erscheinen, als hätte die teilnehmende Person im Vereinigten Königreich gearbeitet.

**Überschneidende Erfahrungen**. Einige südafrikanische Jugendliche haben mehr als einen Job gleichzeitig, um ihr Einkommen zu maximieren. Oft wird eine Stelle als bezahlte Beschäftigung bei einem Arbeitgeber ausgeübt, während die andere eine Tätigkeit als Mikrounternehmer/in oder Freiberufler/in ist, die die junge Person eigenständig ausübt. Teilnehmer 1 hatte beispielsweise gleichzeitig eine ehrenamtliche und eine selbstständige Tätigkeit neben einer bezahlten Beschäftigung. Teilnehmerin 2 erwähnte, dass sie auf ihrem Lebenslauf gewöhnlich nur einige der Erfahrungselemente auflisten würde, die sie Kompass mitgeteilt hatte. Es ist hilfreich zu verstehen, ob südafrikanische Arbeitgeber eher bereit sind, jemanden mit einem Lebenslauf einzustellen, der überschneidende Erfahrungen enthält, als jemanden, der jeweils nur eine Erfahrung ausübt. Wenn ein Arbeitgeber der Meinung wäre, dass sich überschneidende selbstständige Tätigkeiten (oder ehrenamtliche Tätigkeiten) als Interessenkonflikt oder Zeitmanagementproblem auswirken könnten, auch wenn dies möglicherweise nicht der Fall ist, könnte dies die Beschäftigungschancen einer arbeitssuchenden Person beeinträchtigen. Umgekehrt könnte ein Arbeitgeber das gleichzeitige Ausüben mehrerer Tätigkeiten als Zeichen einer fleißigen Natur ansehen, was einer arbeitssuchenden Person zugutekommen könnte. Ob eine junge Person überschneidende Vollzeiterfahrungen auflisten darf oder dazu ermutigt werden sollte, sollte letztlich von ihrem Ziel und den erwarteten Reaktionen der Arbeitgeber abhängen.

**Engpässe in der unsichtbaren Ökonomie**. Kompass ist anfälliger dafür, Fehler zu erzeugen oder Missverständnisse hervorzurufen, wenn nach Erfahrungen in der unsichtbaren Ökonomie gefragt wird als bei Erfahrungen in der sichtbaren Ökonomie. Beispielsweise wurde Teilnehmerin 2 gebeten, spezifische Informationen zu ihrer Erfahrung beim Helfen anderer anzugeben; sie sagte, sie sei „in der Gemeinde gut bekannt“. Kompass war mit dieser Antwort nicht zufrieden und stellte dieselbe Frage in gleicher Weise erneut. Dies führte dazu, dass die teilnehmende Person dies dem Moderator meldete. Letztlich doppelte Kompass die von Teilnehmerin 2 angegebene Erfahrung aus der unsichtbaren Ökonomie fälschlicherweise in ihrem Lebenslauf.

In einem anderen Fall, als Teilnehmerin 4 gefragt wurde, ob sie „jemals Freundinnen, Freunden oder Familienmitgliedern ohne Bezahlung geholfen habe“, antwortete sie mit der Beschreibung einer Situation, in der sie ihrem Kollegen aus Wohltätigkeit Geld für Transport und Essen gab. Kompass erkannte nicht, dass diese Aktivität nicht den Anforderungen einer Tätigkeit in der unsichtbaren Ökonomie entsprach, und erfasste weiterhin weitere Informationen, um diese Aktivität (fälschlicherweise) in der Erfahrungsübersicht der teilnehmenden Person aufzuführen.

Die Tätigkeit von Teilnehmerin 5 in der unsichtbaren Ökonomie bestand darin, mit seinen Eltern einkaufen zu gehen. Die Struktur der Berichterstattung in Kompass drängte die teilnehmende Person dazu, ein Datum anzugeben, an dem diese Tätigkeit stattgefunden hatte. Für die unsichtbare Ökonomie kann es besonders schwierig sein, laufende sporadische Tätigkeiten auf ein Start- und Enddatum zu beschränken. Tatsächlich ist es plausibel, dass Teilnehmerin 5 mehrmals mit seinen Eltern einkaufen gegangen ist, obwohl er nur das jüngste Datum angab, an dem er diese Tätigkeit ausgeübt hatte. Außerdem scheint Kompass’ Klassifizierung der selbstberichteten Tätigkeit des Einkaufsbegleitens als „Freunden helfen“ in seiner Zusammenfassung der Berufserfahrung schlecht definiert zu sein.

Die unsichtbare Ökonomie ist konzeptionell schwierig, nicht technisch auszudrücken. Außerdem funktioniert die Zuordnung von „Ort, Dauer, Organisationsname“ zur unsichtbaren Ökonomie möglicherweise nicht so reibungslos wie bei der sichtbaren Ökonomie. Daher könnten die aktuellen Eingabeaufforderungen für die unsichtbare Ökonomie angesichts der oben genannten Engpässe überarbeitet werden.

**Externe Validität**. Schließlich ist es wichtig, die Validitätsgrenzen dieser Übung zu verstehen. Diese Ergebnisse gelten für die Teilnehmenden, die den UX-Test in dem Zeitraum abgeschlossen haben, in dem sie dies taten. Aufgrund der relativ kleinen Stichprobengröße der Teilnehmenden, die den UX-Test abgeschlossen haben, können diese Ergebnisse jedoch nicht so interpretiert werden, dass sie für irgendeine andere Gruppe gelten.

## Fazit

Tabiya arbeitete mit dem Harambee Youth Employment Accelerator zusammen, um eine Kompass-UX-Testsession für neun südafrikanische Jugendliche durchzuführen, die die Teilnehmenden der Sitzung bildeten. Die Teilnehmenden, die den UX-Test abgeschlossen hatten, wiesen unterschiedliche demografische Merkmale auf. Jede Sitzung wurde von einem Mitarbeiter von Harambee betreut und moderiert. Zusätzlich zur Nutzung von Kompass auf einem Smartphone beantworteten die Teilnehmenden eine Reihe von Fragen, um zu erfassen, wie sie ihre Interaktion mit Kompass empfanden.

Das von den Teilnehmenden gegebene Feedback spricht überwältigend für die Benutzerfreundlichkeit, Genauigkeit und Relevanz von Kompass bei der Identifizierung ihrer Fähigkeiten und Erfahrungen. Die Teilnehmenden, die Kompass nutzten, konnten dies größtenteils selbstständig tun. Dieses positive Feedback ist ermutigend und äußerst überzeugend, muss jedoch mit den Überlegungen abgewogen werden, die vor der Einführung von Kompass angestellt werden müssen.

[^1]: Siehe Statistics South Africa. 2024. P0211 - Quarterly Labour Force Survey (QLFS). Statistical Release, Pretoria: Statistics South Africa.

[^2]: Siehe Carranza, Eliana, Robert Garlick, Kate Orkin und Neil Rankin. 2022. "Job Search and Hiring with Limited Information about Workseekers' Skills." American Economic Review, 112 (11): 3547–83.

[^3]: Siehe Michèle Belot, Philipp Kircher, Paul Muller, Providing Advice to Jobseekers at Low Cost: An Experimental Study on Online Advice, The Review of Economic Studies, Volume 86, Issue 4, July 2019, Pages 1411–1447, [https://doi.org/10.1093/restud/rdy059.](https://doi.org/10.1093/restud/rdy059.See)

    Siehe Conlon, John J., Laura Pilossoph, Matthew Wiswall und Basit Zafar. Labor market search with imperfect information and learning. Nr. w24988. National Bureau of Economic Research, 2018.


---

# Agent Instructions
This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com.

## Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation by asking a question.

Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters:

```
GET https://docs.tabiya.org/tabiya-documentation/deutsch/unser-technologie-stack/compass/ux-evaluation.md?ask=<question>&goal=<user_goal>
```

`ask` is the immediate question: it should be specific, self-contained, and written in natural language.
`goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case.

The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.

Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.