UX Evaluation

Im August 2024 testete Tabiya die Benutzererfahrung von Compass mit Arbeitssuchenden, die vom Harambee Youth Employment Accelerator rekrutiert wurden.

Hintergrund und Motivation

Tabiya hat in Partnerschaft mit Harambee Youth Employment Accelerator eine dreitägige Reihe von Usability-Tests (UX-Tests) durchgeführt, um die folgenden Fragen zu beantworten:

1. Können Teilnehmende ein natürliches Gespräch mit Compass beginnen und aufrechterhalten?

2. Führt Compass Benutzer effektiv durch den Prozess der Fähigkeitsidentifikation?

3. Finden Benutzer die von Compass identifizierten Fähigkeiten relevant und genau?

4. Sind die Teilnehmenden mit dem Gesamterlebnis zufrieden und haben sie das Gefühl, ein klareres Verständnis ihrer Fähigkeiten zu haben?

Im südafrikanischen Fall sind die vorgesehenen Nutzer von Compass die Jugendlichen des Landes, die mit hohen und steigenden Zahlen an Arbeitsmarkt-, Bildungs- und Ausbildungsabkopplung konfrontiert sind. Dies ist zum Teil zurückzuführen auf Verzerrungen bei der Jobsuche. Das heißt, Arbeitssuchende können unvollständige Informationen über ihre Fähigkeiten haben. Das bedeutet, dass Arbeitssuchende sich auf Stellen bewerben könnten, für die sie ungeeignet sind, oder die Suche ganz einstellen. Compass wurde entwickelt, um diese spezifische Suchverzerrung zu mildern, die Teil der Treiber der Arbeitslosigkeit ist, insbesondere bei Jugendlichen.

Methodik

Südafrikanische Jugendliche (im Alter von 18 bis 35 Jahren), die beim SA Youth Mobi Platform von Harambee angemeldet sind, wurden über eine Anzeige eingeladen, an einer UX-Testsession teilzunehmen, die in den Harambee-Büros in Kapstadt stattfand. Bei der Sichtung wurden 604 als am besten kompatibel mit den Auswahlkriterien befunden. Dieses Kriterium umfasst Folgendes:

1. Die Person ist beim SA Youth Mobi Platform angemeldet

2. Die Person wohnt gewöhnlich nicht weiter als etwa 15 Kilometer vom Harambee-Büro in Kapstadt entfernt

3. Die Person hat bereits Berufserfahrung

4. Die Person sucht aktiv nach Beschäftigung

Aus diesem Kriterium wurden schwarze weibliche Teilnehmende und Teilnehmende, die Hinweise auf die Gründung eines eigenen Kleinunternehmens aufwiesen, bei der endgültigen Auswahl der UX-Testteilnehmenden bevorzugt.

Bevor die UX-Testsession beginnt, erhält jede teilnehmende Person ein Einverständnisformular zum Lesen und Unterschreiben. Gegebenenfalls wurden Teilnehmende gebeten, ein Einverständnis zur Fotografie zu unterschreiben, wenn sie sich damit wohl fühlten. Anschließend bestand jeder UX-Test aus vier Teilen. Der erste Teil beinhaltete eine Einführung und die Bitte um Erlaubnis, die Sitzung aufzuzeichnen. Dieser Teil der UX-Testsession wurde auch genutzt, um dem Teilnehmenden zu erklären, was Compass ist und wie es funktioniert.

Der zweite Teil bestand aus dem Beginn des UX-Tests. Während dieses Teils interagierte jede teilnehmende Person so unabhängig wie möglich mit Compass, bis ihre Erfahrungen und Fähigkeiten zusammengefasst waren oder bis der Moderator aufgrund einer Zeitbeschränkung anzeigte, die Interaktion zu beenden. Der UX-Test umfasste, dass Compass Informationen von Teilnehmenden zu ihren Berufserfahrungen sammelte, einschließlich bezahlter und unbezahlter Arbeit in Einrichtungen oder nicht-einrichtungsgebundenen Tätigkeiten. Dies wird im gesamten Bericht als Abschnitt Arbeitserfahrung bezeichnet. Anschließend erstellte Compass eine Erfahrungszusammenfassung, die die Erfahrungen, Orte und Zeiträume der Teilnehmenden chronologisch auflistete. Danach sammelte Compass im Rahmen eines interaktiven Dialogs Informationen darüber, welche Fähigkeiten Teilnehmende aus jeder Arbeitserfahrung erworben hatten. Bis zu fünf Fähigkeiten pro Erfahrung wurden am Ende des Dialogs aufgeführt. Dies wird im gesamten Bericht als Abschnitt Fähigkeitenzuweisung bezeichnet.

Während des dritten Teils der Sitzung stellte der Moderator der teilnehmenden Person eine Reihe von Nachtest-Feedbackfragen. Schließlich schloss der Moderator die Sitzung, indem er jeder teilnehmenden Person den Zeitraum mitteilte, in dem sie ihren finanziellen Anreiz (von R450) für die Teilnahme am UX-Test erwarten konnte. Der Abschluss wurde auch genutzt, um die Teilnehmenden zu fragen, ob sie damit einverstanden wären, in eine Harambee-WhatsApp-Gruppe für ein Expertengremium aufgenommen zu werden, das periodisch eingeladen wird, an Harambee-Sitzungen teilzunehmen, die sich an dessen Jugenddatenbank richten. Alle vier Teile waren auf 45 Minuten angesetzt, konnten aber bis zu einer Stunde dauern. Zusätzlich zu R450 erhielt jede teilnehmende Person vor jedem UX-Test ein Snackpaket. Dies geschieht, um sicherzustellen, dass Teilnehmende vor Beginn ihres UX-Tests etwas zu essen haben. Der vollständige Diskussionsleitfaden für jeden UX-Test ist zu finden hier.

Compass wurde so konzipiert, dass es Informationen konversationell von seinen Nutzern extrahiert. Daher funktioniert Compass ähnlich wie eine Messaging-Anwendung. Compass fragt seine Nutzer textuell nach Informationen zu ihren Erfahrungen und ermöglicht den Nutzern, zu antworten, bevor es abschließt oder um weitere Informationen bittet. Da diese Übung ähnlich wie eine Interaktion ist, bei der jemand über Textnachrichten auf seinem Smartphone kommuniziert, wurde der UX-Test auf einem Mobiltelefon durchgeführt. Für eine erhöhte Zugänglichkeit und Benutzerfreundlichkeit wurde das Samsung Galaxy A23 gewählt, da dies das am weitesten verbreitete Smartphone unter den Jugendlichen in Harambees Datenbank ist.

Ergebnisse

1. Demografie

Eine Gruppe von 11 beim SA Youth angemeldeten Jugendlichen wurde ausgewählt, um die Funktionalität von Compass zu testen. Drei dieser Teilnehmenden testeten Compass am 27. August. Zwei waren männlich und eine weiblich. Vier waren für den 28. eingeplant, jedoch gab es an diesem Tag eine Ausfallrate von 50 %. Ein Mann und eine Frau erschienen; die beiden Abwesenden waren männlich. Der 29. August war der letzte Testtag. Vier Teilnehmende, drei Frauen und ein Mann, testeten jeweils Compass. Daher nahmen 82 % (9 Personen) der ausgewählten Kohorte von 11 Personen an den UX-Tests teil. 44 % der UX-Testteilnehmenden waren männlich und 66 % weiblich.

1. Zeitaufwand

Aus den neun jungen Personen, die Compass testeten, bildeten sich zwei Gruppen. Gruppe 1 bestand aus drei Teilnehmenden, die eine Zusammenfassung der Arbeitserfahrung, jedoch keine Zusammenfassung der Fähigkeiten erhielten. Gruppe 2 umfasste sechs Teilnehmende, die sowohl eine Zusammenfassung der Arbeitserfahrung als auch der Fähigkeiten erhielten. Gruppe 1 benötigte im Durchschnitt 32 Minuten, um die gesamte UX-Testsession abzuschließen. Gruppe 2 benötigte im Durchschnitt 32 Minuten und 30 Sekunden. Übersichten zu jeder UX-Testsession, einschließlich Details zu den Zeiten jeder Sitzung, sind zu finden hier.

Die vollständige Compass-Erfahrung wurde nur einmal ohne Unterbrechung abgeschlossen. Dies gelang Teilnehmender 9, der nur eine Erfahrung und damit nur einen Satz von Fähigkeiten besaß. Daher war die ursprünglich angesetzte Zeit von 45 Minuten zur Durchführung der gesamten UX-Testsession eine Unterschätzung. Stattdessen beendeten alle Teilnehmenden innerhalb von 45 Minuten nur, weil der Moderator der Sitzungen die Teilnehmenden vorzeitig anwies, ihre Interaktionen mit Compass zu beenden. Da Teilnehmende für ihre Zeit bezahlt wurden, hätte das Nicht-Tun gegen Arbeitsgesetze verstoßen.

1. Feedback der Teilnehmenden

Die Teilnehmenden reagierten äußerst positiv auf Compass. 88,9 % der Teilnehmenden gaben an, dass sie Compass leicht zu bedienen fanden und dessen Antworten verstanden. Dieses Feedback deutet darauf hin, dass Compass die Initiierung und Aufrechterhaltung natürlicher Gespräche in dieser Gruppe von UX-Testern ermöglichte. Tatsächlich waren die Teilnehmenden besonders beeindruckt davon, dass sie Gespräche mit Compass „als wäre es ein Mensch“ führen konnten. Dies unterstützte ihre Fähigkeit, ihre Wege zur Erfassung von Arbeitserfahrungen und erworbenen Fähigkeiten eigenständig abzuschließen. 77,8 % der Teilnehmenden fanden, dass Compass genaue und relevante Fähigkeiten identifizierte, ohne irrelevante Fähigkeiten auszulassen. 88,9 % der Teilnehmenden sagten, dass Compass ihnen geholfen habe, ein besseres Verständnis ihrer Erfahrungen und Fähigkeiten zu gewinnen, insbesondere aufgrund der einfachen Darstellung in ihren Zusammenfassungen.

Alle Teilnehmenden begrüßten die Aussicht, dass Compass ihnen auf Grundlage ihrer Erfahrungen Jobs und Sektoren vorschlägt, auf die sie sich bewerben könnten. Zusätzliches Feedback umfasste die Aufnahme persönlicher Eigenschaften und Merkmale in die Compass-Fähigkeitszusammenfassungen und die Aufnahme von Qualifikationen in den Compass-Lebenslauf. 100 % der Teilnehmenden, die den UX-Test abgeschlossen hatten, gaben an, dass sie Compass anderen Arbeitssuchenden empfehlen würden. All dies zusammen ist ein starkes Indiz dafür, dass die Teilnehmenden mit ihrem Gesamterlebnis mit Compass zufrieden sind.

1. Positive Beobachtungen

Vorhersehbarkeit. Im Laufe der Zeit begannen die Teilnehmenden, den Ablauf der von Compass gestellten Fragen für jede Erfahrung vorherzusehen. Dies führte zu schnelleren Antworten, da Teilnehmende Antworten auf zwei getrennte Fragen kombinieren konnten, von denen sie schließlich wussten, dass Compass sie stellen würde (zum Beispiel, was die Erfahrung war und wo sie stattfand), ohne dazu aufgefordert zu werden.

Beharrlichkeit. Die Beharrlichkeit von Compass, insbesondere in der unbezahlten (unseen) Wirtschaft, ist eine Stärke. Compass stellt den Teilnehmenden eine Reihe von Hauptfragen, um ihre Erfahrung zunächst als Teil der sichtbaren oder unsichtbaren Wirtschaft zu charakterisieren. Nachdem eine Erfahrung von einer teilnehmenden Person eingegeben wurde, wiederholt Compass die Frage, die beantwortet wurde, bevor es zur nächsten Kategorie der Arbeitserfahrung übergeht. Diese Wiederholung der Fragen ermöglicht es den Teilnehmenden, alle ihre Arbeitserfahrungen (und damit ihre zugehörigen Fähigkeiten) innerhalb sowohl der sichtbaren als auch der unsichtbaren Wirtschaft anzugeben, was insbesondere für die unsichtbare Wirtschaft wichtig ist.

Agilität. Während der Nutzerreisen der Teilnehmenden war Compass in der Lage, das Gespräch effektiv wieder auf das Thema zu lenken, wenn Teilnehmende Fragen missverstanden. Ebenso konnte Compass mit den meisten Grammatik- und Rechtschreibfehlern umgehen, die jede teilnehmende Person mindestens einmal gemacht hat. Der einzige Rechtschreibfehler, den Compass nicht automatisch korrigierte, war „Checkers“, das von Teilnehmendem 4 fälschlicherweise als „Checker“ geschrieben wurde. Dieser Rechtschreibfehler blieb bestehen, bis die Erfahrungszusammenfassung dem Nutzer präsentiert wurde. Nichtsdestotrotz haben Teilnehmende mehrere Gelegenheiten, Rechtschreibfehler während ihrer Compass-Nutzerreise zu korrigieren.

Ein weiteres Beispiel für die Agilität von Compass ist der Fall von Teilnehmender 6, die fälschlicherweise eine Freiwilligenrolle als bezahlte Rolle angab. Als die Teilnehmende auf die Frage antwortete, ob sie für ein Unternehmen oder eine Firma gegen Bezahlung gearbeitet habe, identifizierte Compass Schlüsselwörter, einschließlich „volunteer“ (Freiwilliger), in ihrer Antwort und ging dann der Frage nach, ob ihre angegebene Erfahrung tatsächlich bezahlt oder unbezahlt war. Nachdem festgestellt wurde, dass es eine unbezahlte Position war, konnte Compass diese Rolle korrekt klassifizieren und richtig in die Arbeitserfahrungszusammenfassung von Teilnehmender 6 aufnehmen.

1. Überlegungen

Missverständnisse. Obwohl Compass in dieser Kohorte objektiv gute Ergebnisse erzielt hat, wäre es nachlässig, Elemente zu verschweigen, die bei einer Ausweitung auf größere Zielgruppen berücksichtigt werden müssen. Die erste Überlegung betrifft die Sprachbarriere. Compass erfordert eine mittlere Englischkenntnis. Im Fall der südafrikanischen Jugendlichen ist Englisch wahrscheinlich nicht die Muttersprache der durchschnittlichen potenziellen Compass-Nutzenden.

Jede teilnehmende Person in der Tabiya-Harambee UX-Testsession hatte im Durchschnitt ein ausreichendes Sprachniveau, um den UX-Test und den anschließenden Fragebogen zu absolvieren. Es gab jedoch Zeiten, etwa beim UX-Test von Teilnehmender 4, in denen Moderator und Teilnehmende in der Muttersprache der teilnehmenden Person sprachen, wenn die Person Fragen stellte oder der Moderator erklärte, was Compass ist. Zudem war erkennbar, dass Compass einige Fragen stellte, die bei Teilnehmenden Verwirrung, Missverständnis oder Zögern verursachten. Einige Beispiele sind:

1. „Können Sie mir von der ersten Erfahrung erzählen, die Sie als Selbstständige/r gemacht haben?“ Auf diese Frage beschrieb Teilnehmender 1 die Unabhängigkeit und Befriedigung, die er aus dieser Erfahrung zog, anstatt die eigentliche Erfahrung zu beschreiben. Compass lenkte das Gespräch um, indem es den Teilnehmenden anschließend fragte, welche Art von Arbeit er ausgeübt habe.

2. „...wie sah ein typischer Arbeitstag aus“ ist der Ausdruck, den Compass verwendet, um Informationen darüber zu initiieren, welche Fähigkeiten Teilnehmende aus ihren verschiedenen Arbeitserfahrungen erworben haben. Teilnehmender 1 gab Informationen im Zusammenhang mit der Atmosphäre oder äußeren Ereignissen eines typischen Tages an, statt die Aufgaben zu beschreiben, die er an einem typischen Tag erledigte. Compass lenkte das Gespräch um, indem es fragte, für welche Aufgaben die Teilnehmenden verantwortlich gewesen seien.

3. Als Compass Teilnehmenden 5 bat, „erzählen Sie mir, wie Ihre Erfahrung war“, antwortete die teilnehmende Person: „Es war eine gute Erfahrung, freiwillig zu helfen“, statt näher darauf einzugehen, welche Aufgaben die Erfahrung beinhaltete.

Die Fähigkeit von Compass, trotz Missinterpretationen Schlussfolgerungen zu ziehen und Gespräche umzulenken, ist in dieser Hinsicht eine auffällige Stärke. Da jedoch nur 11 % der Teilnehmenden die Abschnitte zu Erfahrungen und Fähigkeiten von Compass rechtzeitig abgeschlossen haben, könnte es sinnvoll sein, missverstandene Fragen zu verfeinern, um Zeit zu sparen. Die Ambition von Compass, sein Sprachangebot über Englisch hinaus zu erweitern, ist zudem vielversprechend zur Verringerung von Missverständnissen.

Vertraulichkeit. Eine damit zusammenhängende, aber leicht unterschiedliche Überlegung ist, wie Compass fehlerhaft angegebene, vertrauliche Informationen verwendet. Während der geführten Interviews fragte Compass nicht direkt nach sensiblen oder vertraulichen Informationen. Es gab jedoch Fälle im UX-Test, in denen Teilnehmende eine Frage von Compass missinterpretierten oder fälschlich beantworteten. Im Fall von Teilnehmendem 3 führte sein Missverständnis der Frage „Können Sie mir sagen, war dies ein bezahlter Job?“ dazu, dass er das genaue Gehalt angab, das er in dem Job verdient hatte, anstatt lediglich zu bestätigen, dass die Position bezahlt war. Diese Information erschien nicht im Lebenslauf des Teilnehmenden; daher hatte sie keine Auswirkung auf seine Ergebnisse für diese Version von Compass. Sollte jedoch das Ziel sein, letztlich eine Version von Compass einzusetzen, die die geführten Konversationen mit jungen Menschen nutzt, um geeignete Jobs und Sektoren vorzuschlagen, könnte dies ein Problem darstellen. Compass könnte in diesem Fall einem Teilnehmenden, der fälschlicherweise sein genaues Gehalt angegeben hat, Stellenangebote vorschlagen, die innerhalb dieses Gehaltsbereichs liegen, und dadurch die Bewerbungsoptionen dieses Teilnehmenden gegenüber einem Teilnehmenden, dessen Vergütung Compass nicht kennt, einschränken.

Berichterstattung zu Fähigkeiten. Teilnehmender 5 merkte an, dass „Geduld und Genauigkeit“ Fähigkeiten seien, die für eine der Rollen, die er gut ausgeübt habe, erforderlich gewesen seien. Trotz der Anfrage nach dieser Information ließ Compass diese Fähigkeiten in seiner Fähigkeitszusammenfassung weg. Es ist erwähnenswert, dass Teilnehmender 5 empfand, diese Fähigkeiten seien weniger wichtig als die von Compass hervorgehobenen Fähigkeiten. Im Gegensatz dazu bemerkte Teilnehmender 7, dass eine großartige Persönlichkeit und gute Kommunikation für die Arbeit in dem Unternehmen, in dem er zuvor tätig war, unerlässlich seien. Während weder das eine noch das andere explizit in seiner Fähigkeitszusammenfassung enthalten war, war „Kundenservice“ - eine plausible Alternative zur Bezeichnung dieser Eigenschaften - vorhanden.

Ob ausdrücklich vom Teilnehmenden genannte Fähigkeiten aufgenommen werden sollen, ist nicht leicht zu beantworten. Für einige Teilnehmende, wie Teilnehmender 5, scheinen die von Compass zusammengefassten Fähigkeiten (die auf dem European Skills, Competences, Qualifications and Occupations (ESCO)-Rahmen basieren) gut mit ihren Erfahrungen zu korrespondieren. In anderen Fällen, wie beim Fall von Teilnehmender 4, wären selbst zugewiesene persönliche Eigenschaften und Attribute eine wertvolle Ergänzung im Lebenslauf. Dennoch erscheint es sinnvoll, dass Compass, wenn es Teilnehmende ausdrücklich bittet, Fähigkeiten anzugeben, die sie in ihrer Rolle für wichtig halten, zumindest die engste ESCO-Fähigkeit finden sollte, um sie der Fähigkeitszusammenfassung der teilnehmenden Person hinzuzufügen.

Darüber hinaus stellte Teilnehmende 4, als sie im Abschnitt zur Zuordnung von Arbeitserfahrungen bei Compass Informationen zu ihrer Tätigkeit als Kassiererin angab, fest, dass sie als Kassiererin „Kunden bei elektronischen und baren Zahlungen unterstützte, Lebensmittel scannte und verpackte, Wechselgeld zählte und Kasse machte“. Trotz dieser detaillierten Aufgaben und genannten Fähigkeiten nahm Compass keine dieser Angaben in ihre Arbeitserfahrungszusammenfassung auf. Wahrscheinlich lag dies daran, dass sie den Teil von Compass, der direkt nach Aufgaben fragt, die aus einem bestimmten Job erworbenen Fähigkeiten, noch nicht erreicht hatte. Unglücklicherweise konnte Teilnehmende 4 aufgrund fehlender Zeit nicht zum Abschnitt zur Fähigkeitszuweisung von Compass gelangen. Dies hinterließ bei ihr Frustration und Enttäuschung. Idealerweise sollte Compass in der Lage sein, im Abschnitt Arbeitserfahrung gegebene Fähigkeitsinformationen zu identifizieren und diese vorbeugend der Arbeitserfahrungszusammenfassung einer jungen Person hinzuzufügen, sodass sie diese Informationen nicht im Abschnitt Fähigkeitszuweisung wiederholen muss.

Berichterstattung zu Erfahrungen. Es gibt mehrere Fälle, in denen Compass die Arbeitserfahrungen der Teilnehmenden fehlerhaft zusammenfasste. Zum Beispiel wurde die unbezahlte Erfahrung von Teilnehmender 2 in ihrer Arbeitserfahrungszusammenfassung dupliziert, und ähnlich wurde die Kassiererfahrung von Teilnehmender 4 fälschlicherweise dupliziert.

Eine der Einstiegsfragen von Compass an Teilnehmende 6 lautete: „Haben Sie jemals für ein Unternehmen oder das Geschäft von jemand anderem gegen Bezahlung gearbeitet?“ Teilnehmende 6 antwortete auf diese Frage: „Ja, ich arbeite derzeit für ein Unternehmen.“ Compass fuhr dann fort, Informationen zum Namen und Standort des Unternehmens sowie zur Dauer ihrer Tätigkeit dort zu sammeln. Compass fragte sie jedoch nicht nach der Stellenbezeichnung ihrer Rolle. Daher wurde diese Arbeitserfahrung in ihrer Erfahrungszusammenfassung als „Arbeiten für ein Unternehmen“ benannt.

In einem anderen Fall klassifizierte Teilnehmende 5 fälschlicherweise eine angestellte Beschäftigung als Vertragsarbeit (was nicht überraschend ist, da der Begriff „Contract work“ leicht als Arbeit nach Unterzeichnung eines Vertrags interpretiert werden kann, insbesondere wenn Englisch nicht die Muttersprache der teilnehmenden Person ist). Während des Dialogs korrigierte Compass diesen Fehler und identifizierte die Erfahrung des Teilnehmenden korrekt als angestellte Beschäftigung statt Vertragsarbeit. Nichtsdestotrotz enthielt die Arbeitserfahrungszusammenfassung des Teilnehmenden dennoch „Contract work (Self-employment)“. Schließlich arbeitete Teilnehmende 5 remote als Datenerfasser für eine Organisation mit Sitz im Vereinigten Königreich. Als Compass diese Erfahrung zusammenfasste, wurde die Tatsache, dass diese Erfahrung remote ausgeführt wurde, weggelassen. Daher könnte es für einen potenziellen Arbeitgeber so erscheinen, als habe die teilnehmende Person im Vereinigten Königreich gearbeitet.

Überlappende Erfahrungen. Einige südafrikanische Jugendliche haben mehr als einen Job gleichzeitig, um ihr Einkommen zu maximieren. Oft ist ein Job eine bezahlte Beschäftigung durch einen Arbeitgeber, während der andere eine Mikrounternehmertätigkeit oder freiberufliche Tätigkeit ist, die die junge Person eigenständig ausübt. Teilnehmende 1 beispielsweise hatte eine Freiwilligen- und eine selbstständige Tätigkeit, während er eine angestellte Beschäftigung ausübte. Teilnehmende 2 erwähnte, dass sie gewöhnlich nur einige der von ihr bei Compass offengelegten Erfahrungsposten in ihrem Lebenslauf aufführen würde. Es ist nützlich zu verstehen, ob südafrikanische Arbeitgeber eher geneigt sind, jemanden mit einem Lebenslauf einzustellen, der überlappende Erfahrungen enthält, im Vergleich zu jemandem, der jeweils nur eine Erfahrung durchgeführt hat. Wenn ein Arbeitgeber annähme, dass überlappende selbstständige (oder freiwillige) Rollen einen Interessenkonflikt oder Probleme bei der Zeitplanung darstellen könnten, selbst wenn dies nicht der Fall ist, könnte dies die Beschäftigungsaussichten einer arbeitssuchenden Person beeinträchtigen. Andererseits könnte ein Arbeitgeber das gleichzeitige Ausüben mehrerer Positionen als Zeichen von Fleiß werten, was zugunsten des Arbeitssuchenden wirken könnte. Ob eine junge Person erlaubt oder ermutigt wird, überlappende Vollzeiterfahrungen aufzulisten, sollte letztlich von den Zielen der jungen Person und den erwarteten Reaktionen der Arbeitgeber abhängen.

Engpässe in der unsichtbaren Wirtschaft. Compass ist anfälliger für Fehler oder Missverständnisse, wenn es nach Erfahrungen in der unsichtbaren Wirtschaft fragt als bei Erfahrungen in der sichtbaren Wirtschaft. Zum Beispiel wurde Teilnehmende 2 gebeten, spezifische Informationen zu ihrer Erfahrung mit der Unterstützung anderer zu geben; sie sagte, sie sei „in der Gemeinde gut bekannt“. Compass, mit dieser Antwort nicht zufrieden, stellte die Frage auf dieselbe Weise erneut. Dies führte dazu, dass die teilnehmende Person dies dem Moderator meldete. Letztlich duplizierte Compass fälschlicherweise die von Teilnehmende 2 angegebene Erfahrung aus der unsichtbaren Wirtschaft in ihrem Lebenslauf.

In einem anderen Fall, als Teilnehmende 4 gefragt wurde, ob sie „jemals Freunden oder Familienmitgliedern ohne Bezahlung geholfen“ habe, beschrieb sie einen Fall, in dem sie einem Kollegen aus Wohltätigkeit Geld für Transport und Essen gegeben hatte. Compass erkannte nicht, dass diese Aktivität nicht die Anforderungen einer unsichtbaren Wirtschaftstätigkeit erfüllte, und fuhr fort, weitere Informationen zu sammeln, um diese Aktivität fälschlicherweise in die Erfahrungszusammenfassung der teilnehmenden Person aufzunehmen.

Die unsichtbare Wirtschaftstätigkeit von Teilnehmendem 5 bestand darin, seine Eltern zum Einkaufen zu begleiten. Die Struktur zur Erfassung der Erfahrungen durch Compass forderte den Teilnehmenden auf, ein Datum anzugeben, an dem diese Tätigkeit stattgefunden habe. In der unsichtbaren Wirtschaft kann es besonders schwierig sein, laufende sporadische Tätigkeiten auf ein Start- und Enddatum zu begrenzen. Tatsächlich ist es plausibel, dass Teilnehmende 5 seine Eltern bei mehreren Gelegenheiten zum Einkaufen begleitet hat, obwohl er nur das jüngste Datum angab, an dem er diese Tätigkeit ausgeübt hatte. Außerdem wirkt die Klassifizierung der selbstberichteten Tätigkeit des Teilnehmenden, seine Eltern zum Einkaufen zu begleiten, als „Freunden helfen“ in seiner Arbeitserfahrungszusammenfassung unklar definiert.

Die unsichtbare Wirtschaft ist konzeptionell schwer nicht-technisch zu artikulieren. Zudem funktioniert die Zuordnung einer „Ort, Dauer, Organisationsname“-Struktur auf die unsichtbare Wirtschaft möglicherweise nicht so nahtlos wie in der sichtbaren Wirtschaft. Daher sollten die aktuellen Eingabeaufforderungen für die unsichtbare Wirtschaft angesichts der oben erwähnten Engpässe überarbeitet werden.

Externe Validität. Schließlich ist es wichtig, die Validitätsgrenzen dieser Übung zu verstehen. Die Ergebnisse gelten für die Teilnehmenden, die den UX-Test in dem angegebenen Zeitraum abgeschlossen haben. Aufgrund der relativ kleinen Stichprobengröße der Teilnehmenden, die den UX-Test abgeschlossen haben, können diese Ergebnisse jedoch nicht als allgemein auf andere Gruppen anwendbar interpretiert werden.

Fazit

Tabiya arbeitete mit Harambee Youth Employment Accelerator zusammen, um eine Compass-UX-Testsession mit neun südafrikanischen Jugendlichen durchzuführen, die die Teilnehmenden der Sitzung bildeten. Die Teilnehmenden, die den UX-Test abschlossen, wiesen unterschiedliche demografische Merkmale auf. Jede Sitzung wurde von einem Mitarbeiter von Harambee geleitet und moderiert. Zusätzlich zur Nutzung von Compass auf einem Smartphone beantworteten die Teilnehmenden eine Reihe von Fragen, um zu beurteilen, wie sie die Interaktion mit Compass empfanden.

Das Feedback der Teilnehmenden fällt überwältigend zugunsten der Benutzerfreundlichkeit, Genauigkeit und Relevanz von Compass bei der Identifizierung ihrer Fähigkeiten und Erfahrungen aus. Die Teilnehmenden, die Compass nutzten, konnten dies weitgehend eigenständig tun. Dieses positive Feedback ist ermutigend und äußerst überzeugend, muss jedoch mit den Überlegungen abgewogen werden, die vor einer breiteren Einführung von Compass getroffen werden müssen.