Evaluación de UX

En agosto de 2024, Tabiya probó la experiencia de usuario de Compass con buscadores de empleo reclutados por Harambee Youth Employment Accelerator.

Antecedentes y motivación

Tabiya, en asociación con Harambee Youth Employment Accelerator, realizó una serie de pruebas de experiencia de usuario (UX) de tres días diseñadas para responder las siguientes preguntas:

1. ¿Pueden los participantes iniciar y mantener una conversación natural con Compass?

2. ¿Guía Compass de manera efectiva a los usuarios a través del proceso de identificación de habilidades?

3. ¿Encuentran los usuarios relevantes y precisas las habilidades identificadas por Compass?

4. ¿Están los participantes satisfechos con la experiencia general y sienten que tienen una comprensión más clara de sus habilidades?

En el caso de Sudáfrica, los usuarios previstos de Compass son los jóvenes del país, que enfrentan tasas altas y crecientes de desvinculación en el mercado laboral, la educación y la formación. Esto se debe, en parte, a distorsiones en la búsqueda de empleo. Es decir, los buscadores de empleo pueden tener información incompleta sobre sus habilidades. Esto significa que los buscadores de empleo podrían postularse para trabajos con los que son incompatibles o dejar de buscar por completo. Compass está diseñado para mitigar esta distorsión particular de búsqueda, que forma parte de los factores que impulsan el desempleo, especialmente entre los jóvenes.

Metodología

Se mostró un anuncio para unirse a una sesión de pruebas UX realizada en las oficinas de Harambee en Ciudad del Cabo a jóvenes sudafricanos (entre 18 y 35 años) suscritos a la plataforma SA Youth Mobi de Harambee. Tras la recepción, 604 se consideraron más compatibles con los criterios de selección. Este criterio incluye lo siguiente:

1. La persona joven está suscrita a la plataforma SA Youth Mobi

2. La persona joven normalmente reside a no más de aproximadamente 15 kilómetros de la oficina de Harambee en Ciudad del Cabo

3. La persona joven ha tenido experiencia laboral anteriormente

4. La persona joven está buscando empleo activamente

A partir de este criterio, en la selección final de participantes para la prueba UX se favorecieron a mujeres negras y a participantes que tenían evidencia de haber iniciado su propio pequeño negocio.

Antes de que comience la sesión de prueba UX, a cada participante se le entrega un formulario de consentimiento para leer y firmar. Cuando corresponde, se pidió a los participantes que firmaran un formulario de consentimiento para fotografía si estaban cómodos haciéndolo. A continuación, cada prueba UX comprendió cuatro partes. La primera parte consistió en una introducción y en pedir al participante permiso para grabar la sesión. Esta parte de la sesión de prueba UX también se utilizó para explicar qué es Compass y cómo funciona al participante.

La segunda parte consistió en el comienzo de la prueba UX. Durante esta parte, cada participante interactuó con Compass de la manera más independiente posible hasta que sus experiencias y habilidades fueron resumidas, o hasta que el moderador indicó que debían dejar de interactuar con Compass por una restricción de tiempo. La prueba UX implicó que Compass recopilara información de los participantes sobre sus experiencias laborales, incluyendo trabajo remunerado y no remunerado en establecimientos o en entornos no establecidos. A esto se le denomina sección de experiencia laboral a lo largo de este informe. A continuación, Compass produjo un resumen de experiencias que enumeraba cronológicamente las experiencias, ubicaciones y duraciones de los participantes. Después, Compass recopiló información sobre qué habilidades habían obtenido los participantes de cada experiencia laboral mediante un diálogo interactivo. Hasta cinco habilidades por experiencia se enumeraron posteriormente al final del diálogo. A esto se le denomina sección de asignación de habilidades a lo largo de este informe.

Durante la tercera parte de la sesión, el moderador hizo al participante una serie de preguntas de retroalimentación posprueba. Finalmente, el moderador cerró la sesión informando a cada participante el plazo en que esperar su incentivo monetario (de R450) por participar en la prueba UX. El cierre también se utilizó para preguntar a los participantes si estaban cómodos con ser incluidos en un grupo de WhatsApp de Harambee para un panel de expertos que periódicamente es invitado a participar en sesiones de Harambee dirigidas a su base de datos juvenil. Las cuatro partes estaban proyectadas para durar 45 minutos, pero podrían durar hasta una hora. Además de los R450, a cada participante se le entregó un paquete de aperitivos antes de cada prueba UX. Esto se hizo para asegurar que los participantes tuvieran comida antes de comenzar sus pruebas UX. La guía completa de discusión para cada prueba UX se puede encontrar aquí.

Compass fue diseñado para extraer información de sus usuarios de manera conversacional. Como tal, Compass funciona de manera similar a una aplicación de mensajería. Compass solicita textualmente a sus usuarios información relacionada con sus experiencias y permite a los usuarios responder antes de concluir o de indagar más información. Dado que este ejercicio opera de forma similar a una interacción en la que alguien se comunicaría mediante mensajes de texto en su teléfono inteligente, la prueba UX se realizó en un teléfono celular. Para mayor accesibilidad y facilidad de uso, el celular elegido fue el Samsung Galaxy A23 porque es el teléfono inteligente más utilizado entre los jóvenes en la base de datos de Harambee.

Resultados

1. Demografía

Se seleccionó a un conjunto de 11 jóvenes suscritos a SA Youth para probar la funcionalidad de Compass. Tres de estos participantes probaron Compass el 27 de agosto. Dos eran hombres y una era mujer. Cuatro estaban programados para completar las pruebas el día 28, pero hubo una tasa de deserción del 50% ese día. Se presentaron un hombre y una mujer; los dos ausentes eran hombres. El 29 de agosto fue el último día de pruebas. Cuatro participantes, tres mujeres y un hombre, probaron Compass. Por lo tanto, el 82% (9 personas) de la cohorte elegida de 11 personas participó en las pruebas UX. El 44% de los participantes de las pruebas UX fueron hombres y el 66% mujeres.

1. Cronometraje

De los nueve jóvenes que probaron Compass, surgieron dos grupos. El Grupo 1 comprendió tres participantes que recibieron un resumen de experiencia laboral pero no un resumen de habilidades. El Grupo 2 incluyó seis participantes que recibieron tanto el resumen de experiencia laboral como el de habilidades. El Grupo 1 tardó un promedio de 32 minutos en completar toda la sesión de prueba UX. El Grupo 2 tardó un promedio de 32 minutos y 30 segundos en completar la sesión. Se pueden encontrar resúmenes de cada sesión de prueba UX, incluidos detalles sobre los tiempos de cada sesión aquí.

La experiencia completa de Compass se completó sin interrupciones solo una vez. Esto lo hizo la Participante 9, que solo poseía una experiencia y, por tanto, un conjunto de habilidades. Por lo tanto, el tiempo inicialmente proyectado de 45 minutos para completar toda la sesión de prueba UX fue una subestimación. En cambio, todos los participantes terminaron dentro de los 45 minutos solo porque el moderador de las sesiones de participantes indicó prematuramente a los participantes que finalizaran sus interacciones con Compass. Dado que a los participantes se les pagó por su tiempo, no hacer esto habría violado las leyes laborales.

1. Comentarios de los participantes

Los participantes respondieron de manera extremadamente favorable hacia Compass. El 88,9% de los participantes informó que encontró Compass fácil de usar y entender sus respuestas. Esta retroalimentación sugiere que Compass permitió iniciar y mantener una conversación natural en este grupo de probadores UX. De hecho, los participantes quedaron particularmente impresionados con el hecho de que pudieron tener conversaciones con Compass “como si fuera un humano”. Esto ayudó en su capacidad para completar de forma independiente sus recorridos de obtención de experiencias laborales y habilidades. El 77,8% de los participantes consideró que Compass identificó habilidades precisas y relevantes sin omitir habilidades irrelevantes. El 88,9% de los participantes dijo que Compass les ayudó a comprender mejor sus experiencias y habilidades, particularmente por lo simple que las presentó en sus resúmenes.

Todos los participantes recibieron con agrado la posibilidad de que Compass sugiriera trabajos y sectores a los que postularse dado sus experiencias. Comentarios adicionales incluyeron tener rasgos y características personales como parte de los resúmenes de habilidades de Compass e incluir calificaciones en el CV de Compass. El 100% de los participantes que completaron la prueba UX dijo que recomendaría Compass a otros buscadores de empleo. Todo esto junto es una fuerte evidencia a favor de la hipótesis de que los participantes están satisfechos con su experiencia general usando Compass.

1. Observaciones positivas

Previsibilidad. Con el tiempo, los participantes comenzaron a anticipar el flujo de preguntas que Compass hacía por cada experiencia. Esto generó respuestas más rápidas ya que los participantes podían combinar respuestas a dos preguntas separadas que eventualmente sabían que Compass haría (por ejemplo, qué fue la experiencia y dónde fue) sin necesidad de que se les solicitara hacerlo.

Persistencia. La persistencia de Compass, particularmente en la economía no registrada, es una fortaleza. Compass hace a los participantes una serie de preguntas principales para caracterizar inicialmente su experiencia en la economía registrada o no registrada. Tras introducir una experiencia, Compass repite la pregunta que se ha respondido antes de pasar a la siguiente categoría de experiencia laboral. Esta repetición de preguntas permite a los participantes anotar toda su experiencia laboral (y, a su vez, sus habilidades asociadas), tanto en la economía registrada como en la no registrada, lo cual es particularmente importante para la economía no registrada.

Agilidad. A lo largo de los recorridos de los participantes, Compass pudo redirigir efectivamente la conversación de nuevo al tema cuando los participantes malinterpretaron preguntas. De manera similar, Compass pudo navegar por la mayoría de los errores gramaticales y ortográficos, de los que cada participante cometió al menos uno. El único error ortográfico que Compass no corrigió automáticamente fue “Checkers”, que fue escrito erróneamente como “Checker” por la Participante 4. Este error ortográfico persistió hasta que se presentó el resumen de experiencia al usuario. A pesar de ello, los participantes tienen varias oportunidades para corregir errores ortográficos a lo largo de sus recorridos con Compass.

Otro ejemplo de la agilidad de Compass es el caso de la Participante 6, que imputó incorrectamente un rol de voluntariado como un rol remunerado. Cuando la participante respondió a una pregunta que preguntaba si había trabajado para una empresa o negocio por dinero, Compass identificó palabras clave, incluyendo “voluntario”, en su respuesta y luego procedió a indagar si la experiencia imputada era realmente remunerada o no remunerada. Tras descubrir que fue una posición no remunerada, Compass pudo clasificarla con precisión como tal y listar correctamente esta experiencia en el resumen de experiencias laborales de la Participante 6.

1. Consideraciones

Malentendidos. Si bien Compass ha producido resultados objetivamente buenos en esta cohorte, sería un error omitir elementos a considerar al desplegarlo a audiencias más amplias. La primera consideración es el efecto de la barrera del idioma. Compass requiere una competencia moderada en inglés. En el caso de los jóvenes sudafricanos, es probable que el inglés no sea la primera lengua promedio de los posibles usuarios de Compass.

Cada participante en la sesión de pruebas UX Tabiya-Harambee poseía un nivel de competencia promedio lo suficientemente alto como para completar la prueba UX y el cuestionario posterior. Sin embargo, hubo ocasiones, como en la prueba UX de la Participante 4, en que el moderador y el participante conversaron en la lengua nativa del participante cuando éste hizo preguntas o cuando el moderador explicó qué es Compass. Además, quedó claro que Compass formuló algunas preguntas que causaron confusión, malentendidos o vacilación entre los participantes. Algunos ejemplos incluyen:

1. “¿Puedes contarme acerca de la primera experiencia que tuviste trabajando por cuenta propia?” A esta pregunta, el Participante 1 describió la independencia y la satisfacción que obtuvo de esta experiencia en lugar de describir la experiencia en sí. Compass redirigió la conversación preguntando posteriormente al participante en qué tipo de trabajo participó.

2. “...¿cómo era un día típico en el trabajo?” es la frase que usa Compass para iniciar información sobre qué habilidades obtuvieron los participantes de sus diversas experiencias laborales. El Participante 1 proporcionó información relacionada con la atmósfera o sucesos externos de un día típico en lugar de las tareas que completaba en un día típico. Compass redirigió la conversación preguntando qué tareas eran responsabilidad de los participantes.

3. Cuando Compass le pidió al Participante 5 que “cuente cómo fue su experiencia”, el participante respondió: “Fue una buena experiencia ser voluntario”, en lugar de entrar en detalle sobre qué tareas implicaba la experiencia.

La capacidad de Compass para inferir hallazgos y redirigir conversaciones a pesar de las malas interpretaciones es una fortaleza notable en este sentido. Sin embargo, dado que solo el 11% de los participantes completó las secciones de experiencias y asignación de habilidades de Compass a tiempo, puede ser prudente refinar las preguntas que se malinterpretan para ahorrar tiempo. La ambición de Compass de ampliar sus ofertas lingüísticas más allá del inglés también es prometedora para mitigar malentendidos.

Confidencialidad. Una consideración relacionada pero ligeramente diferente que vale la pena mencionar es cómo Compass usa la información confidencial imputada erróneamente. A lo largo de cada una de las entrevistas realizadas, Compass no pidió directamente información sensible o confidencial. Sin embargo, hubo ocasiones durante la prueba UX en las que los participantes malinterpretaron o respondieron erróneamente a una de las preguntas de Compass. En el caso del Participante 3, su malentendido de la pregunta “¿Puedes decirme, fue este un trabajo remunerado?” le hizo imputar el salario exacto que ganó en el trabajo, en lugar de afirmar que la posición era remunerada. Esta información no apareció en el CV del participante; por lo tanto, no tuvo impacto en sus resultados para esta versión de Compass. Sin embargo, si la ambición es finalmente desplegar una versión de Compass que use las conversaciones que tiene con jóvenes para sugerir trabajos y sectores adecuados y encontrar posibles empleos, entonces esto podría ser un problema. Compass podría, en ese caso, ofrecer a un participante que imputó erróneamente su salario exacto oportunidades de empleo que paguen dentro de ese mismo rango salarial y, al hacerlo, reducir sus opciones de postulación en comparación con un participante cuyo salario no es conocido por Compass.

Reporte de habilidades. El Participante 5 señaló que “la paciencia y la precisión” eran habilidades requeridas para desempeñar bien uno de los roles que tuvo. A pesar de pedir esta información, Compass omitió estas habilidades en su resumen de habilidades. Cabe señalar que el Participante 5 consideró que estas habilidades no eran tan importantes como las habilidades identificadas por Compass. Por el contrario, el Participante 7 señaló que una gran personalidad y una buena comunicación eran esenciales para trabajar en la empresa en la que trabajó anteriormente. Si bien ninguna de estas fue incluida explícitamente en su resumen de habilidades, “atención al cliente” -una alternativa plausible para nombrar estas características- sí lo fue.

Si incluir o no las habilidades mencionadas explícitamente por el participante no es una respuesta fácil. Para algunos participantes, como el Participante 5, las habilidades resumidas por Compass (que se basan en el marco ESCO: European Skills, Competences, Qualifications and Occupations) parecen resonar bien con sus experiencias. En contraste, en otros casos, como el caso del Participante 4, las características personales y atributos autoasignados serían un valor agregado en un CV. No obstante, si Compass pide explícitamente a los participantes que imputen habilidades que consideran importantes en su rol, parece conveniente que Compass, al menos, encuentre la habilidad ESCO más relacionada para agregar al resumen de habilidades del participante.

Además, cuando se le pidió que proporcionara información sobre su experiencia como cajera en la sección de atribución de experiencia laboral de Compass, la Participante 4 señaló que como cajera “ayudaba a los clientes con pagos electrónicos y en efectivo, escaneaba y empacaba las compras de los clientes, contaba el fondo de caja y cuadraba la caja”. A pesar de estas tareas y habilidades detalladas presentadas por esta participante, Compass no incluyó ninguna de ellas en su resumen de experiencias laborales. Probablemente esto se deba a que no había llegado aún a la parte de Compass que pregunta directamente sobre las tareas y las habilidades adquiridas en un trabajo en particular. Desafortunadamente, la Participante 4 no procedió a la sección de atribución de habilidades de Compass por falta de tiempo. Esto dejó a la Participante 4 frustrada y decepcionada. Idealmente, Compass debería poder identificar la información sobre habilidades dada en la sección de experiencia laboral y añadir de forma preventiva esta información de habilidades al resumen de experiencias laborales de una persona joven, para que no tenga que repetir esta información en la sección de asignación de habilidades.

Reporte de experiencias. Hay varias instancias en las que Compass resume erróneamente las experiencias laborales de los participantes. Por ejemplo, la experiencia en la economía no registrada de la Participante 2 fue duplicada en su resumen de experiencias laborales, y de manera similar, la experiencia como cajera de la Participante 4 fue duplicada erróneamente.

Una de las preguntas iniciales de Compass a la Participante 6 fue: “¿Alguna vez has trabajado para una empresa o el negocio de otra persona por dinero?” La Participante 6 respondió a esta pregunta diciendo: "Sí, actualmente trabajo para una empresa." Compass procedió entonces a recopilar información sobre el nombre y la ubicación de la empresa, así como cuánto tiempo había trabajado allí. Sin embargo, Compass no le preguntó cuál era el título de su puesto. Por lo tanto, en su resumen de experiencias, esta experiencia laboral fue denominada “Trabajar para una empresa”.

En otra instancia, el Participante 5 clasificó erróneamente el empleo asalariado como trabajo por contrato (lo cual no es sorprendente ya que el término trabajo por contrato podría interpretarse fácilmente como trabajo realizado después de firmar un contrato, especialmente si el inglés no es la lengua nativa del participante). Durante el diálogo, Compass rectificó este error e identificó correctamente la experiencia del participante como empleo asalariado en lugar de trabajo por contrato. Sin embargo, Compass incluyó “Trabajo por contrato (Autoempleo)” en el resumen de experiencias laborales del participante a pesar de ello. Finalmente, el Participante 5 trabajó de forma remota como capturador de datos para una organización con sede en el Reino Unido. Cuando Compass resumió esta experiencia, se omitió el hecho de que esta experiencia se realizó de forma remota. Por lo tanto, podría parecer que el participante trabajó en el Reino Unido para un posible empleador.

Experiencias superpuestas. Algunos jóvenes sudafricanos tienen más de un empleo al mismo tiempo para maximizar sus ingresos. A menudo, un trabajo puede ser una oportunidad remunerada realizada para un empleador, mientras que el otro es una microemprendimiento o trabajo independiente que la persona joven realiza por su cuenta. El Participante 1, por ejemplo, tuvo un puesto de voluntariado y uno de trabajo por cuenta propia mientras realizaba un empleo asalariado. La Participante 2 mencionó que normalmente solo incluiría algunos de los elementos de experiencia que divulgó a Compass en su CV. Es útil entender si los empleadores sudafricanos son más o menos propensos a contratar a alguien con un CV que incluya experiencias superpuestas en comparación con alguien que realiza una experiencia a la vez. Si un empleador considerara que las funciones de autoempleo (o de voluntariado) superpuestas pueden crear un conflicto de intereses o un problema de gestión del tiempo, incluso si esto no fuera el caso, esto podría jugar en contra de las perspectivas de empleo de un buscador de empleo. Alternativamente, si un empleador viera el hecho de tener múltiples puestos simultáneamente como una señal de ser trabajador, esto podría favorecer al buscador de empleo. Si a una persona joven se le permite o se le anima a incluir experiencias de jornada completa superpuestas debería depender, en última instancia, del objetivo de la persona joven y de las respuestas esperadas de los empleadores.

Cuellos de botella en la economía no registrada. Compass es más susceptible a producir errores o generar malentendidos cuando solicita experiencias de la economía no registrada en comparación con experiencias de la economía registrada. Por ejemplo, se le pidió a la Participante 2 que diera información específica sobre su experiencia ayudando a otros; ella dijo que era “bien conocida en la comunidad”. Compass, insatisfecho con esta respuesta, volvió a hacer la pregunta de la misma manera. Esto llevó a la participante a señalarlo con el moderador. En última instancia, Compass duplicó erróneamente la experiencia de la economía no registrada proporcionada por la Participante 2 en su CV.

En otra instancia, cuando se le preguntó a la Participante 4 si “alguna vez había ayudado a amigos o familiares sin recibir pago”, ella respondió describiendo una ocasión en la que dio caritativamente dinero a su colega para transporte y comida. Compass no logró identificar que esta actividad no cumplía los requisitos de una actividad de la economía no registrada y procedió a recopilar más información para (erróneamente) incluir esta actividad en el resumen de experiencias de la participante.

La actividad de economía no registrada del Participante 5 fue llevar de compras a sus padres. La estructura de reporte de experiencias de Compass instó al participante a proporcionar una fecha en la que ocurrió esta actividad. Para la economía no registrada, puede ser particularmente difícil restringir actividades esporádicas continuas a una fecha de inicio y una fecha de finalización. De hecho, es plausible que el Participante 5 haya llevado de compras a sus padres en varias ocasiones a pesar de informar solo la fecha más reciente en la que realizó esta actividad. Además, la clasificación por parte de Compass de la actividad auto-reportada del participante de llevar a sus padres de compras como “ayudar a amigos” en su resumen de experiencias laborales parece estar mal definida.

La economía no registrada es conceptualmente desafiante de articular de forma no técnica. Además, asignar una estructura de “ubicación, duración, nombre de la organización” a la economía no registrada puede no funcionar tan fluidamente como en la economía registrada. Por lo tanto, los avisos actuales para la economía no registrada pueden requerir revisión a la luz de los cuellos de botella mencionados anteriormente.

Validez externa. Finalmente, es vital comprender las limitaciones de validez de este ejercicio. Estos resultados se mantienen para los participantes que completaron la prueba UX durante el tiempo en que lo hicieron. Sin embargo, debido al tamaño de muestra relativamente pequeño de participantes que completaron la prueba UX, estos resultados no pueden interpretarse como aplicables a ningún otro grupo.

Conclusión

Tabiya trabajó con Harambee Youth Employment Accelerator para realizar una sesión de prueba UX de Compass con nueve jóvenes sudafricanos que conformaron los participantes de la sesión. Los participantes que completaron la prueba UX tenían demografías diversas. Cada sesión fue gestionada y moderada por un miembro del personal de Harambee. Además de usar Compass en un teléfono inteligente, los participantes respondieron una serie de preguntas para medir cómo se sintieron acerca de su interacción con Compass.

Los comentarios proporcionados por los participantes son abrumadoramente favorables respecto a la facilidad de uso, precisión y relevancia de Compass para identificar sus habilidades y experiencias. Los participantes que usaron Compass, en su mayoría, pudieron hacerlo de forma independiente. Esta retroalimentación positiva es alentadora y sumamente convincente, pero debe equilibrarse con las consideraciones que deben hacerse antes de desplegar Compass.