Evaluación UX

En agosto de 2024, Tabiya evaluó la experiencia de usuario de Compass con buscadores de empleo reclutados por Harambee Youth Employment Accelerator.

Antecedentes y motivación

Tabiya, en asociación con Harambee Youth Employment Accelerator, realizó una serie de pruebas de experiencia de usuario (UX) de tres días diseñadas para responder a las siguientes preguntas:

1. ¿Pueden los participantes iniciar y mantener una conversación natural con Compass?

2. ¿Compass guía eficazmente a los usuarios a través del proceso de identificación de habilidades?

3. ¿Los usuarios consideran relevantes y precisas las habilidades identificadas por Compass?

4. ¿Están los participantes satisfechos con la experiencia general y sienten que tienen una comprensión más clara de sus habilidades?

En el caso de Sudáfrica, los usuarios previstos de Compass son los jóvenes del país, quienes enfrentan tasas elevadas y crecientes de desconexión en el mercado laboral, la educación y la formación. Esto se debe, en parte, a distorsiones en la búsqueda de empleo. Es decir, quienes buscan trabajo pueden tener información incompleta sobre sus habilidades. Esto significa que los buscadores de empleo podrían postular a trabajos con los que son incompatibles o dejar de buscar por completo. Compass está diseñado para mitigar esta distorsión particular de la búsqueda, que forma parte de los impulsores del desempleo, especialmente entre los jóvenes.

Metodología

Se mostró un anuncio para unirse a una sesión de pruebas UX celebrada en las oficinas de Harambee en Ciudad del Cabo a jóvenes sudafricanos (entre 18 y 35 años) suscritos a la plataforma SA Youth Mobi de Harambee. Tras la recepción, 604 fueron considerados más compatibles con los criterios de selección. Este criterio incluye lo siguiente:

1. La persona joven está suscrita a la plataforma SA Youth Mobi

2. La persona joven reside habitualmente a no más de aproximadamente 15 kilómetros de la oficina de Harambee en Ciudad del Cabo

3. La persona joven ha tenido experiencia laboral anteriormente

4. La persona joven está buscando activamente empleo

A partir de este criterio, en la selección final de participantes para la prueba UX se favoreció a mujeres negras y a participantes que tenían evidencia de haber iniciado su propio pequeño negocio.

Antes de que comience la sesión de prueba UX, a cada participante se le entrega un formulario de consentimiento para leer y firmar. Cuando corresponde, se pidió a los participantes que firmaran un formulario de consentimiento para fotografías si se sentían cómodos haciéndolo. A continuación, cada prueba UX constó de cuatro partes. La primera parte consistió en una introducción y en pedir permiso al participante para grabar la sesión. Esta parte de la prueba UX también se utilizó para explicar al participante qué es Compass y cómo funciona.

La segunda parte consistió en el inicio de la prueba UX. Durante esta parte, cada participante interactuó con Compass de la manera más independiente posible hasta que sus experiencias y habilidades fueron resumidas, o hasta que el moderador indicó que debían dejar de interactuar con Compass debido a una limitación de tiempo. La prueba UX implicó que Compass recopilara información de los participantes sobre sus experiencias laborales, incluyendo trabajo remunerado y no remunerado en establecimientos o en entornos no establecidos. Esto se denomina sección de experiencia laboral a lo largo de este informe. A continuación, Compass produjo un resumen de experiencias que enumeraba cronológicamente las experiencias, ubicaciones y duraciones de los participantes. Después, Compass recopiló información sobre qué habilidades habían obtenido los participantes de cada experiencia laboral mediante un diálogo interactivo. Hasta cinco habilidades por experiencia se enumeraron posteriormente al final del diálogo. Esto se denomina sección de asignación de habilidades a lo largo de este informe.

Durante la tercera parte de la sesión, el moderador hizo al participante una serie de preguntas de retroalimentación posteriores a la prueba. Finalmente, el moderador cerró la sesión informando a cada participante del plazo en el que recibirían su incentivo monetario (de R450) por participar en la prueba UX. El cierre también se utilizó para preguntar a los participantes si se sentían cómodos con ser incluidos en un grupo de WhatsApp de Harambee para un panel de expertos que periódicamente es invitado a participar en sesiones de Harambee dirigidas a su base de datos juvenil. Las cuatro partes estaban proyectadas para tomar 45 minutos pero podían durar hasta una hora. Además de los R450, a cada participante se le entregó un paquete de refrigerios antes de cada prueba UX. Esto se hace para asegurar que los participantes tuvieran comida antes de comenzar sus pruebas UX. La guía de discusión completa para cada prueba UX se puede encontrar aquí.

Compass fue diseñado para extraer información de sus usuarios de forma conversacional. Como tal, Compass funciona de manera similar a una aplicación de mensajería. Compass pregunta textualmente a sus usuarios por información relacionada con sus experiencias y permite a los usuarios responder antes de concluir o indagar más información. Dado que este ejercicio funciona de manera similar a una interacción en la que alguien se comunicaría mediante mensajes de texto en su smartphone, la prueba UX se realizó en un teléfono celular. Para mayor accesibilidad y facilidad de uso, el teléfono elegido fue el Samsung Galaxy A23 porque es el smartphone más utilizado entre los jóvenes en la base de datos de Harambee.

Resultados

1. Demografía

Se seleccionó un grupo de 11 jóvenes suscritos a SA Youth para probar la funcionalidad de Compass. Tres de estos participantes probaron Compass el 27 de agosto. Dos fueron hombres y una fue mujer. Cuatro estaban programados para completar las pruebas el 28, pero hubo una tasa de abandono del 50% ese día. Se presentaron un hombre y una mujer; los dos ausentes eran hombres. El 29 de agosto fue el último día de pruebas. Cuatro participantes, tres mujeres y un hombre, probaron Compass. Por lo tanto, el 82% (9 personas) de la cohorte elegida de 11 personas participó en las pruebas UX. El 44% de los participantes de las pruebas UX eran hombres y el 66% mujeres.

1. Duración

De los nueve jóvenes que probaron Compass, surgieron dos grupos. El Grupo 1 comprendió tres participantes que recibieron un resumen de experiencia laboral pero no un resumen de habilidades. El Grupo 2 incluyó a seis participantes que recibieron tanto el resumen de experiencia laboral como el de habilidades. El Grupo 1 tardó un promedio de 32 minutos en completar toda la sesión de prueba UX. El Grupo 2 tardó un promedio de 32 minutos y 30 segundos en completar. Los resúmenes de cada sesión de prueba UX, incluidos los detalles sobre los tiempos de cada sesión, se pueden encontrar aquí.

La experiencia completa de Compass se completó sin interrupciones solo una vez. Esto lo hizo el Participante 9, que solo poseía una experiencia y, por lo tanto, un conjunto de habilidades. Por lo tanto, el tiempo proyectado inicialmente de 45 minutos para completar toda la sesión de prueba UX fue una subestimación. En cambio, todos los participantes terminaron dentro de los 45 minutos solo porque el moderador de las sesiones de participantes instruyó prematuramente a los participantes para que finalizaran sus interacciones con Compass. Dado que los participantes fueron remunerados por su tiempo, no hacer esto habría violado las leyes laborales.

1. Retroalimentación de los participantes

Los participantes respondieron de manera extremadamente favorable a Compass. El 88,9% de los participantes informó que encontró que Compass era fácil de usar y comprender sus respuestas. Esta retroalimentación sugiere que Compass permitió iniciar y mantener una conversación natural entre este grupo de evaluadores UX. De hecho, los participantes quedaron particularmente impresionados con el hecho de que podían conversar con Compass “como si fuera un humano”. Esto ayudó a su capacidad para completar de forma independiente sus recorridos de obtención de experiencia laboral y habilidades. El 77,8% de los participantes consideró que Compass identificó habilidades precisas y relevantes sin omitir habilidades irrelevantes. El 88,9% de los participantes dijo que Compass les ayudó a obtener una mejor comprensión de sus experiencias y habilidades, especialmente por lo claro que las presentó en sus resúmenes.

Todos los participantes acogieron con agrado la perspectiva de que Compass sugiriera empleos y sectores a los que postularse, dadas sus experiencias. Los comentarios adicionales incluyeron incluir rasgos y características personales como parte de los resúmenes de habilidades de Compass e incluir las calificaciones en el CV de Compass. El 100% de los participantes que completaron la prueba UX dijo que recomendaría Compass a otros buscadores de empleo. Todo esto junto constituye una evidencia sólida a favor de la hipótesis de que los participantes están satisfechos con su experiencia general usando Compass.

1. Observaciones positivas

Predictibilidad. Con el tiempo, los participantes comenzaron a anticipar el flujo de preguntas que Compass hacía para cada experiencia. Esto generó respuestas más rápidas, ya que los participantes podían combinar respuestas a dos preguntas separadas que finalmente sabían que Compass haría (por ejemplo, qué fue la experiencia y dónde fue) sin que se les solicitara hacerlo.

Persistencia. La persistencia de Compass, particularmente en la economía no registrada, es una fortaleza. Compass hace a los participantes una serie de preguntas principales para caracterizar inicialmente su experiencia en la economía registrada o no registrada. Después de que un participante introduce una experiencia, Compass repite la pregunta que se ha respondido antes de pasar a la siguiente categoría de experiencia laboral. Esta repetición de preguntas permite a los participantes anotar todas sus experiencias laborales (y, a su vez, sus habilidades asociadas), tanto en la economía registrada como en la no registrada, lo cual es particularmente importante para la economía no registrada.

Agilidad. A lo largo de los recorridos de los participantes, Compass pudo redirigir eficazmente la conversación de nuevo al tema cuando los participantes entendían mal las preguntas. De manera similar, Compass pudo navegar la mayoría de los errores gramaticales y ortográficos, de los cuales cada participante cometió al menos uno. El único error ortográfico que Compass no rectificó automáticamente fue “Checkers”, que fue escrito erróneamente como “Checker” por el Participante 4. Este error ortográfico persistió hasta que se presentó el resumen de la experiencia al usuario. No obstante, los participantes tienen varias oportunidades para corregir errores ortográficos durante sus recorridos con Compass.

Otro ejemplo de la agilidad de Compass ocurre en el caso del Participante 6, que clasificó erróneamente un rol de voluntariado como un rol remunerado. Cuando la participante respondió a una pregunta que preguntaba si había trabajado para una empresa o negocio por dinero, Compass identificó palabras clave, incluyendo “volunteer” (voluntario), en su respuesta y luego procedió a indagar si la experiencia introducida era realmente remunerada o no remunerada. Tras descubrir que era una posición no remunerada, Compass pudo clasificarla con precisión como tal y listarla correctamente en el resumen de experiencia laboral del Participante 6.

1. Consideraciones

Malentendidos. Aunque Compass ha producido resultados objetivamente buenos en esta cohorte, sería un error omitir elementos a considerar al desplegarlo a audiencias más amplias. La primera consideración es el efecto de la barrera del idioma. Compass requiere una competencia moderada en inglés. Para el caso de los jóvenes sudafricanos, es probable que el inglés no sea la primera lengua promedio de los posibles usuarios de Compass.

Cada participante en la sesión de pruebas UX Tabiya-Harambee poseía un nivel de competencia promedio lo suficientemente alto como para superar la prueba UX y el cuestionario posterior. Sin embargo, hubo momentos, como en la prueba UX del Participante 4, en los que el moderador y el participante conversaron en la lengua nativa del participante cuando este hizo preguntas o cuando el moderador explicó qué es Compass. Además, quedó claro que Compass planteó algunas preguntas que causaron cierta confusión, malentendidos o vacilación entre los participantes. Algunos ejemplos incluyen:

1. “¿Puedes contarme sobre la primera experiencia que tuviste trabajando por cuenta propia?” A esta pregunta, el Participante 1 describió la independencia y la satisfacción que obtuvo de esa experiencia en lugar de describir la experiencia en sí. Compass redirigió la conversación preguntando al participante en qué tipo de trabajo participó.

2. “...cómo era un día típico en el trabajo” es la frase que usa Compass para iniciar la información sobre qué habilidades obtuvieron los participantes de sus diversas experiencias laborales. El Participante 1 proporcionó información relacionada con el ambiente o los acontecimientos externos de un día típico en lugar de las tareas que completaba en un día típico. Compass redirigió la conversación preguntando qué tareas eran responsabilidad de los participantes.

3. Cuando Compass le pidió al Participante 5 que “cuente cómo fue su experiencia”, el participante respondió: “Fue una buena experiencia hacer voluntariado”, en lugar de detallar las tareas que implicó la experiencia.

La capacidad de Compass para inferir hallazgos y redirigir conversaciones a pesar de las malas interpretaciones es una fortaleza notable en este sentido. Sin embargo, dado que solo el 11% de los participantes completó las secciones de experiencias y asignación de habilidades de Compass a tiempo, podría ser prudente refinar las preguntas que generan malentendidos para ahorrar tiempo. La ambición de Compass de ampliar sus ofertas de idiomas más allá del inglés también es favorable para mitigar malentendidos.

Confidencialidad. Una consideración relacionada pero ligeramente diferente que vale la pena mencionar es cómo Compass utiliza la información confidencial introducida erróneamente. A lo largo de las entrevistas realizadas, Compass no pidió directamente información sensible o confidencial. Sin embargo, hubo ocasiones durante la prueba UX en las que los participantes interpretaron mal o respondieron erróneamente a una de las preguntas de Compass. En el caso del Participante 3, su malinterpretación de la pregunta “¿Puedes decirme, este fue un trabajo remunerado?” le hizo introducir el salario exacto que ganó en el trabajo, en lugar de afirmar que la posición era remunerada. Esta información no apareció en el CV del participante; por lo tanto, no tuvo impacto en sus resultados para esta versión de Compass. Sin embargo, si la ambición es finalmente desplegar una versión de Compass que utilice las conversaciones que tiene con los jóvenes para sugerir empleos y sectores adecuados para encontrar ofertas de trabajo potenciales, entonces esto podría ser un problema. En ese caso, Compass podría proporcionar a un participante que haya introducido erróneamente su salario exacto oportunidades de trabajo que paguen dentro de ese mismo rango salarial y, al hacerlo, limitar sus opciones de postulación en comparación con un participante cuyo retribución no sea conocida por Compass.

Reporte de habilidades. El Participante 5 señaló que “la paciencia y la precisión” eran habilidades necesarias para desempeñar bien uno de los roles que tuvo. A pesar de pedir esta información, Compass omitió estas habilidades de su resumen de habilidades. Cabe señalar que el Participante 5 consideró que estas habilidades no eran tan importantes como las habilidades destacadas por Compass. Por el contrario, el Participante 7 señaló que una gran personalidad y buena comunicación eran esenciales para trabajar en la empresa en la que trabajó anteriormente. Aunque ninguna de estas características se incluyó explícitamente en su resumen de habilidades, “atención al cliente” —una alternativa plausible para nombrar estas características— sí lo fue.

Decidir si incluir o no las habilidades mencionadas explícitamente por el participante no es una respuesta sencilla. Para algunos participantes, como el Participante 5, las habilidades resumidas por Compass (que se basan en el marco ESCO: Skills, Competences, Qualifications and Occupations de Europa) parecen resonar bien con sus experiencias. En contraste, en otros casos, como el del Participante 4, las características y atributos personales autodeclarados serían un valor añadido en un CV. No obstante, si Compass pide explícitamente a los participantes que introduzcan habilidades que consideran importantes en su rol, parece conveniente que Compass, como mínimo, busque la habilidad ESCO más cercana para añadirla al resumen de habilidades del participante.

Además, cuando se le pidió que proporcionara información sobre su experiencia como cajera en la sección de atribución de experiencia laboral de Compass, la Participante 4 señaló que como cajera estaba “ayudando a los clientes con pagos electrónicos y en efectivo, escaneando y empacando las compras de los clientes, contando la caja y cuadrando el efectivo”. A pesar de estas tareas y habilidades detalladas mencionadas por esta participante, Compass no incluyó ninguna de ellas en su resumen de experiencias laborales. Esto probablemente se deba a que aún no había llegado a la parte de Compass que pregunta directamente sobre las tareas y las habilidades adquiridas en un trabajo en particular. Desafortunadamente, la Participante 4 no continuó hasta la sección de asignación de habilidades de Compass debido a la falta de tiempo. Esto dejó a la Participante 4 frustrada y decepcionada. Idealmente, Compass debería poder identificar la información de habilidades dada en la sección de experiencia laboral y añadir preventivamente esta información de habilidades al resumen de experiencias laborales de una persona joven, para que no tengan que repetir esta información en la sección de asignación de habilidades.

Reporte de experiencias. Hay varias instancias en las que Compass resume erróneamente las experiencias laborales de los participantes. Por ejemplo, la experiencia en la economía no registrada de la Participante 2 se duplicó en su resumen de experiencias laborales y, de manera similar, la experiencia de cajera de la Participante 4 se duplicó erróneamente.

Una de las preguntas iniciales de Compass al Participante 6 fue: “¿Alguna vez has trabajado para una empresa o el negocio de otra persona por dinero?” El Participante 6 respondió a esta pregunta diciendo: "Sí, actualmente trabajo para una empresa." Compass procedió entonces a recopilar información sobre el nombre y la ubicación de la empresa así como cuánto tiempo había trabajado allí. Sin embargo, Compass no le preguntó cuál era el título de su puesto. Por lo tanto, en su resumen de experiencias, esta experiencia laboral fue denominada “Trabajar para una empresa”.

En otra instancia, el Participante 5 clasificó erróneamente el empleo asalariado como trabajo por contrato (lo cual no es sorprendente, ya que el término trabajo por contrato podría interpretarse fácilmente como trabajo realizado tras firmar un contrato, especialmente si el inglés no es la lengua nativa del participante). Durante el diálogo, Compass rectificó este error e identificó correctamente la experiencia del participante como empleo asalariado en lugar de trabajo por contrato. Sin embargo, Compass incluyó “Trabajo por contrato (Trabajo por cuenta propia)” en el resumen de experiencias laborales del participante a pesar de ello. Finalmente, el Participante 5 trabajó de forma remota como capturista de datos para una organización con sede en el Reino Unido. Cuando Compass resumió esta experiencia, se omitió el hecho de que esta experiencia se realizó de forma remota. Por lo tanto, podría parecer que el participante trabajó en el Reino Unido para un posible empleador.

Experiencias superpuestas. Algunos jóvenes sudafricanos tienen más de un trabajo al mismo tiempo para maximizar sus ingresos. A menudo, un trabajo puede ser una oportunidad remunerada desempeñada por un empleador, mientras que el otro es una microempresa o un papel freelance que la persona joven realiza de forma independiente. El Participante 1, por ejemplo, tuvo un puesto de voluntariado y un puesto de trabajo por cuenta propia mientras realizaba un empleo asalariado. La Participante 2 mencionó que normalmente solo incluiría algunos de los ítems de experiencia que le reveló a Compass en su CV. Es útil entender si los empleadores sudafricanos tienen más o menos probabilidades de contratar a alguien con un CV que incluye experiencias superpuestas en comparación con alguien que realiza una experiencia a la vez. Si un empleador considerara que tener trabajos por cuenta propia superpuestos (o roles de voluntariado) puede crear un conflicto de intereses o un problema de gestión del tiempo, incluso si esto no fuera el caso, esto podría perjudicar las perspectivas de empleo de un buscador de trabajo. Alternativamente, si un empleador considerara que mantener múltiples puestos simultáneamente es una señal de diligencia laboral, esto podría favorecer a un buscador de empleo. Si una persona joven puede o debe listar experiencias superpuestas a tiempo completo debería depender, en última instancia, del objetivo de la persona joven y de las respuestas esperadas por parte de los empleadores.

Cuellos de botella en la economía no registrada. Compass es más susceptible a producir errores o generar malentendidos cuando pide experiencias de la economía no registrada en comparación con las experiencias de la economía registrada. Por ejemplo, se le pidió a la Participante 2 que diera información específica sobre su experiencia ayudando a otros; ella dijo que era “bien conocida en la comunidad”. Compass, insatisfecho con esta respuesta, volvió a hacer la pregunta de la misma manera. Esto llevó a que la participante señalara esto al moderador. En última instancia, Compass duplicó erróneamente la experiencia en la economía no registrada proporcionada por la Participante 2 en su CV.

En otro caso, cuando a la Participante 4 se le preguntó si “alguna vez había ayudado a amigos o familiares sin recibir pago”, ella respondió describiendo una ocasión en la que dio a un colega dinero para transporte y comida por caridad. Compass no identificó que esta actividad no cumplía con los requisitos de una actividad de la economía no registrada y procedió a recopilar más información para (erróneamente) listar esta actividad en el resumen de experiencias de la participante.

La actividad en la economía no registrada del Participante 5 fue llevar a sus padres de compras. La estructura de reporte de experiencias de Compass instó al participante a proporcionar una fecha en la que ocurrió esta actividad. Para la economía no registrada, puede ser particularmente difícil ceñir actividades esporádicas y continuas a una fecha de inicio y una fecha de fin. De hecho, es plausible que el Participante 5 llevase a sus padres de compras en varias ocasiones a pesar de reportar solo la fecha más reciente en que realizó esta actividad. Además, la clasificación por parte de Compass de la actividad auto-reportada del participante de llevar a sus padres de compras como “ayudar a amigos” en su resumen de experiencia laboral parece mal definida.

La economía no registrada es conceptualmente difícil de articular de manera no técnica. Además, asignar una estructura de “ubicación, duración, nombre de la organización” a la economía no registrada puede no funcionar tan perfectamente como en la economía registrada. Por lo tanto, los avisos actuales para la economía no registrada pueden requerir revisión a la luz de los cuellos de botella mencionados anteriormente.

Validez externa. Por último, es vital entender las limitaciones de validez de este ejercicio. Estos resultados se aplican a los participantes que completaron la prueba UX durante el tiempo en que lo hicieron. Sin embargo, debido al tamaño de muestra relativamente pequeño de participantes que completaron la prueba UX, estos resultados no pueden interpretarse como aplicables a ningún otro grupo.

Conclusión

Tabiya trabajó con Harambee Youth Employment Accelerator para desplegar una sesión de pruebas UX de Compass a nueve jóvenes sudafricanos que conformaron los participantes de la sesión. Los participantes que completaron la prueba UX tenían demografías diversas. Cada sesión fue gestionada y moderada por un miembro del personal de Harambee. Además de usar Compass en un smartphone, los participantes respondieron una serie de preguntas para evaluar cómo se sintieron respecto a su interacción con Compass.

La retroalimentación proporcionada por los participantes es abrumadoramente favorable respecto a la facilidad de uso, la precisión y la relevancia de Compass para identificar sus habilidades y experiencias. Los participantes que usaron Compass en gran medida pudieron hacerlo de forma independiente. Esta retroalimentación positiva es alentadora y extremadamente convincente, pero debe equilibrarse con las consideraciones que deben tenerse en cuenta antes de desplegar Compass.