Evaluación del Roleplay

La evaluación del desempeño del alumno en un roleplay de Tauniqo se fundamenta de manera exclusiva en lo que el alumno expresa verbalmente. Cada intervención hablada del alumno es transcrita por la plataforma para su posterior análisis. Es crucial comprender que el sistema de evaluación se limita a los elementos cuantificables y objetivos del discurso del alumno.

Limitaciones de la Evaluación: Aspectos subjetivos del alumno, tales como gestos, emociones o pensamientos, no pueden ser evaluados por el sistema. Esto significa que, al establecer los criterios de evaluación, solo se deben considerar aquellos que se manifiestan explícitamente a través del lenguaje hablado del alumno. Por ejemplo, no es posible evaluar si el alumno está "aburrido" o si ha "gesticulado con las manos".

Categorías y Criterios de Evaluación

La Inteligencia Artificial (IA) de Tauniqo, a través de su asistente copiloto, propone inicialmente una serie de criterios de evaluación, los cuales se agrupan en categorías temáticas.

• Los criterios son acciones o comportamientos específicos que se espera que el alumno realice durante la conversación. Por ejemplo, en el contexto de una llamada comercial, los criterios podrían incluir: "se debe presentar", "debe decir el nombre de la empresa de donde llama", "debe ser amable", "debe ser empático" o "debe hacer preguntas cerradas al cliente".

• Las categorías son los grupos o "cajas grandes" en los que se clasifican los criterios. Por ejemplo, "Introducción y presentación" o "Empatía" son categorías que agrupan criterios relacionados con esos temas. La IA puede asistir en la co-creación de la evaluación, proponiendo estas categorías y criterios, lo que representa un ahorro significativo de tiempo. Se busca que el copiloto de Tauniqo ofrezca propuestas de calidad similar a las de herramientas como ChatGPT para la creación de evaluaciones.

Aunque la IA sugiere una propuesta inicial de criterios y categorías, se recomienda encarecidamente ampliar estos criterios (idealmente entre 15 y 25). Esto se debe a que un mayor número de criterios permite una evaluación más detallada, discriminatoria y un informe de feedback más completo y preciso para el alumno. Un informe con pocos criterios (por ejemplo, cuatro) resultaría muy limitado y la mayoría de los alumnos podrían obtener una nota alta sin que esta refleje una distinción real en su desempeño.

Dificultad y Puntuación

Para que la puntuación obtenida por el alumno refleje de manera justa la dificultad del avatar con el que interactuó, se aconseja separar los roleplays por niveles de dificultad. Esto implica crear roleplays distintos para cada nivel (fácil, medio, difícil) en lugar de simplemente variantes dentro de un mismo roleplay, especialmente si se busca una comparación precisa de resultados o una evaluación equitativa.

Cada roleplay con un nivel de dificultad diferente debería tener su propia evaluación y criterios específicos. Esto garantiza que una puntuación de "8" obtenida con un personaje fácil no se equipare directamente con un "8" logrado con un personaje difícil, proporcionando así información más útil sobre el desempeño de los alumnos a los responsables. Un ejemplo de esto fue un cliente que separó roleplays de ventas en tres cursos diferentes para matricular a becarios, intermedios y veteranos según su nivel de experiencia, adaptando la práctica a sus habilidades.

La puntuación se basa en el cumplimiento de los criterios definidos. Si bien la plataforma no modula automáticamente la puntuación por la dificultad del avatar, un personaje más "puñetero" o desafiante exigirá mayores habilidades al alumno para cumplir los criterios, lo que naturalmente impactará su puntuación final. Para que la valoración sea "justa" y el departamento de Recursos Humanos o Learning & Development reciba una información precisa, se requiere la separación de roleplays y evaluaciones por nivel de dificultad.

Además de la puntuación, las actividades prácticas (identificadas con una etiqueta verde, como los quizzes y roleplays) contribuyen a una nota. Es posible configurar bloqueos de sesión basados en la calificación, exigiendo que el alumno obtenga una nota mínima (por ejemplo, un 80%) en las actividades prácticas de una sesión para poder avanzar a la siguiente. Si una sesión contiene múltiples actividades prácticas, la plataforma calculará la media de las puntuaciones obtenidas en ellas.

Visibilidad y Modificación de Resultados

Las calificaciones obtenidas en los roleplays son accesibles para usuarios con permisos superiores, como managers, trainers y administradores. Estos resultados se registran en el panel de analíticas, donde pueden consultarse a nivel de grupo o individual. Ciertos clientes utilizan estas analíticas y resultados para presentarlos a directivos o para cumplir con requisitos de bonificación (como Fundae), quienes requieren ver todas las estadísticas de las formaciones. Aunque la decisión de compartir estos resultados con Recursos Humanos u otras partes interesadas es interna de cada empresa, la plataforma facilita su acceso a quienes tienen los permisos adecuados.

Es de suma importancia tener en cuenta que, una vez publicada, la evaluación de un roleplay no debería modificarse, ya que podría alterar las estadísticas de los alumnos que ya la hayan completado. Las modificaciones en evaluaciones prácticas, especialmente después de que los alumnos las hayan realizado, pueden afectar la integridad de los datos.

Criterios IECE

Hemos incorporado las métricas de comunicación IECE en los análisis de los roleplays de training para facilitar una evaluación más rigurosa y estandarizada. Se puede activar desde la edición de una evaluación, en la parte de configuración.