Al mantener una conversación con un chatbot, se sabe que incluso los sistemas de vanguardia de hoy en día no son exactamente elocuentes, ya que regularmente emiten respuestas sin sentido o dolorosamente genéricas.
Ahora, sin embargo, Google ha creado Meena, un chatbot que dice que es mejor que cualquier otro que haya probado, una afirmación que la compañía respalda usando una nueva métrica que desarrolló específicamente para medir las habilidades de conversación de una IA.
Después de crear Meena, Google necesitaba una forma de evaluar el chatbot. Con ese fin, desarrolló algo que llama el promedio de sensibilidad y especificidad (SSA).
Para calcular esta métrica, Google solicitó a los trabajadores humanos que realicen alrededor de 100 conversaciones de forma libre con Meena y varios otros chatbots de dominio abierto. Cada vez que el chatbot respondía, el trabajador tenía que responder algunas preguntas sobre la respuesta.
Google determinó que un humano promedio alcanzaría un puntaje SSA de 86 por ciento.
Los otros chatbots en el estudio del equipo obtuvieron entre 31 y 56 por ciento. Meena, sin embargo, obtuvo un 79 por ciento, acercando la IA al nivel de conversación esperado de un humano que otro chatbot.
Fuente: https://futurism.com/the-byte/google-chatbot-near-human-conversation