L'évaluation de systèmes de dialogue automatique est très difficile, car il ne s'agit pas d'un problème possédant une unique bonne réponse. Le groupe du docteur Hasida d'ETL (Electrotechnical Laboratories) organise une compétition entre les différents systèmes de dialogue
. Cette épreuve consiste à faire dialoguer des systèmes de dialogue automatique avec des volontaires (participant via Internet) afin de leur faire trouver un chemin à suivre sur un plan de métro dont chacun ne possède qu'une partie. Le critère jugeant les bons dialogues est le nombre de mots utilisés pour parvenir à la solution.
Plus de 700 internautes ont participé à la dernière édition de ce tournoi, en 1997, ce qui a permis d'une part d'obtenir une classification des systèmes de dialogue automatique, et d'autre part de repérer les utilisateurs (humains) capables le mieux de tester les systèmes informatiques.