Les ressources d'ATR

Les laboratoires d'ATR ont développé deux types de ressources pour l'utilisation en recherche sur le traitement automatique du langage. Il est à noter que ces ressources sont en anglais.

• Regroupement hiérarchique de mots Partant d'une base de données en anglais (des archives du Wall Street Journal), les chercheurs d'ATR ont créé une classification des 70.000 mots les plus employés au sein de classes ordonnées hiérarchiquement. Ils ont obtenu un arbre binaire, où les 70.000 feuilles finales représentent ces 70.000 mots, et où chaque n ud représente une classe. L'arbre a été construit automatiquement, principalement en regroupant les classes qui sont le plus souvent utilisées dans des situations similaires, de manière itérative. L'algorithme utilise en particulier la notion d'information mutuelle, définie par:

  

  Cet arbre binaire, où chaque classe peut être représentée sous forme de bits, constitue une organisation sémantique utilisable pour diverses applications.

• ATR/Lancaster Treebank Ce corpus est constitué de 730.000 mots, organisés en 950 documents ayant des longueurs comprises entre 30 et 950 mots. Un degré maximum de variation a été voulu dans les longueurs des textes, leurs sujets ou leurs auteurs. Ces textes sont tous annotés avec le système d'annotation utilisé par ATR. Les phrases sont décomposées selon la grammaire anglaise d'ATR, qui est une ``feature-based context-free phrase-structure grammar''. Elle contient 67 caractéristiques et 1100 règles.