Comment évaluer la qualité des annotations ?

Afin de vérifier la qualité des annotations, il est primordial d’évaluer l’accord inter-annotateurs. Pour cela, on compare les annotations de multiples annotateurs auxquels on a soumis les mêmes données. Le score le plus communément utilisé pour évaluer l’accord inter-annotateurs est le Kappa de Cohen.

Comment aborder la rédaction d’un guide d’annotation ?

Toute entreprise d’annotation doit s’accompagner de la rédaction d’un guide d’annotation détaillant les décisions prises concernant l’annotation du corpus, les objets linguistiques devant être identifiés par les annotateurs, les catégories pouvant leur être assignées, etc. Pour écrire un guide d’annotation, il peut être utile de consulter d’autres guides rédigés dans les règles de l’art. C’est … Lire plus

Quels outils sont disponibles pour réaliser des annotations sur mon corpus ?

De nombreux outils dédiés à l’annotation de corpus sont répertoriés dans l’inventaire des outils ; pour en obtenir la liste complète, vous pouvez filtrer les outils par type (Type=Annotation). Certains de ces outils ont été présentés lors de formations proposées par le CORLI, notamment :  ELAN, un logiciel de création d’annotations complexes sur les ressources … Lire plus

Quelles sont les grandes étapes d’une campagne d’annotation ?

Vous souhaitez réaliser des annotations dans un corpus, voici les grandes étapes qu’il vous faudra suivre : vérifier que votre corpus soit proposé dans un format éditable, ouvert et non propriétaire comme par ex. un format .txt, .xml ou .json. Les documents au format .doc, .pdf, .docx, etc. doivent être préparés pour pouvoir être annoter … Lire plus

Que signifie annoter un corpus ?

Annoter un corpus, c’est ajouter une ou plusieurs couches d’interprétation linguistique aux données brutes. Les annotations ajoutées peuvent être de natures très diverses : il peut s’agir de catégories morpho-syntaxiques, d’annotations sémantiques ou discursives, mais également, dans le cas de corpus oraux ou multi-modaux, d’informations sur la prosodie, les gestes, etc. Les annotations sont réalisées … Lire plus