Afin de vérifier la qualité des annotations, il est primordial d’évaluer l’accord inter-annotateurs. Pour cela, on compare les annotations de multiples annotateurs auxquels on a soumis les mêmes données. Le score le plus communément utilisé pour évaluer l’accord inter-annotateurs est le Kappa de Cohen.