Introducción: En muchas oportunidades, se requiere establecer el grado de acuerdo entre dos o más observadores, ya sea como un fin en sí mismo o como paso intermedio en una investigación. En este tipo de estudios, la elección del diseño adecuado es crucial, ya que influye en la aplicabilidad y generalización de los métodos. Objetivos: En este artículo presentaremos -a propósito de un caso real de un trabajo que todavía está en curso- la metodología para estimar el grado de acuerdo entre dos o más observadores respecto de una variable categórica. Materiales y métodos: Para la definición de los coeficientes utilizados se realizó una búsqueda bibliográfica en Pubmed y en Google Scholar. Resultados: Se propone el uso del kappa de Fleiss ponderado y el AC2 de Gwet como métricas de acuerdo para este problema. El AC2 es un coeficiente nuevo que permite superar algunas de las limitaciones relacionadas con el kappa, en particular las paradojas descritas por Feinstein y Cichetti. Conclusión: En este artículo presentamos el diseño de un estudio para evaluar el grado de acuerdo interobservador y describimos en forma detallada la metodología, incluyendo las características de las jueces, de los sujetos y las categorías a evaluar, la elección del coeficiente de acuerdo y su interpretación y el cálculo de los intervalos de confianza.