Maria Mercedes Corral Strassmann – Mayo 18 de 2020
Un método de análisis de contenido es apropiado en particular cuando se están estudiando las comunicaciones masivas, el análisis de mensajes. Así mismo es fundamental en investigación, y principalmente en comunicación, donde los investigadores son muy rigurosos en el uso de este método. Si “el código no es confiable no se puede confiar en el análisis” Singletary, 1993, p. 294).
Análisis de contenido y la importancia del inter-codificador confiable:
Los codificadores, se basan e análisis de correlación, índices, entre otros, lo más importante es el acuerdo a que llegan y este es necesario puesto que el punto de medición, se toma cuando se tiene el acuerdo y adicionalmente se asignan las mismas mediciones a cada objeto. Si no se logra establecer es posible que la interpretación de los datos no sea válida.
Medición de la confiabilidad del inter-codificador:
La confiabilidad del inter-codificador se evalúa haciendo que dos o más codificadores categoricen las unidades (programas, escenas, artículos, historias, palabras, etc.), y luego usan estas categorizaciones para calcular un índice numérico del alcance del acuerdo
entre los codificadores. Existen variaciones de como este proceso se puede realizar, pero mínimo el investigador debe crear un conjunto de unidades para poder probar la fiabilidad.
Con los datos de codificación en mano, el investigador calcula e informa uno o más índices de fiabilidad
Acuerdo del porcentaje:
Este es el porcentaje de las decisiones realizadas por pares de codificadores en las cuáles están de acuerdo.
Método de Holsti
Holsti en (1969) propone una variación en el acuerdo del índice del porcentaje, con dos codificadores evaluando las mismas unidades para una prueba de confiabilidad, es igual al definido, sin embargo, cambia en situaciones en las que los codificadores evalúan diferentes unidades. El resultado a menudo se calcula no para una variable única, pero a través de un conjunto de variables, esperando que las variables sean confiables.
Pi (TT) de Scott
Un índice que explica el acuerdo es el Pi de Scott (1955)., difiere del porcentaje de acuerdo con el método de Holsti, este índice tiene en cuenta el número de categorías, así como la distribución de valores entre ellas, se basa en estos valores en lugar del resultado del acuerdo entre los codificadores.
Kappa de Cohen (k)
El índice kappa de Cohen (1960,1968) también representa un acuerdo casual, usando la misma fórmula conceptual que la Pi de Scott. la posibilidad en este caso se calcula en base a los “marginales multiplicativos”, en lugar de los aditivos, lo que genera el efecto de contar las diferencias en la distribución de valores a través de las categorías para diferentes codificadores.
Alpha de Krippendorf (a): (1980)
Este permite cualquier número de codificadores y está explícitamente diseñado para ser utilizado para variables a diferentes niveles de medición desde nominal hasta una razón. El mayor inconveniente de su el uso ha sido la complejidad y la dificultad resultante de los cálculos “a mano”,
especialmente para intervalos y variables de nivel de razón.
Determinando un nivel aceptable de confiabilidad:
Adicionalmente a escoger el índice de confiabilidad apropiado, del inter-codificador, otra dificultad es determinar qué se constituye como un nivel aceptable de fiabilidad, tampoco se tienen estándares establecidos para esto.
Existen algunas herramientas para calcular la fiabilidad del inter-codificador, no cuentan con muchas herramientas para esta tarea y normalmente tienen que hacer los cálculos manualmente. Agunas personas han desarrollado algunas macros que pueden ser usadas para automatizar los cálculos. Otros han desarrollado software localmente, pero no se tiene una disponibilidad completa de estas y tampoco son sencillas de usar.
Fiabilidad del inter-codificador en reportes recientes de investigación en comunicación. -Una estudio:
Pregunta de investigación,
¿Qué tan adecuada y consistente es actualmente la fiabilidad del inte-rcodificador evaluada e informada en investigación en comunicación masiva?
Método:
Para responder a la pregunta de investigación, se realizó un análisis de contenido de informes de investigación en comunicación en los que el análisis de contenido fue el principal método de investigación.
Muestra,
Se tomaron todos los artículos indexados en “Communication Abstracts” para el año 1994-1998, y para esto una de las palabras claves fue,” análisis de contenido”, Communication Abstracts es un índice de las publicaciones en literatura de Comunicación sobre 75 revistas. Finalmente se tuvo una muestra de 200 artículos y se codificaron las 22 variables definidas, donde se tienen entre otras, método de estudio, medio de análisis, tipo de contenido, numero de codificadores, fiabilidad discutida, método de fiabilidad. Los autores probaron una versión inicial del instrumento, se utilizaron como métodos Acuerdo de porcentaje, Pi de Scott, Kappa de Cohen, Alpha de Krippendorf, la segunda versión bta de prueba fue con el software PRAM (Program for Reliability Assessment with Multiple-coders, Skymeg Software, 2002).
Resultados:
Los resultados para cada variable se presentan se ven en detalle en la Tabla 2 (12-13), . Solamente el 69% de los informes de investigación (n = 137) contenían cualquier informe de fiabilidad entre codificadores. De ese subconjunto, el número medio de oraciones en el texto y las notas al pie que se dedicaron a la discusión y al informe de fiabilidad fue 4.5 (SD = 4), solo el 6% de estos artículos incluía una tabla que contenía resultados de confiabilidad, y menos de la mitad (45%) de los artículos incluyeron una cita relacionada con fiabilidad del inter-codificador, el nivel de fiabilidad más bajo fue de 0.40, y el mínimo aceptable era de .075 (SD=0.26).
Conclusión:
El análisis de contenido ha demostrado que aun se tienen problemas en la evaluación y reporte de la fiabilidad de los inter-codificadores, por lo tanto, basado en la revisión de literatura y en los resultados de este estudio, las siguientes normas y directrices se proponen para este proceso:
- Calcular y reportar la fiabilidad del inter-codificador
- Seleccionar índices apropiados
- Tener herramientas que permitan realizar los cálculos.
- Seleccionar los mínimos niveles de fiabilidad aceptables.
- Evaluar informalmente durante el entrenamiento.
- Evaluar formalmente en un piloto de prueba.
- Evaluar formalmente con la codificación de una muestra completa.
- Seleccionar y seguir un procedimiento apropiado para incorporar la codificación de la muestra de confiabilidad en la codificación de la muestra completa.
- No se deben hacer ninguna de las siguientes: usar solo porcentajes para el cálculo, usar sobreposicion e la codificación, entre otros.
- Informe la confiabilidad del inter-codificador de manera cuidadosa, clara y detallada en todos reportes de investigación, y provea una información mínima como: tamaño y método usado para crear la muestra fiable, la relación de la muestra de fiabilidad con la muestra completa, el número de codificadores y si se incluyen los investigadores, índices seleccionados, horas de entrenamiento requeridas, entre otras.
Referencias
Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2002). Content Analysis in Mass Communication: Assessment and Reporting of Intercoder Reliability. Human Communication Research, 28(4), 587–604.