Mini-Proyecto Modulo 4. Análisis de Contenido – Felipe Navarrete

Por: Luis Felipe Navarrete Echeverría

INTRODUCCIÓN

Este mini-proyecto da cuenta de un recorrido por procedimientos y acercamientos que reflejan y amplían la reflexión respecto al uso potencial del análisis de contenido en el diseño y desarrollo de proyectos de investigación. Para este caso, se conecta directamente con el interés de explorar perspectivas en torno a la sistematización bibliográfica.

Se busca profundizar en las “arquitecturas, estructuras, componentes básicos y funcionamiento” (Igartua, 2006:181. Citado en: Zunino, 2015:114) que desde esta metodología puede establecerse de las estructuras del contenido.  Esta labor se enfoca, como se mencionaba, en una exploración de estas posibilidades en relación a la revisión bibliográfica de tipo sistemático y sistematizada (Codina 2018), desde el cual se demarca su aplicación a un proyecto de interés investigativo particular que gira en torno a la cultura política en Colombia, construida y dinamizada desde medios de comunicación.

En términos de Codina (2018) la revisión sistematizada de bibliografía es un punto fundamental para el diseño de proyectos de investigación, que permiten concretar los grados de rigurosidad, dibujar un panorama sobre el estado de la cuestión (Zunino, 2015)  y que parte de una selección inicial de documentos vinculados a la temática de interés que permite el paso a la interpretación de éstos.   Este procedimiento requiere una secuencialidad, tal como se expresa en la figura 1, que va demarcando una pauta inicial de búsqueda general, pero que se va concretando con el establecimiento de criterios o frameworks (Figura 2) que permiten filtrar y concretar el proceso de selección (y de análisis)

La sistematización de las fuentes bibliográficas permiten plantear un panorama de lo que se ha avanzado en el estudio de la temátcia, pero también, en esta misma ruta, y revisando los vacios o limitaciones; puntos que se establecen como caminos o posibilidades hacia las cuales podemso conducir nuestras investigacionesd, desde la necesidad de generar nuevas dimensiones de conocimiento.   Desde allí propicia la definción o establecimiento de fases de acción, la sistematicidad del trabajo, su transparencia (Codina, 2018) y la apertura de la revisión de la pregunta y los objetivos con los cuales proyectamos nuestras investigaciones.

PROBLEMA

¿Cuál es la cultura política que se construye en Colombia a partir del uso de medios y plataformas comunicativas?  Con esta pregunta general se concretaba una temática para mi investigación.   Su abordaje requería de un claro diseño de la estructura, que establecía como exigencia inicial el abordaje de investigaciones que permitiese detallar que hallazgos, conclusiones, metodologías, resultados y demás se ha generado a partir de temáticas asociadas la pregunta formulada.   En esta medida se empezaron a consultar fuentes que precisaban concretar espacios y criterios de búsqueda, que permitieran ir refinando las posibilidades de fuentes y empezar desde allí el análisis. 

Inicialmente se exploran revistas indexadas y documentos en la plataforma Google Academics, que si bien, fijaban un escenario posible y legitimado para la indagación, exigían situar categorías concretas de búsqueda y la definición de criterios que se proyectasen hacia el análisis de estos.     El análisis de contenido, en términos metodológicos, aparece como un insumo clave en la resolución de esta segunda exigencia; si ya se estaba formando la base documental: ¿cómo catalogarla? ¿Cómo establecer conceptos o elementos comunes que permitan fijar las convergencias y divergencias de estos estudios?

MÉTODOS

Para el desarrollo de este mini-proyecto se apela al uso del análisis de contenido en tanto permite la caracterización de elementos textuales que pueden ser medidos cuantitativamente (Krippendorff, 2013) y se implementó el uso de dos herramientas digitales: Coding Analysis Toolkit (CAT) para la validación de la codificación en aras de garantizar la fiabilidad del diseño propuesto para el análisis y Voyant Tools, herramienta que permitió detallar algunos elementos exploratorios para la caracterización de los textos (frecuencias de palabras, redes entre otros) para fijar componentes que hicieron extensivo el análisis. Para la sistematización de la muestra se diseñó una matriz con categorías de análisis, que dieron paso al diseño de un Codebook.

MUESTRA

A continuación se presentan algunos de los trabajos recopilados para la sistematización bibliográfica. Revisando revistas académicas indexadas y con el uso de Google Academics se utilizan criterios de búsqueda como: cultura política, redes sociales digitales, ciberactivismo, ciberpolítica, ciberciudadanias, política y medios de comunicación. Los trabajos que están subrayados fueron los utilizados para el sistema de codificación.

Título trabajo Autor-es
La política y lo político en Twitter: Análisis del discurso de los candidatos presidenciales de Colombia (2018) Luis Eduardo Ruano, Juan Camilo López, y Jonathan Felipe Mosquera
Ciberdemocracia: Comunicación política en Twitter (2017) Liliana María Gómez Céspedes
Twitter y la ciberpolítica (2012) Fernández, Carmen
Twitter como plataforma de los alcaldes para la comunicación pública (2015) García Beatriz, López María, Fernández José Gabriel
Enmarcamiento cognitivo de la cultura política. Un análisis desde las redes sociales en Internet (Twitter) (2013) Sánchez; López, Wilson; Barreto, Idaly
Líderes latinoamericanos en Twitter. Viejas costumbres para nuevos medios en tiempos de crisis política (2015) F Segado-Boj, J Díaz-Campo, B Lloves-Sobrado
La interacción política en Twitter: el caso de @ppopular y @ahorapodemos durante la campaña para las Elecciones Europeas de 2014 Ricardo Zugasti Azagra
Elecciones Europeas 2014: Viralidad de los mensajes en Twitter Redes. (2015) Congosto ML
Cultura Política: El estado del Arte Contemporáneo (2002) Leticia Heras Gómez
El discurso político mediado por ordenadores: análisis del discurso en las cuentas del presidente Juna Manuel Santos y del ex presidente Álvaro Uribe Vélez en la red social digital Twitter (2016) Urrea, María, Paéz, Julián, Cuellar Arlex.
Estructura y contenido de la twitteresfera política colombiana durante las  elecciones legislativas de 2014 (2016) Paéz Julián
La política y lo político en Twitter: Análisis del discurso de los candidatos presidenciales de Colombia (2018) Luis Eduardo Ruano , Juan Camilo López , y Jonathan Felipe Mosquera
¡Twitteo, luego existo! Un análisis de las dinámicas de competencia electoral de los candidatos a la Presidencia de Colombia 2018 en Twitter (2019) Luciana C. Manfredi, Juan Manuel González Sánchez, David Biojó Fajardo
Una aproximación a la cultura política colombiana desde el debate contemporáneo de la democracia (2012) Juan David Cárdenas Ruiz1  
Un análisis contemporáneo del Twitter (2011) Beatriz Fainholc
Esbozos históricos sobre cultura política y formación ciudadana en Colombia: actores, sujetos y escenarios (2008) Martha Cecilia Herrera  
Predicción electoral usando un modelo híbrido basado en el análisis sentimental: elecciones presidenciales de Colombia (2019) Mauro Callejas-Cuervo, Manuel A. Vélez-Guerrero
Dimensión política del discurso en los candidatos presidenciales de Colombia: un análisis de la red social Twitter  (2018) Luis Eduardo Ruano, Juan Camilo López, Jonathan Mosquera
Conmigo o contra mí: análisis de la concordancia y estrategias temáticas del Centro Democrático en Twitter (2018) Cifuentes, Carlos Felipe; Pino, Juan Federico
Ciudadanía, Cultura Política y Reforma del Estado en América Latina (2002) Assies Willem, Calderón Marco, Salman Ton
Elector, resistencia
y desafección política. (2003) Mora H, Juan, Escobar C, Claudio.
Twitter como instrumento de comunicación política en campaña: Elecciones Generales 2011 (2012) López Abellán, M
Los mecanismos de lo político en las redes sociales de internet. (2013) Torres L.
Redes sociales y política 2.0: Presencia en Twitter de los candidatos a las elecciones andaluzas de 2012 (2012) Martínez M
Twitter y la comunicación política. El profesional de la información (2017) Campos, E
Política 2.0: el uso de las redes sociales en la política argentina (2012) Domínguez, N
Estrategia y publicidad electoral: los spots de campaña en Andalucía 2008 y 2012 (2017) García, G
Medios de Comunicación, democracia y cultura política (2011) Jorge, J. y Miró, M
Mucho Ciberactivismo… pocos votos. Antanas Mockus y el Partido Verde  colombiano (2011) Rincón, O
La comunicación contemporánea en el circuito de la opinión pública y las relaciones de poder en red. (2015) Trillos, J.
Ciberciudadanías, cultura política y creatividad social (2013) Almendra, V. et al 
Redes sociales, poder y participación ciudadana. (2014) Ayala, T
Los límites de la “ciberpolítica”. Internet y movimientos sociales (2014) Cruz, E
La política en internet ¿de la mediatización a la convergencia digital (2014) Espino, G
La cultura y la política en la cultura política.   (2017) Eufracio, J
Deliberación: actividad política en internet y redes sociales en Colombia (2014) Orozco, M. & Ortiz, A

Tabla 1: Muestra de artículos para la revisión bibliográfica. Fuente: El autor.

CATEGORIAS DE ANÁLISIS Y SISTEMA DE CODIFICACIÓN

Este sistema de codificación surge de la matriz (tabla 2) construida para la caracterización sistematizada del contenido de los artículos de investigación, desde las cuales se definen las categorías de análisis.

Título  
Autores  
Referencia Bibliográfica Editorial, Año, Institución (es), Ciudad, País. (vínculo si está online)
Tipo de Documento Tesis de maestría/doctorado Investigación Pública/Privada Libro Ensayo Informe Institucional / Organización / Entidad
Campo de Estudio Ciencia Políticas, Ciencias de la Información, Filosofía.
Línea de Investigación  
Palabras Clave  
Abstract  
Contenido Estructura
Fuentes Principales Autores citados o que se referencias con más constancia en el desarrollo temático. (citas textuales APA)
Objetivos General y Específicos
Metodología Enfoque. Tipo de Investigación. Instrumentos. Población / muestra
Limitaciones ¿Qué aspectos no se contemplaron en el estudio? (Vacíos) ¿Qué observaciones de cuidado o sugerencias realizan los investigadores? ¿Qué fallos presenta el estudio?
Resultados  
Conclusiones Conclusión central ¿Cómo da respuesta a la pregunta problema o cómo cumple el objetivo)
Tablas Gráficos o Registros Importantes Datos  
Temática Cultura Política, análisis de medios, Retórica, Persuasión, Ciberactivismo
Bibliografía  
Comentarios Del Investigador que realiza el resumen

Tabla 2. Matriz para sistematización contenido artículos de investigación. Fuente: El autor

Para la actividad de clasificación se diseñan las siguientes matrices (tabla 3 y 4): en la primera se detallan los códigos y las categorías representadas y en la segunda, la matriz para la ejecución del procedimiento.

Tabla 3. Codebook. Diseño: El autor

Tabla 4. Matriz para la codificación. Fuente: El autor.

REFLEXIÓN SOBRE LA FIABILIDAD O VERACIDAD DEL SISTEMA DE CODIFICADO:

Para garantizar la fiabilidad requerida en las codificaciones exigidas en el análisis de contenido (Krippendorff, 2013) se realizó un trabajo de verificación en el cual se hacía un cruce de caracterizaciones para establecer el grado de acuerdo independiente que se establecía sobe las variables, pero sobre todo, sobre su aplicación.  En esta etapa se utilizó la herramienta CAT, en la cual se organización las bases de datos (Tabla 5), los códigos y sus descriptores.

Tabla 5 Caracterización bases de datos (con 5 muestras) en la herramienta CAT.

Luego de la codificación aplicada por los investigadores, la herramienta permitió hacer el registro de la comparación estándar (Tabla 6) y determinar elementos de fiabilidad para el aseguramiento de la calidad del proceso.   Se evidencia desde el índice Kappa una frecuencia de coincidencia alta en relación al campo de estudio y el método (análisis de contenido), las dos por encima de 0.70 que contrasta con los demás índices, que se encausan a un nivel bajo de coincidencia general.

Tabla 6. Comparación registro de los investigadores, con el uso de la herramienta CAT

Posteriormente se aplica el indice alfa de Krippendorff (tabla 7), que arroja los siguientes indices:

Tabla 7: Índice Krippendorff aplicado a la muestra. Herramienta CAT

Desde este mecanismo se observan discrepancias que requieren de una nueva evaluación en la codificación, dado los niveles de discrepancia. Ubicándonos en algunas consideraciones establecidas por Krippendorff pueden deberse a las características de muestra y a los posibles sesgos desde la mirada de los investigadores. Cabe mencionar la relevancia de la claridad en la codificación, pues esto permite mayor refinamiento en el proceso, así como mitigar la posibilidad de la ambigüedad o confusiones que pueden remitir a amplios márgenes de incompatibilidad en los procedimientos realizados por los investigadores.  Además de este ejercicio que resulta crucial, debe revisarse preliminarmente la constitución de la muestra, para ver qué tan potentes resultan las categorías de análisis, pues, en el caso de este trabajo, la falta de elementos de contenido, podía también invisibilizar aspectos que se tenían en cuenta en el Codebook (como la metodología  que no siempre se señala en los Abstract)

CONCLUSIONES PRELIMINARES

En la consolidación de la base bibliográfica se hizo un tejido desde las etapas definidas por Grant y Booth: búsqueda, evaluación, análisis y síntesis (2009, en: Codina: 2018) dentro de la acción sistematizada que propende por la estructura que aparece en la figura 3, que exigía ir determinando criterios de inclusión-exclusión, pero además, la concreción de categorías de análisis que permitieran sus sistematización; proceso que se hizo posible gracias a la matriz de caracterización y después a la codificación realizada.

En una primera etapa del análisis de contenido, usando la herramienta Voyan Tool, se realizó una caracterización que permitió ir concretando frecuencia de conceptos y las articulaciones que se presenciaban en la estructura de los textos. Allí fue posible ver cómo en la muestra de esta primera fase marca unas tendencias en la cuales los conceptos de cultura política cobran protagonismo y se asocian a conceptos como tweets, discursos, políticos y al concepto comunicación (figura 4) que permite ir marcando unas categorías a modo de etiquetas, desde las cuales se puede pensar la pertinencia y exigencias de la codificación planteada así como horizontes articuladores de convergencias.

La imagen de frecuencia deja ver, en el costado derecho, la necesidad de profundizar la limpieza y filtreo  de la caracterización que permita evitar el   conteo y registro de palabras que no resultan relevantes para el estudio (como preposiciones, por ejemplo). En ese ejercicio, el mapa de relaciones (Figura 5) permitió encontrar un primer dato relevante desde esta caracterización, en torno a las conclusiones de los estudios y es la relación entre cultura política y el concepto de democracia:

Luego de esta fase exploratoria, se realizó una revisión desde esta misma herramienta para establecer, en términos generales, las frecuencias de la muestra seleccionada para el presente mini-proyecto, en la cual se trabajó sobre: títulos de artículos, Abstract, conclusiones, desde las cuales es relevante señalar un patrón y es situar la red social digital Twitter en el cual se concentran los estudios de cultura política (Figura 5) al momento de situar un medio que dinamiza estas prácticas y como el estudio de la cultura política en esta red se articula con elementos como la opinión pública, la ciberpolítica, democracia, mensajes.  (Figura 6) lo cual orienta sobre la predominancia de campos disciplinares de estudio y teorías desde las cuales se ejecutan estos abordajes,

.

La herramienta Voyant Tool permite también una caracterización general de la muestra establecida para el estudio (que, cabe recordar, resulta pequeña para una determinación profunda de estos indicadores), destacando las frecuencias de encuentro de conceptos (Figura 7) que demarcaron los 5 textos (que contenían 1.341 palabras en total y ubican un cruce de 590 concordancias, además de sus extensiones), así como la fijación de categorías que empiezan a determinar unos marcos comunes clarificado por la cuantificación de las relaciones (figura 8)

Situados luego, en el plano de la codificación, la herramienta CAT permite hacer una comparación de los grados de coincidencia en el procedimiento (Figura 8), lo cual permite caracterizar un amplio grado de correspondencia alrededor del método (análisis de contenido) y sobre la ubicación de las muestras (Twitter con un grado de 92%)

Si bien la codificación precisa de una revisión para concatenar en un mejor nivel los índices de fiabilidad, si permite establecer algunas consideraciones a partir de su caracterización y sistematización con el Codebook: los estudios sobre cultura política se centran en ubicar muestras en Twitter, desatacan el ejercicio de la participación a través de esta plataforma, vinculando conceptos como Ciberdemocracia, ciberpolítica, ciberciudadanias. Además la orientación de estos trabajos a preferir el análisis de contenido. Los estudios codificados se sitúan en las ciencias de la comunicación y la información.

Estas consideraciones marcan una ruta de interpretación y revitalizan el análisis de contenido como una metodología que permite la caracterización de componentes sustanciales, los índices de fiabilidad deben revisarse así como explorar con muestras mucho más grandes que permitan una representatividad de las caracterizaciones realizadas.  Consientes de esto, debe señalarse que, desde la sistematización bibliográfica y la  codificación realizada en la ruta metodológica del análisis de contenido se estableen insumos que orientan una construcción coherente de un proyecto de investigación, en tanto permite afianzar la correspondencia entre los objetivos, las categorías propuestas y su reflexión-evaluación desde los elementos hallados en los antecedentes bibliográficos.

REFERENCIAS

Codina, L (2018) Revisiones bibliográficas sistematizadas: Procedimientos generales y Framework para Ciencias Humanas y Sociales. Barcelona: Máster Universitario en Comunicación Social. Departamento de Comunicación. Universitat Pompeu Fabra,

Krippendorff, K. (2013) Content Analysis. An Introduction to Its Methodology(3rd ed). California, CA: Sage Publications.

Zunino, E. (2015). El análisis de Contenido. Revisión a partir de un estudio de caso.Viator; Lugar: San Salvador de Jujuy; Año: 2015 vol. 0 p. 107 – 128

Reflexión: La confiabilidad en el Análisis de Contenido (Krippendorff)

Por: Luis Felipe Navarrete

En el apartado 11 Klaus Krippendorff amplía la reflexión en torno a la confiabilidad en la investigación científica, extendiendo la mirada a elementos como la muestra, la representatividad, la validez, la replicabibilidad, entre otros (como el uso de la estadística, las distribuciones y los estándares), haciendo un recorrido por modelos, formulas y parámetros que han permitido avanzar en la gestión de tan exigido criterio.  

De entrada demarca tres criterios desde los cuales se busca establecer y concretar la confiabilidad: estabilidad, reproducibilidad y precisión, en relación a la obtención de datos de confiabilidad.

La estabilidad se refiere a la constancia del proceso en el tiempo y se evidencia en la repetición de ensayos y la obtención de mismos resultados. Se requiere revisión de pruebas por parte de otros observadores en una prolongación de tiempo para registrar su continuidad; si hay variaciones no se cumple con este componente. De allí la necesidad de clarificar los criterios de clasificación. Krippendorff aclara que esta tipología es la más “débil” y resulta insuficiente como criterio único de confiabilidad, pero puede verse como un primer paso o nivel.

La reproducibilidad se asocia a la posibilidad de que el proceso se replique –o pueda serlo- por parte de otros analistas (que operan en otras condiciones, entornos o con instrumentos diferentes-pero equivalentes); este procedimiento alude a la acción de inter-codificación, acción que acentúa una fiabilidad mucho más sólida que el proceso anterior.

La precisión remite al ajuste de las especificaciones y el manejo de datos en condiciones estándar de prueba, lo cual se extiende a la generación de procedimientos que acompañen el procedimiento central, aspecto que usa la verificación, el contraste, la mirada del experto y el refinamiento de los sistemas de evaluación.

Se resalta la relevancia de la confiabilidad de los datos como punto que cimenta los niveles de razonamiento, análisis y el establecimiento de conclusiones; de allí la urgencia de evitar sesgos, refinar los datos, sistematizaciones pertinentes, definiciones bien establecidas, entre otros.  Retomando a Kaplan y Goldsen (1965) se señala que la confiabilidad da seguridad sobre los datos independientes del evento de medición, dan constancia al trabajo y permite escapa a las variaciones de las circunstancias. De allí la vitalidad de estipular la fiabilidad.

En las dimensiones contempladas se hace mención de los niveles de comparación (de dos observadores), de la riqueza de la discusión en la comunidad académicas, de las sustentaciones empíricas, de la necesidad de diseños que no impliquen variaciones,  estrategias para expulsar el “ruido”, muestras o cantidades que resulten representativas (atendiendo a las característica de los universos) la potencia de la lectura de los datos textuales y las extensiones analísticas derivadas de instrumentos –replicables y demostrables-  que permitan concretar amplios márgenes de concordancia (como una posibilidad interpretativa asociada a la fiabilidad), que puntualizan la vitalidad de definir unos criterios de confiabilidad que permitan sustentar las conclusiones  en la estructura confiabilidad: garantía: resultados.

En el proceso de codificación del material textual, se resalta que la deficiente fiabilidad repercute en la validez, lo cual hace que la debilidad de la confiabilidad se vea materializada en conclusiones débiles o fácilmente refutables. En esa misma línea analítica se destaca que  “la fiabilidad no garantiza a validez”; el sesgo disciplinar, cosmovisiones, inciden en la interpretación: los datos no hablan solos, sino que se traducen en las codificaciones que pueden estar erradas y maltratar los datos.  De esta manera “la fiabilidad es una condición necesaria, pero no suficiente, para la validez”. Se añade a esto que “Lo atractivo no necesariamente es fiable “– lo cual hace cuestionar su validez: ejemplo señalado es el trabajo sobre “topónimos” de Merrit (1966).

En la problematización sobre la valides se señala que el uso de mecanismos computacionales, que aparentemente aumentan la confiabilidad, también han suscitado reflexiones y problematizaciones, porque si bien procesan caracteres, no lo hacen con los significados. Si el investigador programa mal, la computadora continua el procedimiento “clasifica amplios volúmenes de palabras sin atribuirles sentidos”… De allí la necesidad de segundos observadores y las revisiones de expertos.

Ahora, si bien la mirada del experto contribuye a afianzar una confianza en la generación de datos, no debe omitirse que, desde la dimensión de la reproducibilidad, se requiere que cualquier investigador pueda ejecutar la acción de codificación y operacionalizar desde las categorías utilizadas en la investigación. .

Un método de validez mencionado en el capítulo corresponde a la técnica que hace que los analistas dividan las muestras en unidades –aproximadamente- iguales para dar cabida a codificaciones diferencias (por observadores diferentes) para luego pasar a una comparación de las frecuencias y demás resultados obtenidos; si las diferencias eran mínimas se demarcaba la confiabilidad. A pesar del alcance de este procedimiento, se cuestiona en tanto se reduce a la nivelación de dos sub muestras (de allí que llegue a desaconsejarse su uso).

Condiciones de prueba, según Krippendorff:

  • Clara formulación de las instrucciones de codificación.
  • Trabajo independiente de los observadores (para descartar un consenso encubierto)- “La reproducibilidad requiere al menos dos observadores independientes” “la literatura de análisis de contenido está llena de evidencia de los intentos bien intencionados pero a menudo equivocados de los investigadores para manipular el proceso de generación de datos para aumentar la apariencia de niveles de acuerdo” (Krippendorff).

La independencia resulta clave puesto que, en muchos trabajos, el investigador acude a la interpelación de analistas amigos o con quienes ha trabajado durante algún tiempo.  Esto puede producir sesgos, en tanto el acuerdo puede estar edificado no tanto desde la calidad de las indicaciones, sino desde acciones como el “ser colegas” o por el conocimiento previo de los objetivos de investigación.

Respecto a los procedimientos, aparece como práctica la actualización o ampliación de las instrucciones de codificación; si bien es posible marcar pautas desde la evolución de los procesos, es clave no confundir eso con el cambio de reglas.

En relación a los datos, muchos analistas se limitan considerar solo las unidades que logran concatenar un acuerdo, lo cual representa una problemática en tanto “la persecución de la confiabilidad” puede obnubilar la precisión de criterios que delimiten dicha exigencia. De allí que se omitan unidades en las que los codificadores no presenten acuerdo, pero que pueden ser significativas.  Una de las posibilidades reflexivas ha sido el diseño de tablas de coincidencia.   Otro de los procedimientos consiste en la acción de tres o más observadores independientes – el uno del otro- que garanticen la fiabilidad, para luego recoger las discrepancias a través del establecimiento de criterios formalizados (por ejemplo, por promedios).

Se enfatiza en la necesidad, desde cualquier procedimiento, en la confiabilidad consistente en registros (generalmente establecidos desde dos revisores, observadores o mecanismos de medición) que consideren dos de las rutas de creación de datos de confiabilidad como la unificación y la codificación, aspectos que pueden ser concurrentes y simultáneos (aunque los mecanismos matemáticos para su evaluación sean distintos).

El primero –unificación-obedece a la identificación, dentro de un medio, en espacios contiguos información que conecta con la pregunta de investigación (que conlleva acciones como articulación de notas de un periódico, o la demarcación de partes de un video).  Se pueden considerar su comienzo y su longitud, expresadas en números enteros, y precisa de por lo menos dos observadores que “unifiquen los mismo”.

El segundo –codificación- remite a la trascripción, “categorización e interpretación” de las unidades de análisis, para favorecer las comparación y análisis, donde se pueden hacer descripciones o interpretaciones específicas o múltiples, teniendo en cuenta elementos como “longitud, duración, tamaño” que requieren de un diseño apropiados de instrucciones, que permitan establecer a su vez categorías, rangos, escalas, medidas que, por claridad, deben ser “mutuamente excluyentes” en aras de evitar la ambigüedad.

Se identifican  también dos tipos de errores que generan valores negativos: los errores de muestreo, reflejados en la falta de justificación de las muestras o en la falta de representatividad, que aparece, por ejemplo, en muestras pequeñas; y los desacuerdos sistemáticos.

Para enfrentar esto, se han postulado los desarrollos de matrices de confiabilidad, que permiten tener una visión más clara y que pueden partir de elementos básicos como el registro de los valores asignados a las unidades por los observadores, como se expresa en la siguiente figura:

Figura 1. Tomada de: Krippendorff, K. (2013) Content Analysis. An Introduction to Its Methodology (3rd ed). Chapter 11. Reliability. California, CA: Sage Publications.

Se identifican las métricas nominales, ordinales, de intervalo y de relación

Cuatro medidas o condiciones de aceptación o rechazo de la confiabilidad de las medidas: Variación insuficiente (desviaciones), consideraciones de muestreo (de la representatividad de los datos a su confiabilidad), significación estadística y estándares para la confiabilidad de los datos. Aquí se aclara que en el análisis de contenido usan variables como publicación, fecha, medida; aspectos que por su claridad resultan confiables.

Si bien la fiabilidad es un criterio cave para la valides de los resultados, muchos trabajos no declaran las evaluaciones de confiabilidad, como lo identificaron Riffe y Freitag (1996), o no aplican métodos de cálculo (Kolbre y Burnett, 1991) e inclusive, su confiabilidad puede ser discutida (Krippendorff’s u. Lombard, SnyderDuch, y Bracken 2002).  La confiabilidad debe considerarse desde el inicio de la investigación; en la generación de datos, transcripciones, este aspecto debe ser ya considerado, en tanto, la confiabilidad de los datos da luz verde a un trabajo más efectivo.

Se acentúa la necesidad de reconocer la naturaleza de los datos y el sentido de las operaciones y formulas establecidas en el establecimiento de las métricas (manifestando la claridad de las variables y las operaciones estadísticas o matemáticas aplicadas) pues esto determina la acción y sentido del proceso, como por ejemplo: “el análisis de varianza requiere datos de intervalo, las contingencias se calculan a partir de datos nominales”.

La confiabilidad se ha concretado en el consenso; el acuerdo alcanzado por codificadores en relación a los instrumentos de medición.  El coeficiente presentado por Krippendorff se ha postulado como insumo que determina el acuerdo y teniendo en cuenta los datos nominales, las métricas, los observadores y los datos (completos e incompletos).

En atención a estos procedimientos, se considera la riqueza multi-formal de las unidades del análisis de contenido, que comprende desde textos –segmentos o totalidades-, imágenes, fotografías, audios, videos, programas de tv, películas, páginas web; estructuras textuales de relevancia para los analistas.

Análisis de contenido en comunicación masiva – MMCORRAL

Maria Mercedes Corral Strassmann – Mayo 18 de 2020

Un método de análisis de contenido es apropiado en particular cuando se están estudiando las comunicaciones masivas, el análisis de mensajes. Así mismo es fundamental en investigación, y principalmente en comunicación, donde los investigadores son muy rigurosos en el uso de este método. Si “el código no es confiable no se puede confiar en el análisis” Singletary, 1993, p. 294).

Análisis de contenido y la importancia del inter-codificador confiable:

Los codificadores, se basan e análisis de correlación, índices, entre otros, lo más importante es el acuerdo a que llegan y este es necesario puesto que el punto de medición, se toma cuando se tiene el acuerdo y adicionalmente se asignan las mismas mediciones a cada objeto. Si no se logra establecer es posible que la interpretación de los datos no sea válida.

Medición de la confiabilidad del inter-codificador:

La confiabilidad del inter-codificador se evalúa haciendo que dos o más codificadores categoricen las unidades (programas, escenas, artículos, historias, palabras, etc.), y luego usan estas categorizaciones para calcular un índice numérico del alcance del acuerdo

entre los codificadores. Existen variaciones de como este proceso se puede realizar, pero mínimo el investigador debe crear un conjunto de unidades para poder probar la fiabilidad.

Con los datos de codificación en mano, el investigador calcula e informa uno o más índices de fiabilidad

Acuerdo del porcentaje:

Este es el porcentaje de las decisiones realizadas por pares de codificadores en las cuáles están de acuerdo.

Método de Holsti

Holsti en (1969) propone una variación en el acuerdo del índice del porcentaje, con dos codificadores evaluando las mismas unidades para una prueba de confiabilidad, es igual al definido, sin embargo, cambia en situaciones en las que los codificadores evalúan diferentes unidades.  El resultado a menudo se calcula no para una variable única, pero a través de un conjunto de variables, esperando que las variables sean confiables.

Pi (TT) de Scott

Un índice que explica el acuerdo es el Pi de Scott (1955)., difiere del porcentaje de acuerdo con el método de Holsti, este índice tiene en cuenta el número de categorías, así como la distribución de valores entre ellas, se basa en estos valores en lugar del resultado del acuerdo entre los codificadores.

Kappa de Cohen (k)

El índice kappa de Cohen (1960,1968) también representa un acuerdo casual, usando la misma fórmula conceptual que la Pi de Scott. la posibilidad en este caso se calcula en base a los “marginales multiplicativos”, en lugar de los aditivos, lo que genera el efecto de contar las diferencias en la distribución de valores a través de las categorías para diferentes codificadores.

Alpha de Krippendorf (a): (1980)

Este permite cualquier número de codificadores y está explícitamente diseñado para ser utilizado para variables a diferentes niveles de medición desde nominal hasta una razón. El mayor inconveniente de su el uso ha sido la complejidad y la dificultad resultante de los cálculos “a mano”,

especialmente para intervalos y variables de nivel de razón.

Determinando un nivel aceptable de confiabilidad:

Adicionalmente a escoger el índice de confiabilidad apropiado, del inter-codificador, otra dificultad es determinar qué se constituye como un nivel aceptable de fiabilidad, tampoco se tienen estándares establecidos para esto.

Existen algunas herramientas para calcular la fiabilidad del inter-codificador, no cuentan con muchas herramientas para esta tarea y normalmente tienen que hacer los cálculos manualmente. Agunas personas han desarrollado algunas macros que pueden ser usadas para automatizar los cálculos. Otros han desarrollado software localmente, pero no se tiene una disponibilidad completa de estas y tampoco son sencillas de usar.

Fiabilidad del inter-codificador en reportes recientes de investigación en comunicación. -Una estudio:

Pregunta de investigación,

¿Qué tan adecuada y consistente es actualmente la fiabilidad del inte-rcodificador evaluada e informada en investigación en comunicación masiva?

Método:

Para responder a la pregunta de investigación, se realizó un análisis de contenido de informes de investigación en comunicación en los que el análisis de contenido fue el principal método de investigación.

Muestra,

Se tomaron todos los artículos indexados en “Communication Abstracts” para el año 1994-1998, y para esto una de las palabras claves fue,” análisis de contenido”, Communication Abstracts es un índice de las publicaciones en literatura de Comunicación sobre 75 revistas. Finalmente se tuvo una muestra de 200 artículos y se codificaron las 22 variables definidas, donde se tienen entre otras, método de estudio, medio de análisis, tipo de contenido, numero de codificadores, fiabilidad discutida, método de fiabilidad. Los autores probaron una versión inicial del instrumento, se utilizaron como métodos Acuerdo de porcentaje, Pi de Scott, Kappa de Cohen, Alpha de Krippendorf, la segunda versión bta de prueba fue con el software PRAM (Program for Reliability Assessment with Multiple-coders, Skymeg Software, 2002).

Resultados:

Los resultados para cada variable se presentan se ven en detalle en la Tabla 2 (12-13), . Solamente el 69% de los informes de investigación (n = 137) contenían cualquier informe de fiabilidad entre codificadores. De ese subconjunto, el número medio de oraciones en el texto y las notas al pie que se dedicaron a la discusión y al informe de fiabilidad fue 4.5 (SD = 4), solo el 6% de estos artículos incluía una tabla que contenía resultados de confiabilidad, y menos de la mitad (45%) de los artículos incluyeron una cita relacionada con fiabilidad del inter-codificador, el nivel de fiabilidad más bajo fue de 0.40, y el mínimo aceptable era de .075 (SD=0.26).

Conclusión:

El análisis de contenido ha demostrado que aun se tienen problemas en la evaluación y reporte de la fiabilidad de los inter-codificadores, por lo tanto, basado en la revisión de literatura y en los resultados de este estudio, las siguientes normas y directrices se proponen para este proceso:

  1. Calcular y reportar la fiabilidad del inter-codificador
  2. Seleccionar índices apropiados
  3. Tener herramientas que permitan realizar los cálculos.
  4. Seleccionar los mínimos niveles de fiabilidad aceptables.
  5. Evaluar informalmente durante el entrenamiento.
  6. Evaluar formalmente en un piloto de prueba.
  7. Evaluar formalmente con la codificación de una muestra completa.
  8. Seleccionar y seguir un procedimiento apropiado para incorporar la codificación de la muestra de confiabilidad en la codificación de la muestra completa.
  9. No se deben hacer ninguna de las siguientes: usar solo porcentajes para el cálculo, usar sobreposicion e la codificación, entre otros.
  10. Informe la confiabilidad del inter-codificador de manera cuidadosa, clara y detallada en todos reportes de investigación, y provea una información mínima como: tamaño y método usado para crear la muestra fiable, la relación de la muestra de fiabilidad con la muestra completa, el número de codificadores y si se incluyen los investigadores, índices seleccionados, horas de entrenamiento requeridas, entre otras.

Referencias

Lombard, M., Snyder-Duch, J., & Bracken, C. C. (2002). Content Analysis in Mass Communication: Assessment and Reporting of Intercoder Reliability. Human Communication Research, 28(4), 587–604.

EL ANÁLISIS DE CONTENIDO. REVISIÓN A PARTIR DE UN ESTUDIO DE CASO Esteban Zunino Reseña (y consideraciones) Por: Luis Felipe Navarrete Echeverría

Este trabajo Zunino presenta una caracterización de la metodología Análisis de Contenido, precisando los aspectos sistemáticos de su desarrollo, a partir de puntualizaciones retomadas del trabajo titulado “La cobertura mediática del conflicto campo-gobierno de 2008 en la prensa gráfica Argentina. Un estudio comparativo de la relevancia noticiosa del proceso de implementación de la Resolución Nº 125/8 en los diarios  Clarín y Pagina/12” , proceso desde el cual busca contribuir al conocimiento y aplicación de esta metodología al campo de las ciencias de la comunicación, reconociendo la vitalidad de este enfoque metodológico y su creciente notoriedad en el análisis de medios.   

De entrada se advierte la importancia de no confundir el análisis de contenido con el análisis del discurso (Zunino, 2015: p. 110) en tanto este último está incluido dentro de un enfoque cualitativo y apunta al ejercicio de desvelar elementos ideológicos en los entramados ocultos de los discursos. Por su parte, el análisis de contenido se incluye dentro de un enfoque cuantitativo y tiene como objetivo “descubrir el ADN de los mensajes mediáticos  (…),  reconstruir  su  arquitectura,  conocer  su  estructura,  sus componentes  básicos  y  el  funcionamiento  de  los  mismos”  (Igartua,  2006:181. Citado en: Zunino, 2015:114)

En términos generales, si bien se demarcan consideraciones que problematizan su nivel de objetividad, se remarca la necesidad de generar operaciones que garanticen su fiabilidad y su veracidad, aspectos que dependen del rigor y coherencia establecidas desde la problematización, el planteamiento de los objetivos (medibles empíricamente), los antecedentes y un marco teórico que soporten su desarrollo y ejecución.

Desde la problematización se determinan los puntos de observación (vinculados a la necesidad del establecimiento de categorías para el estudio), así como la precisión de las unidades de análisis.   A partir de este apartado, pueden establecerse los objetivos.

OBJETIVOS

El objetivo general debe ser alcanzable, demostrable y formulado de manera clara y precisa.  En el estudio retomado, el objetivo general fue “analizar la relevancia  informativa  que  adquirió  el  conflicto  en  torno  a  la  implementación  de  la  Resolución Nº 125/08” (Zunino, 2014: 3. En: Zunino 2015:112). En este planeamiento queda clara la categoría que dictamina el trazado de la metodología: con relevancia informativa se conduce a elementos de la agenda setting y la teoría del framing, lo cual permite situar la investigación dentro de un paradigma disciplinar.  A partir de aquí, se formulan los objetivos específicos, que representan  metas que permiten el cumplimiento del objetivo general; para el estudio en mención, los objetivos específicos concretaban labores cuantitativas, encaminadas a establecer la cantidad de notas en relación a la cobertura y la jerarquía temática, finalidades que concretan el estudio de las frecuencias de publicación y visibilidad mediática.

HIPOTESIS

Las hipótesis son definidas como “una proposición deducida teóricamente que postula un modelo de relación entre variables” (Sautu, 2005:10. En: Zunino, 2015:113). Estas se plantean como lecturas del fenómeno que pueden derivar de la revisión de los antecedentes.

ANTECEDENTES (o Estado de la Cuestión)

La revisión de investigaciones alrededor de la temática, permite identificar conclusiones que sirven como apoyo (y referencia para el planteamiento de hipótesis), así como los vacíos o puntos abiertos, por lo cuales se pueden enrutar las nuevas investigaciones. Cuando el material es escaso (aspecto determinado por la revisión bibliográfica) se recomienda el planteamiento de trabajos exploratorios.

CONSIDERACIONES GENERALES

Zunino remarca la relevancia que el análisis de contenido representa para los estudios en el campo de la comunicación, ubicando su uso inicial en 1930 con el surgimiento y proliferación de las Escuelas de Periodismo en Norteamérica (2015:114).

Desde esta ruta metodológica (que se insiste, conecta directamente con el componente teórico) se fijan (inicialmente) 3 características (Krippendorf, 1990. En Zunino, 2015:115): la primera se remite a su carácter sistemático, característica principal, resalta el diseño de protocolos que permiten que las reglas y las herramientas puedan ser replicadas por la comunidad científica (aspecto que demarca el valor del diseño de las herramientas).  La segunda a su enfoque cuantitativo (que no por esto omite elementos cualitativos que refuercen el trabajo) y por último su objetividad. Este último criterio ha sido problematizado, pero busca solidificarse desde acciones rigurosas de intersubjetividad, como mecanismo de validación y entenderse mejor a partir de entender los textos como estructuras que pueden ser “estudiados científicamente”.

Para el diseño, se recomienda partir de un marco conceptual de análisis de contenido, seguido por la población, luego la muestra, para pasar al diseño del codebook (libro de códigos) herramienta desde la cual se operativizan las variables.  Luego de la sistematización y análisis de los resultados se culmina con la presentación de las conclusiones.

En este trabajo, siguiendo a Krippendorf, se distinguen variaciones de las unidades de análisis: unidades de contexto, que permiten la interpretación (en el trabajo expuesto, se establecen como unidades contextuales los medios a analizar, lo cual requiere justificar por qué se seleccionan éstos), están también las unidades de análisis que conllevan a determinar –y justificar- el tiempo-periodo de observación o delimitación temporal de la muestra   (2015:117).

El concepto utilizado para el estudio referenciado en el artículo es el de hueco informativo (Zunino, 2015: 119) que está encaminado a determinar es espacio que se le da a las noticias referidas al tema (siguiendo la idea de McCombs) y que permite determinar su visibilidad y su frecuencia. Para esto se revisaron las portadas de los diarios seleccionados, así como las noticias internas.  Realizado este proceso, se pasó a la sistematización materializada en el codebook donde se implementaron variables sobre los contenidos, que permitían clasificarlos de manera precisa, evitando ambigüedades; las variables fueron valoraciones positivas, valoraciones negativas y valoraciones indefinidas (p. 123). Luego de esta sistematización procede la interpretación del investigador, proceso que, concretado en el establecimiento de las conclusiones, debe estar articulado con los objetivos establecidos. El alcance descriptivo-interpretativo del análisis de contenido, hace que esta ruta metodológica, soportada en los argumentos teóricos y el diseño procedimental expuesto, represente una herramienta de relevante alcance para los estudios de la comunicación en la tarea de abordar componentes vitales de las estructuras textuales.

Módulo 4 – Análisis de contenido

[Contenidos semanas 14, 15, 16]

[Laboratorios semanas 14,15,16]

Semana 14 (4.5.2020)

Introducción métodos cualitativos, cuantitativos y computacionales para análisis de contenido.

Lecturas requeridas:

Lecturas adicionales:

Laboratorio:

  • Preparación de un conjunto de datos (corpus de texto, sample) en formato de texto plano  (*TXT).
  • Análisis de contenido computacional (minería de texto) utilizando Voyant Tools.
  • Guía del taller-laboratorio

Semana 15 (11.5.2020)

Selección de tópicos, unidades de mensaje y muestras + Variables y operacionalización de categorías.

Lecturas requeridas:

Lecturas adicionales:

(Ejemplos de revisiones sistemáticas de literatura que utilizan análisis de contenido)

  • Shirley Ann Williams, Melissa Terras, Claire Warwick (2013). “What people study when they study Twitter: Classifying Twitter related academic papers”. Journal of Documentation, 69 (3). 
  • Snelson, Chareen. (2016). Qualitative and Mixed Methods Social Media Research: A Review of the Literature. International Journal of Qualitative Methods. 15. 10.1177/1609406915624574. 

Laboratorio:

  • Selección y estructuración de muestra (sample, corpus) para mini-proyecto
  • Preparación libro de códigos (coding scheme) para mini-proyecto. Operacionalización de categorías. 
  • Construcción de tabla (spreadsheet) para codificado.
  • Guía del taller-laboratorio – sesión 2 – módulo 4

Semana 16 (18.5.2020)

Fiabilidad, procesos de codificación y análisis.

Lecturas requeridas:

Lecturas adicionales:

Laboratorio:

Evaluación módulo 4 (20%):

  • 10% 2 reflexiones escritas
  • 10% actividades de laboratorio y mini-proyecto.

Reflexión escrita

Cada estudiante realizará una reflexión escrita de una de las lecturas asignadas y la publicará en el sitio web de la clase, en la fecha asignada.

Mini-proyecto

Los estudiantes propondrán y desarrollarán un breve estudio de análisis de contenido. Este proyecto puede utilizar los conjuntos de datos capturados durante el módulo 1  o proponer un nuevo conjunto de datos (ej: noticias, artículos relacionados con uno de los temas de investigación de los integrantes del grupo).

El mini-proyecto será presentado en un breve reporte o documento escrito (post en el website) que incluya una introducción al problema, pregunta de investigación, presentación de los datos, los métodos y las herramientas utilizadas, verificación del proceso de codificado, un breve análisis de los datos (e.g. de contenido) acompañados de visualizaciones, y una conclusión con los hallazgos preliminares de la investigación y sus limitaciones. 

Estructura del mini-proyecto (Reporte de construcción de la muestra, sistema de codificado, y análisis de los documentos que conformarán la revisión sistematizada de literatura):

  • Introducción
  • Problema
  • Métodos: definir y explicar el tipo de AC que desarrollarán
  • Muestra – sample : al menos una presentación de la muestra de documentos que incluirían en su investigación (entre 10 – 20 artículos, capítulos de libros, o libros)
  • Categorías de análisis (libro de códigos)
  • Sistema de codificación – esquema de codificación : presentación del instrumento (matriz o tabla para codificado)
  • Aplicación del sistema de codificación a una sub-muestra o parte de la muestra que utilizarán en el trabajo final (mínimo 5 documentos).
  • Reflexión sobre fiabilidad e veracidad del sistema de codificado (2 analistas, al menos 5 documentos – puede ser solo con el abstract y los títulos del documento).
  • Conclusiones (preliminares)
  • Referencias