Mini-proyecto Módulo 4 – Henry Romero

Análisis de Contenido para la sistematización de la literatura en un proyecto de investigación doctoral

1. Introducción

El análisis de contenido de la literatura a emplear en un proyecto de tesis es indispensable para adelantar un proceso riguroso desde las primeras etapas, pues nos ayudará a direccionar los esfuerzos solo en las fuentes de mayor pertinencia y validez de acuerdo al problema planteado en la investigación y a los objetivos que, derivados de este, se planteen.

En este orden es que la necesidad de hacer una revisión de la literatura se convierte en una tarea prioritaria, siendo fundamental para determinar las formas en que el problema a investigar, ha sido investigado y a través de qué referentes y métodos, así como los resultados a los que se ha llegado por la comunidad científica particular.

Los métodos de análisis y exploración de la bibliografía tradicionales e intuitivos que normalmente dependían de la experticia del investigador, implicaban un riesgo alto de desconocer literatura relacionada e importante para las investigaciones.  Este miniproyecto se ha orientado a la luz de la pregunta de ¿Cómo hacer una evaluación de la bibliografía a través del modelo sugerido por Codina (2018) en el contexto de un proyecto de tesis en el Doctorado de comunicación, lenguajes e información de la Universidad Javeriana? Con este modelo se busca allegar la precisión requerida aun cuando hay limitaciones de pares, tiempo, recursos bibliográficos, etc. Aun así, el miniproyecto ilustra el proceso estructural del modelo sugerido por Codina (2018), el que se ha instrumentalizado con el apoyo del software Coding Analysis Toolkit para allegar los coeficientes de Krippendorff´s Alpha y Kappa y se ha hecho una evaluación de resultados.

2. Problema

El problema que ha orientado el miniproyecto se desprende de la necesidad de cómo conformar un corpus bibliográfico cuyo contenido sea pertinente y válido para un problema y unos objetivos en el marco de un proyecto de tesis en un programa de doctorado. Dadas las fallas que se pueden dar en los estados de arte o en las revisiones de la bibliografía, el análisis de contenido direcciona sistemática y rigurosamente el trabajo de selección de fuentes.

Como vemos en la figura anterior, para que una investigación esté centrada en la problemática propuesta, la revisión de la literatura no puede ser superficial, requiere un análisis de contenido que permita en gran medida ubicar al investigador en la literatura. Por tanto, las preguntas de cuáles son las fuentes, teorías, conceptos clave; los puntos de vista políticos manifiestos en las fuentes, los fundamentos epistemológicos y ontológicos, así como en general los principales debates que se han suscitado alrededor del problema, son de la mayor relevancia a la hora de comenzar a hacer una investigación. 

Por esta razón se ha sintetizado el problema en la siguiente formulación ¿Cómo hacer una evaluación de la bibliografía a través del modelo sugerido por Codina (2018) en el contexto de un proyecto de tesis en el Doctorado de comunicación, lenguajes e información de la Universidad Javeriana? Con esta pregunta guiaremos el trabajo subsiguiente.

3. Métodos

Principalmente en este miniproyecto se ha seguido el modelo sugerido por Codina (2018) el cual se propone en las siguientes etapas:

Sobre la base de una muestra de fuentes se hizo un análisis de contenido de las mismas siguiendo la estructura antes citada. Se procedió principalmente a la conformación de un corpus de datos de dichas fuentes con las categorías de interés codificadas.

3.1. Búsqueda

La información por cada unidad bibliográfica se sintetizó en:

Título de la fuente

Autores

Filiación

Abstract

Palabras Clave

Conclusiones

Se elaboró un libro de códigos para las categorías de análisis en el cual se codificó el tipo de metodología, el enfoque teórico, el énfasis disciplinar y el tipo de investigación.

Sobre una muestra bibliográfica de diecinueve artículos de revistas o journals relacionados con el problema y previamente seleccionados por la reputación de las publicaciones y autores representativos, así como la vigencia y actualidad de las publicaciones, se seleccionó una submuestra de cinco para hacer las pruebas de validez con el software Coding Analysis Toolkit en el cual participaron dos pares evaluadores. Con estas dos evaluaciones se corrieron las pruebas de comparación estándar Kappa y Alpha de Krippendorff.

a. Muestra

La muestra se seleccionó obedeciendo a un criterio no probabilístico, opinático y por conveniencia, en tanto los artículos obedecen a que se han publicado en las revistas internacionales más representativas y autores también representativos, con un direccionamiento explícito hacia términos claves relacionados con la problemática del proyecto de investigación. Del miso modo obedece a que el acceso a las fuentes lo ha posibilitado.

Esta es la muestra de textos que corresponden a artículos de journals y revistas arbitradas relacionados con los ejes teóricos y categoriales del proyecto. La submuestra de 5 artículos sobre la cual se hizo el ejercicio de evaluación del contenido por pares está subrayada o destacada:

1. Bayou, M., Reinstein, A., & Williams, P. (2011). To tell the truth: A discussion of issues concerning truth and ethics in accounting. Accounting, Organizations and Society(36), 109-124.
2. Beyer, A., Cohen, D., Lys, T., & Walther, B. (2010). The financial reporting environment: review of the recent literture. Journal of Accounting and Economics(50), 296-343.
3. Blankespoor, E. (2018). Firm communication and investor response: A framework and discussion integrating social media. Accounting, Organizations and Society, 80-87.
4. Chapman, K. & Miller, G. (2019). Investor Relations and Information Assimilation. Accounting Review, 94(2), 105-131.
5. Cooper, D., & Sherer, M. (1984). The Value of Corporate Accounting Reports: Arguments for a Political Economy of Accounting. Accounting Organizations and Society, 9(3/4), 207-232.
6. Hales, J., Kuang, X., & Venkataraman, S. (2011). Who Believes the Hype? An Experimental Examination of How Language Affects Investor judgments. Journal of accounting research, 223-255.
7. Henry, E., & Peytcheva, M. (2018). Earnings-Announcement Narrative and Investor Judgment. Accounting Horizons, 32(3), 123-143. doi:10.2308/acch-52121
8. Hobson, J., Mayew, W., & Venkatachalam, M. (2012). Analyzing Speech to Detect Financial Misreporting. Journal of Accounting Research, 349-392.
9. Lassou, P. J., & Hopper, T. (2016). Government accounting reform in an ex-French African colony: The political economy of neocolonialism. Critical perspectives on Accounting(36), 39-57. doi:10.1016/j.cpa.2015.10.006
10. Lee, J. (2016). Can Investors Detect Managers’ Lack of Spontaneity? Adherence to Predetermined Scripts during Earnings Conference Calls. Accounting Review, 19(1), 229-250. doi:10.2308/accr-51135
11. Macintosh, N. (2005). Annual Reports in an Ideological Role: A Critical Theory Analysis. En N. Macintosh, & T. Hopper, Accounting, the social and the political: classics, contemporary and beyond (págs. 163-171). Amsterdam: Elsevier.
12. Mattessich, R. (2003). Accounting representation and the onion model of reality: A comparison of Baudrillard’s orders of simulacra and his hyperreality. Accounting, Organizations and Society, 28(5), 443–470.
13. Mattessich, R. (2009). FASB and Social Reality – An Alternate Realist View. Accounting and the Public Interest, 39-64.
14. McKernan, J. (2007). Objectivity in accounting. Accounting organizations and Society(32), 155-180.
15. Richardson, A. (1987). Accounting as a legitimating institution. Accounting Organizations and Society, 12(4), 341 – 355.
16. Shapiro, B. (1997). Objetivity, Relativism and truth in external financial reporting: what´s really at stake in the dispute? Accounting. organizations and society, 22(2), 165-185.
17. Thomson, K., & Jones, J. (2016). Colonials in Camouflage: Metonymy, mimicry and the reproduction of the colonial order in the age of diversity. Critical Perspectives on Accounting(35), 58-75.
18. Tinker, A. (1980). Towards a Political Economy of Accounting: An Empirical Illustration of the Cambridge Controversies. Accounting Organizations and Society, 5(1), 147-160.
19. Tinker, A., Merino, B., & Neimark, M. (1982). The normative origins of positive theories: Ideology and accounting thought. Accounting, Organizations and Society, 7(2), 167-200.

3.2. Evaluación

a. Categorías de análisis (libro de códigos)

Las categorías de análisis definidas para observar en la muestra se centraron en aspectos derivados del contenido pero que pueden ser comprendidas como de carácter general y facilita identificar tendencias y ubicación teórico – metodológica principalmente. En este sentido se ha considerado oportuno identificar las siguientes categorías de análisis consignadas en un libro de códigos así:

Como se puede observar se definió un criterio de análisis el cual se expresa en unas categorías  codificadas y sobre las que se proporcionan claves para comprender el significado de las mismas a través de una breve descripción. Esto con el propósito que el par evaluador conozca con precisión el contenido a evaluar y su interpretación del corpus sea muy precisa.

b. Sistema de codificación – esquema de codificación

A continuación, se presenta el sistema de codificación que preliminarmente se estableció para cada categoría a través de la siguiente matriz.

c. Aplicación del sistema de codificación

El sistema de codificación que se predefinió, luego se configuró en el software Coding Analysis Toolkit para que los pares evaluadores pudieran hacer la colaboración en la evaluación, como se aprecia en la siguiente tabla.

El corpus conformado con la muestra se configuró de acuerdo a los requisitos de formato del software y esta es la síntesis de la submuestra alojada en la aplicación:

En la gráfica pie se evidencia la aplicación del sistema de códigos a la muestra y es posible identificar las frecuencias de cada una de las categorías de análisis.

3.3. Análisis

a. Reflexión sobre fiabilidad y veracidad del sistema de codificado

Con el contenido del dataset y la aplicación del libro de códigos se dispuso de dos evaluadores y una vez hecha la evaluación, se procedió a correr las comparaciones estándar que facilita Codindg Analysis Toolkit para validar el sistema de codificado. Dadas las limitaciones del ejercicio la reflexión alrededor de tales resultados es parcial.

En primer lugar, podemos afirmar que el contenido del dataset no necesariamente contiene toda la información que pudiese con precisión permitir la identificación de las categorías de análisis. Sin embargo, se parte del supuesto que los evaluadores son exertos y conocedores de gran parte de estas categorías y fácilmente pueden hacer deducciones apoyadas en juicios bien fundados por la experticia que tienen.

Una vez corridas las pruebas de análisis se obtuvo lo siguiente:

Para la prueba Kappa

De acuerdo a Landis y Koch (1977) citado por Montoro & Muñoz (2005, pág. 591) el coeficiente Kappa cuando alcanza el acuerdo perfecto alcanza el valor 1, pero cuando las posibilidades de acuerdo coinciden con las obtenidas al azar, este coeficiente tiende al valor 0. Los intervalos de la bondad del acuerdo aparecen reflejados en la siguiente tabla:

En este orden y de acuerdo a los resultados obtenidos en términos generales el coeficiente es de 0,22 lo que nos muestra un grado de acuerdo bajo según Cohen lo que en efecto se puede ver en las escasas coincidencias en la evaluación. Aun así, al ser solo dos evaluadores hay categorías en las que se ha coincidido significativamente las cuales se ven en la tabla como en los casos de enfoque teórico positivista con 0,67 Bueno, enfoque teórico de economía política con 0,5 moderado, enfoque teórico teoría critica 0,5 moderado y énfasis disciplinar 0,5 moderado. En estas categorías hay una convergencia y acuerdo, pero en términos generales el coeficiente es bajo lo que mina la validez del código empleado.

Sorprende que en las evaluaciones particulares hay una diferencia muy marcada en la categoría contable financiera, sorprende, porque todo el corpus es disciplinalmente consistente con lo contable financiero.

Desde el coeficiente Alpha de Krippendorff (2004, pág. 222), En su forma más general α  es definido por:

α = 1 – Do / Dⅇ

Donde (Do) es la medida del desacuerdo observado y (De) es la medida del desacuerdo que puede ser esperado cuando prevalece el azar. Esta definición revela dos puntos de referencia que son esenciales para cualquier medida de confiabilidad: cuando se observa que el acuerdo es perfecto y el desacuerdo está, por lo tanto, ausente, (Do) = 0 y α = 1, lo que indica confiabilidad perfecta.

Sobre esta base, la interpretación de los resultados apunta a que no hay acuerdo en términos generales en las evaluaciones de los dos pares. En términos particulares hay categorías que tienen valores positivos mayores al 50% que en comparación con el coeficiente Kappa van en la misma dirección de mostrar niveles de acuerdo moderado.

En contraste son significativos los valores negativos en algunas categorías de análisis que según Krippendorff (2004) obedecen a dos razones. Por un lado, al tamaño de la muestra, es decir cuando es muy pequeña. Sin embargo, al encontrar valores positivos en muchas categorías no parecería ser la razón el tamaño muestral. Por el otro lado indica Krippendorff que estos valores negativos pueden igualmente obedecer a desacuerdos sistemáticos y creo que este es el caso. La razón de esta apreciación es porque las categorías en donde el Alpha es negativo, son las categorías en las que las diferencias de estimación de los evaluadores son más grandes. De este modo es un problema de desacuerdo sistemático por diferencias en las interpretaciones de las categorías presentes en el corpus, que pueden obedecer a un conocimiento más profundo de uno de los evaluadores en tanto es la bibliografía que ha configurado y explorado a mayor profundidad y también puede obedecer a que por disposición de tiempo la evaluación se hizo superficialmente. Otra explicación final pudo provocarse por la insuficiencia del contenido en el corpus para haber deducido de este las categorías de análisis, aunque por ser estas tan genéricas su efecto realmente puede ser poco significativo.

3.4. Síntesis

Como síntesis del corpus los resultados ayudan a interpretar que hay una presencia importante del enfoque positivista; no obstante, hay acuerdo también en los enfoques críticos y de economía política. Esta característica del corpus lo hace equilibrado en cuanto a enfoques teóricos. Desde el punto de vista de énfasis disciplinar hay problemas importantes de acuerdo en lo contable financiero que revelan una anomalía en la evaluación. Algo similar ocurre en el desacuerdo en los métodos mixtos que puede obedecer a insuficiencia de información en la estructuración del corpus.  En la misma dirección se presentan las diferencias en las apreciaciones sobre la naturaleza explicativa de los papers. Estos resultados de desacuerdo alertan a que el ejercicio de evaluación sea mas dedicado y minucioso.

4. Conclusiones

El análisis de contenido como metodología a emplear en las etapas tempranas de la exploración de la literatura, en el marco del desarrollo de tesis es de relevancia para validar un corpus bibliográfico y reducir los riesgos de omitir información, precisar pertinencia del mismo frente a los fines perseguidos por la investigación. Es una herramienta muy útil a la hora de usarla para la revisión de la literatura puede fácilmente servir de base para hacer clasificaciones de acuerdo a categorías predefinidas de interés.

El uso de libros de código es un instrumento formal que requiere cuidado en su elaboración, en especial en la claridad de significado y sentido de cada una de las categorías de análisis que son la base interpretativa de colaboraciones de evaluadores. De su adecuada elaboración depende en gran medida una evaluación apropiada.

La asistencia del software Coding Analysis Toolkit es fundamental para los indicadores estadísticos y los coeficientes de validez Kappa y Alpha de Kripendorf de las evaluaciones que, para los no especialistas puede resultar un ejercicio complejo de desarrollar. El acuerdo o desacuerdo en las evaluaciones de pares proporciona información importante para hacer ajustes al corpus bibliográfico.

El caso particular que se analizó, ilustra muy bien la dinámica del análisis de contenido para estos propósitos, y permitió evidenciar la necesidad de hacer análisis sistemáticos de la literatura para dar rigor a las investigaciones de nivel de maestría y doctorado. Aun siendo un caso ilustrativo y con fines de aprendizaje, las limitaciones derivadas de ello, así como la disposición de mayores tiempos, colaboraciones y tamaño muestral, los resultados se han podido interpretar sobre los coeficientes ya referidos y han reflejado una confirmación de lo que hipotéticamente se puedo intuir tanto con la muestra como con las evaluaciones, en el sentido de no tener una evaluación con coeficientes más convergentes gracias a las limitaciones de tiempo principalmente.

5. Referencias

Codina, L. (2018). Revisiones bibliográficas sistematizadas. Barcelona: Universitat Pompeu Fabra.

Krippendorff, K. (2004). Analysis of Content: a introduction to its methodology. Thousands Oakes: SEGE.

Montoro, F., & Muñoz, F. (2005). La medición de la fiabilidad interjuez en la codificación de preguntas abiertas: una propuesta metodológica. Cities in competition. XV Spanish-Portuguese Meeting of Scientific Management (págs. 587 -598). Sevilla: Universidad de Sevilla.