Category: Uncategorized

Por: Henry Romero

Reconocimiento Facial de Amazon

¿Qué se sabe / imagina colectivamente sobre su estudio de caso / objeto?

Según la información divulgada por la propia compañía la tecnología de reconocimiento facial Amazon Rekognition permite identificar objetos, personas, texto, escenas, actividades en imágenes y videos e identificar contenido inapropiado, con lo que es posible analizar y comparar rostros con alta precisión para diversos usos, entre los que se destaca la verificación de usuarios, conteo de personas y la seguridad pública.

¿Qué papel juega en los imaginarios contemporáneos? ¿En fantasías (o pesadillas)? ¿Qué tipo de narrativas nacionales lo utilizan? ¿Cómo aparece en el entretenimiento? ¿Qué otras grandes narrativas, historias y asociaciones fuertes lo involucran?

En los imaginarios contemporáneos el uso de esta tecnología se refleja como una herramienta de utilidad práctica muy potente que muestra los desarrollos en inteligencia artificial y la detección de rostros, objetos o situaciones que al ser valorados de acuerdo a determinados fines pueden direccionar la acción e intervenir ya sea en ámbitos privados o públicos.

La prueba de Amazon Rekognition por parte de la Unión Americana de Libertades Civiles para denunciar los riesgos y el sesgo racial de este software, desencadenó una narrativa contraria a la oficial, señalando el peligro de las fallas cuando esta tecnología es aplicada para fines policivos. Sus márgenes de error conducen a injusticias que de no ser por la aplicación no se presentarían, dado el sesgo con el que se puede alimentar el software o los sesgos del propio algoritmo con el que opera y aprende tal tecnología.

Al evidenciar los errores de Rekognition se pudo llamar la atención sobre los riesgos de la misma solo por el estatus de los datos de las personas sobre las que se aplicó la herramienta. En cualquier caso este hecho dio buenas razones para determinar dichos riesgos y hacer consciente a la sociedad del peligro cuando se usa sin las correcciones necesarias, creando una narrativa muy diferenciada a la oficial. Su impacto fue tan significativo que la propia Amazon reconoce recientemente los posibles riesgos en el uso policial y suspendió el uso con tales fines de manera indefinida.

Un análisis crítico de la tecnología no puede ser una actividad solamente académica, el ejercicio de la ACLU con los sesgos y fallos que pudo haber tenido, evidenció que la Inteligencia artificial no es autónoma y no surge de la nada, al ser un artefacto humano reproduce las imperfecciones humanas e injusticia, por tanto las narrativas de precisión y todopoderosa alrededor de la tecnología,  son solo narrativas que ocultan consecuencias que inintencionadamente se pueden producir sin que se haga un análisis socio humano a profundidad. La crítica sirvió además sirve para una transformación y corrección cuando la tecnología se desborda a usos impensados.   

En términos de entretenimiento y de la recepción no especializada, la tecnología de reconocimiento facial al haber sido empleada por muchas aplicaciones se presenta como un avance más de IA que por ejemplo facilita control de acceso a eventos deportivos de hinchas no deseados, prevención del terrorismo, elección de contenidos inapropiados, coincidencias en aplicaciones de citas, decisiones financieras y de seguros por verificación biométrica, entre muchas otras, lo que refuerza una narrativa de progreso, desarrollo y avance.

¿Cuáles son las historias “oficiales” incrustadas en / alrededor de su objeto? ¿Qué se sabe generalmente sobre cómo se inventó, cuándo y quién lo inventó? ¿Existen versiones diferentes y competitivas de sus historias? ¿Quién cuenta o llega a “ver” estas historias? ¿Quién le da forma? ¿Cómo ha viajado históricamente? ¿Cómo estos ayudan a constituirlo? ¿Qué otras grandes narrativas hacen referencia a él y cómo importan esas referencias?

Amazon Rekognition se desarrolla en 2016 por Amazon Web Services con fines de análisis y comparación de imágenes, video, rostros, etc. como un software de servicio el que en 2017 fue usado por el Sheriff del Condado de Washington para identificar los rostros de personas sospechosas y compararlos con las bases de datos propias. Este uso creativo se extendió a otro tipo de autoridades y agencias de seguridad con fines similares, pero a raíz de los errores en la identificación a partir de la comparación de rostros se crea una alerta y se evidencia la injusticia probable con el uso de esta tecnología para la detección de sospechosos de crímenes.

Las miradas alrededor de Recognition son diferenciadas porque la intencionalidad de esta tecnología es civil y no necesariamente se previeron los usos que se le han dado y que se le podrán dar en el futuro. Desde la propia Amazon destacan su potencialidad, como es natural, y la defienden de los críticos aduciendo mal uso de la herramienta de acuerdo a las recomendaciones de la propia compañía, en tanto los márgenes de error para identificar objetos no deben ser los mismos que para la identificación de rostros, como parece haber ocurrido con la prueba que denunció la ACLU ante el Congreso de los EE. UU.

Es de anotar también que no es la única compañía que ha desarrollado este tipo de software dado que tanto IBM como Microsoft han hecho lo mismo. Desde la perspectiva de mercado Recognition pudo haber estado en el momento y lugar equivocado para que su principales competidores usaran las debilidades manifiestas para aventajar a Amazon en el mercado reforzando su baja eficacia en comparación con la de ellos y capitalizaran este caso en beneficio propio.

Reflexión

El caso descrito de Amazon Recognition es uno más de desarrollo tecnológico, sus determinantes y consecuencias. En sí mismo el desarrollo de la Inteligencia Artificial y el aprendizaje que de esta se deriva es intencionalmente estratégico desde el plano corporativo y económico, pero evidencia que las estructuras que gobiernan las relaciones sociales reales condicionan tales desarrollos, que en muchos casos reproducen lo defectuosas que estas son. Los sesgos en la tecnología recrean los prejuicios sociales de diferente orden como la raza, el género, estrato social, nivel educativo, etc.; no es un asunto del uso dado o el direccionamiento de la tecnología, sino es en la configuración básica de la misma, en la lógica misma de cómo se construyen los algoritmos.

El argumento tradicional de que la tecnología es neutral y que los usos son los que la hacen nociva, es insostenible ahora dado el sesgo que se transfiere en muchos casos al funcionamiento mismo de la tecnología, por lo tanto es un imperativo, más que nunca, atender a un desarrollo tecnológico, desde sus primeras etapas, que sea integral, humano y con sentido de respeto por los derechos de las personas; aunque siempre habrá al interior de los laboratorios intereses que sobrepasan los límites sociales, legales y éticamente permitidos, cobijados con el manto de la libertad, el progreso científico y la propiedad privada.  La tecnología no puede ser ni más bondadosa ni más perversa que los propios seres humanos, por tanto el control aún es nuestro.   

https://aws.amazon.com/es/blogs/aws/thoughts-on-machine-learning-accuracy/

https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28

https://aws.amazon.com/es/rekognition/?blog-cards.sort-by=item.additionalFields.createdDate&blog-cards.sort-order=desc

https://www.thetelegraph.com/news/article/Amazon-extiende-veda-de-reconocimiento-facial-a-16186374.phphttps://www.tecnoseguro.com/analisis/cctv/rekognition-amazon-reconocimiento-facial-investigaciones

El tema que escogí es el uso de tecnologías de reconocimiento facial en China con el que se perfilan minorías étnicas Uighurs musulmanas[1]. Este perfilamiento tecnológico sirve como un sistema de alarma criminal en China para las autoridades policiales, y, en consecuencia, como un sistema de represión basado en aspectos raciales. El discurso político subyacente al sistema de inteligencia artificial relaciona rasgos físicos con supuestos potenciales ataques terroristas o violencia étnica, y hace parte de un sistema de represión más amplio que involucra el autoritarismo y la violación de derechos humanos en campos de “re-educación”.

Desde mi punto de vista, estos sistemas de clasificación usados en China (y de formas similares en otras partes del mundo) para controlar a la población corresponden con una narrativa maestra que podríamos llamar “criminológica”. Tal narrativa supone que a través de la apariencia física de una persona se puede llegar a conclusiones acerca de los rasgos de su personalidad. Esta creencia, muy difundida socialmente, se soporta en el sistema de análisis que en algunas de las lecturas que hemos hecho denominan “encontrar proxies”[2]. Es decir, obtener conclusiones estadísticas, pero no por una observación directa del fenómeno que se quiere estudiar, sino por para-fenómenos aproximados. El método proxy es una aproximación indirecta y por lo tanto altamente riesgosa, en términos de sesgos, de categorizar a una población, pues puede continuar con estereotipos sociales basados en la apariencia, en los lugares que una comunidad habita, o en sus prácticas culturales. Estos estereotipos soportan un círculo vicioso en el que las comunidades prejuzgadas a través de proxies son revictimizadas y, por lo tanto, se refuerza su categorización criminalizada.

La narrativa maestra criminológica se relaciona con las pseudociencias de los siglos XIX y XX como la frenología, la criminología basada en rasgos faciales, la eugenesia y el darwinismo social. Todas estas prácticas se amparaban en un lenguaje técnico, y en supuestas técnicas empíricas y matemáticas, para defender ideas esencialistas sobre la superioridad de las razas, las clases sociales, o el género. Aunque estas pseudociencias han sido desvirtuadas en el tiempo presente, los sistemas algorítmicos de reconocimiento facial siguen, en principio, las mismas lógicas y por lo tanto son igualmente problemáticas. Así, resulta increíble que prácticas de poder que han sido claramente refutadas se sigan haciendo a escalas aún más grandes, con procedimientos aún más opacos, y con menos oportunidades de auditoría. Incluso, aunque no se usen grandes datos y modelos matemáticos, en Colombia es común que se establezcan relaciones proxies perniciosas entre el estrato social, la raza, la apariencia física, los gustos al vestirse, las formas de hablar, y un sinfín de rasgos superficiales más. El propio gobierno, como sucede en China, estigmatiza a grupos sociales al calificarlos de bandidos o vándalos, y así bloquea su lugar como ciudadanos con sus propias posturas sociales y particularidades culturales. En China, por lo que pude ver en mi rápida búsqueda, los sistemas de reconocimiento facial sirven como un sistema de estigmatización soportado en el discurso tecno-determinista

Para ilustrar este texto, escogí dos imágenes. La primera es una imagen del criminólogo Cesare Lombroso en el que detalla supuestas fisionomías comunes para cuatro tipos de criminales. La segunda es un ejemplo de las llamadas “pinturas de castas” que se realizaban algunos países de América Colonial como México, Perú, Ecuador y Colombia. Estas pinturas de castas servían como una supuesta categorización racial, con ínfulas científicas derivadas de la ilustración, en la que se relacionaba la pertenecía a cierta categoría racial con ciertos rasgos de personalidad.

— Por Sergio Rodríguez Gómez

[1] Paul Mozur, «One Month, 500,000 Face Scans: How China Is Using A.I. to Profile a Minority», The New York Times, 14 de abril de 2019, sec. Technology, https://www.nytimes.com/2019/04/14/technology/china-surveillance-artificial-intelligence-racial-profiling.html.

[2] Ruha Benjamin, Race after technology: abolitionist tools for the new Jim code (Medford, MA: Polity, 2019); Cathy O’Neil, Weapons of math destruction: how big data increases inequality and threatens democracy, First edition (New York: Crown, 2016).

De acuerdo con nuestro cronograma, la profesora Anita Chan realizará 3 sesiones durante el mes de Mayo, que se agrupan bajo la temática “Datos comunitarios // Genealogías de datos en la era de la IA.” La descripción de estas 3 sesiones es la siguiente:

“En un mundo cada vez más impregnado de prácticas de “big data” corporativizadas y militarizadas y de sistemas de inteligencia artificial (IA) extractivos y a menudo explotadores, ¿cómo podríamos reimaginar las prácticas y pedagogías de los datos en consonancia con los valores, procesos e instituciones democráticos? A partir de estudios interdisciplinarios sobre datos y IA, estudios de ciencia y tecnología, estudios feministas y de raza crítica, y estudios de información y medios de comunicación, interrogamos el desarrollo de la IA en contextos globales para considerar cómo podríamos descentrar los métodos de datos y las infraestructuras de IA que privilegian los intereses corporativos o centrados en la tecnología, a través de PRÁCTICAS DE DATOS COMUNITARIOS que se centran en las preocupaciones y necesidades de las poblaciones y comunidades vulnerables en defensa de la democracia.”

La profesora Chan nos ha compartido un site donde ha compilado la información y materiales para sus sesiones que se puede acceder en el siguiente enlace:

https://scalar.usc.edu/works/javeriana-community-data-workshop–data-genealogies-in-the-ai-age/index?t=1620413718592

El Mini Proyecto pretende identificar el uso de las competencias informacionales y computaciones como apoyo a la formación académica, en especial media y secundaria, en el territorio del Huila. Para ello he seleccionado las principales entidades que inciden en el diseño, desarrollo y promulgación de programas de educación en el que las competencias informacionales y computaciones juega un papel importante dentro de las habilidades de comprensión de los estudiantes. Por esta razón, dentro del Conjunto de datos TCAT, llamado HuilaEducacionCompetencias, los principales actores son:

• @FondoFFIE
• @UscoCSP
• @HuilaGob
• @PTA_Colombia
• @programaondas
• @SideCTeIHuila

Los comentarios e interacción vía Twitter se encuentran dentro de una ventana de tiempo que inicia en el 28 de abril de 2019 al 29 de abril de 2021. La cantidad de tweets es de 72, lo cual muestra una baja interacción en torno al tema de las competencias informacionales y computaciones dentro del territorio del Huila.

El primer grafo realizado es de tipo dirigido, elaborado a partir de los datos contenidos en el dataset TCAT, el cual muestra un total de 73 nodos interconectados a través de 145 aristas y, cuya relación entre las entidades FondoFFIE, HuilaGob y PTA_Colombia muestra una dispersión entre nodos y con una capilaridad de interpretación entre 4 y 15 arista por punto de conexión (modularidad):

Grafo 1:

Fuente: Captura de pantalla (s.f.).

Esto muestra un hecho muy interesante para el horizonte del trabajo de investigación, pues aunque pareciera que le tema de competencias es un asunto abordado en los proyectos educativos institucionales, la influencia e interacción del tema entre los actores esenciales para el fortalecimiento de competencias a través de políticas y planes de acción en Colombia es baja.

El siguiente grafo relaciona las intervenciones individuales con la frecuencia de mención de las entidades FondoFFIE, HuilaGob y PTA_Colombia en el tema educativo, dentro del contexto del Huila, y su relación con el fortalecimiento de competencias. Este grafo muestra una relación prolífica en el seguimiento que hacen los usuarios de Twitter a las entidades, pues de hecho hay una contracción importante frente al anterior grafo. Sin embargo, al someter los datos al laboratorio de datos de Gephi, encuentro una dispersión frente al tema de las competencias, aunque relacionadas al campo de la educación no son referencia de competencias, en especial a las competencias informacionales y computacionales.

Grafo 2:

Fuente: Captura de pantalla (s.f.).

El último grafo corresponde a la relación entre los comentarios generales y la frecuencia de las instituciones en el tema de las competencias informacionales y computacionales. El comportamiento es similar al grafo 1, mostrando una dispersión de nodos y poca interrelación entre aristas en el tema de las competencias informacionales. Esto es un vacío y proporciona una alerta importante, pues las competencias informacionales y computacionales son necesarias para el manejo de la información desde la adecuada identificación, análisis y crítica de datos e información; y que su vez, incluye la importancia del manejo del artefacto y las herramientas necesarias para alcanzar los resultados esperados en el aprendizaje.  

Grafo 3:

Fuente: Captura de pantalla (s.f.).

FIN.

Apoyado en la tutoría del profesor Andrés Lombana, las explicaciones del Laboratorio 10-11; como de tres tutoriales en YouTube, pude iniciar el aprendizaje sobre el uso de la herramienta para Visualización de datos, Gephi.

Sin continuación, presento el resultado de mis exploraciones en la herramienta.

Grafo dirigido por clúster