La Inteligencia Artificial y sus sesgos El Financiero
Las desigualdades forman parte de los retos más importantes de las sociedades modernas y su persistencia, ha sido objeto de análisis de múltiples teóricos. Uno de ellos es Pierre Bourdieu, quien con el concepto de habitus describió las estructuras de desigualdad que se interiorizan y reproducen de generación en generación hasta normalizarse, volverse invisibles e incuestionables. Así se arraigan en el tejido social.
Durante siglos, el argumento para justificar la persistencia de las desigualdades ha sido su complejidad: son producto de la historia, de la cultura, de estructuras dificiles de desmantelar. Hoy, con los algoritmos, crece el riesgo de su sedimentación.
El uso creciente de herramientas de Inteligencia Artificial (IA) – principalmente de los modelos de lenguaje grande (LLMs por sus siglas en inglés), como ChatGPT, Claude, Gemini, Grok –, plantea una nueva amenaza respecto a la inequidad. Eso que durante generaciones ha sido injusticia, los algoritmos lo transforman en dato y, más que eso, el dato puede anclarse como verdad.
En este marco, lo que hacen los algoritmos es digitalizar el habitus: convierten lo que Bourdieu llamaría violencia simbólica en código. De ahí que el uso de los LLMs nos obligan a una discusión ética de lo que estas herramientas aprenden y ¿de quién?. Ese es el tema de The Alignment Problem, escrito por Brian Christian.
El problema de la alineación se refiere al desafío técnico y ético de asegurar que los sistemas de IA aprendan lo que los humanos realmente pretenden que aprendan y, además, que actúen de acuerdo con valores y objetivos específicos.
Sin embargo, estos sistemas aprenden de ejemplos de datos – no de reglas programadas explícitamente – y, por lo tanto, responden con sesgos. Un ejemplo claro, utilizado por Christian, es la historia de la primera calculadora de palabras Word2vec, desarrollada por Google. Apareció en 2013 y su función era convertir palabras en coordenadas matemáticas y luego hacía aritmética con ellas. Los cálculos eran así: Rey – Hombre + Mujer = Reina; Paris – Francia + Italia = Roma.
Word2vec inauguró un sistema capaz de aprender el lenguaje humano al absorber millones de textos y destilar, de toda esa escritura acumulada, los patrones que la atraviesan. Aprendía el “significado” de las palabras de forma relacional, es decir, por las otras palabras que la rodeaban y por los contextos en que aparecía. Hasta ese momento, todo bien.
Christian cuenta que dos años después, en una reunión informal, un estudiante de doctorado y un investigador abrieron sus laptops y, jugando con Word2vec, teclearon una nueva ecuación: Doctor – Hombre + Mujer. Por supuesto, esperaban que la respuesta sea “Doctora”, sin embargo, la calculadora dio como resultado: “Enfermera”. Repitieron con otro ejemplo: Comerciante – Hombre + Mujer = Ama de Casa. El sistema había aprendido exactamente lo que se le enseño: siglos de libros, artículo, noticias, manuales. Aprendió de la historia y del lenguaje producido por la civilización y, con ello, mantuvo los sesgos – y las inequidades – intactas.
El mayor problema hoy es que las fuentes de información que alimentan los sistemas IA son las mismas que usó Word2vec. Aunque podría parecer un problema de ingeniería, lo que los algoritmos revelan al devolver “Enfermera” cuando se les pregunta por “Doctora”, es una reproducción del lenguaje sobre el cual hemos construido nuestra sociedad. Los modelos aprenden de conjuntos masivos de texto, los cuales reflejan el mundo tal como ha sido descrito, no tal como debería ser desde la concepción ética y moral. El sesgo es estructural desde la construcción de la IA y, por lo tanto, se reproduce en sus respuestas.
Hoy los modelos se despliegan en contextos donde sus resultados tienen consecuencias reales: sistemas que evalúan créditos, filtran curriculums, sugieren diagnósticos, determinan fianzas. El problema de alineación nos obliga a ser conscientes del habitus que las alimenta y en advertir aquellas desigualdades que la inteligencia artificial reproduce.
