¿La inteligencia artificial estállegando al límite? Milenio

San Francisco.
No esperen que los chatbots vayana mejorar en cuanto a rapidez en los próximos años, advierte el Premio Nobel 2024, Demis HassabisDemis Hassabis, uno de los expertos en inteligencia artificial más influyentes del mundo y ganador del Premio Nobel en 2024, tiene una advertencia para el resto de la industria tecnológica: no esperen que los chatbots sigan mejorando con la rapidez de los últimos años.
Los investigadores de la inteligencia artificial llevan algún tiempo basándose en un concepto bastante simple para mejorar sus sistemas: cuantos más datos extraídos del internet bombearan a los grandes modelos lingüísticos —la tecnología detrás de los chatbots—, mejor funcionaban esos sistemas.
Pero Hassabis, quien supervisa Google DeepMind, el principal laboratorio de inteligencia artificial de la empresa, dice ahora que ese método está perdiendo fuerza simplemente porque las empresas tecnológicas se están quedando sin datos.
“Todo el mundo en la industria está viendo cómo disminuyen sus rendimientos”, dijo Hassabis este mes en una entrevista con The New York Times, mientras se preparaba para aceptar el Premio Nobel por su trabajo en el campo de la inteligencia artificial.
Hassabis no es el único experto en inteligencia artificial que haya advertido sobre una ralentización.
En entrevistas, 20 ejecutivos e investigadores mostraron una creencia generalizada en que la industria tecnológica se está enfrentando a un problema que muchos habrían considerado impensable hace apenas unos años: han agotado la mayor parte del texto digital disponible en internet.
Este problema está empezando a surgir, aunque se sigan invirtiendo miles de millones de dólares en el desarrollo de la inteligencia artificial.
El pasado martes, Databricks, una empresa de datos de inteligencia artificial, declaró que estaba a punto de conseguir 10 mil millones de dólares de financiación privada, la mayor ronda de este tipo para una empresa emergente.
Y las principales empresas tecnológicas están señalando que no tienen previsto ralentizar su gasto en los gigantescos centros de datos que impulsan los sistemas de inteligencia artificial.
No todos están preocupados en el mundo de la inteligencia artificial.
Algunos, como el director ejecutivo de OpenAI, Sam Altman, afirman que el progreso continuará al mismo ritmo, aunque con algunos giros en las viejas técnicas.
Dario Amodei, director ejecutivo de la empresa emergente de inteligencia artificial Anthropic, y Jensen Huang, director ejecutivo de Nvidia, también son optimistas.
(El Times demandó a OpenAI, alegando infracción de los derechos de autor del contenido de las noticias relacionado con los sistemas de inteligencia artificial.
OpenAI ha rechazado las acusaciones).
Leyes rebasadasLas raíces del debate se remontan a 2020, cuando Jared Kaplan, físico teórico de la Universidad Johns Hopkins, publicó un trabajo de investigación que demostraba que los grandes modelos de lenguaje se volvían cada vez más potentes y realistas conforme analizaban más datos.
Los investigadores llamaron a los descubrimientos de Kaplan “las Leyes de escalamiento”.
Del mismo modo que los estudiantes aprenden más leyendo más libros, los sistemas de inteligencia artificial mejoran a medida que ingieren cantidades cada vez mayores de texto digital extraído de internet, incluidos artículos de noticias, registros de chats y programas de computadora.
Al ver la potencia bruta de este fenómeno, empresas como OpenAI, Googley Metase apresuraron a hacerse con la mayor cantidad posible de datos del internet, tomando atajos, ignorando las políticas corporativas e incluso debatiendo si debían evadir la ley, según un análisis realizado este año por el Times.
Fue el equivalente moderno de la Ley de Moore, la máxima tantas veces citada que acuñó en la década de 1960 el cofundador de Intel Gordon Moore, quien demostró que el número de transistores en un chip de silicio se duplicaba cada dos años aproximadamente para aumentar de forma constante la potencia de las computadoras del mundo.
La Ley de Moore se mantuvo durante 40 años.
Pero, con el tiempo, empezó a ralentizarse.
El problema es que ni las Leyes de escalamiento ni la Ley de Moore son leyes inmutables de la naturaleza.
Son simplemente observaciones inteligentes.
Una se mantuvo durante décadas.
Las otras pueden tener una vida útil mucho más corta.
Google y el nuevo empleador de Kaplan, Anthropic, no pueden tan solo lanzar más texto a sus sistemas de inteligencia artificial porque queda poco texto que lanzar.
“En los últimos tres o cuatro años, cuando las Leyes de escalamiento se estaban poniendo en marcha, hubo rendimientos extraordinarios”, dijo Hassabis.
“Pero ya no estamos consiguiendo los mismos avances”.
Hassabis afirmó que las técnicas existentes seguirían mejorando la inteligencia artificial en algunos aspectos.
Pero dijo que creía que se necesitaban ideas totalmente nuevas para alcanzar el objetivo que perseguían Google y muchos otros: una máquina que pueda igualar la potencia del cerebro humano.
Nuevos mecanismosIlya Sutskever, quien contribuyó de forma decisiva a que el sector pensara a lo grande, como investigador tanto en Google como en OpenAI, la cual dejó para crear una nueva empresa emergente en la primavera pasada, hizo la misma observación durante un discurso hace dos semanas.
“Hemos alcanzado el pico de datos y no habrá más”, dijo.
“Tenemos que trabajar con los datos que tenemos.
Solo hay un internet”.
Hassabis y otros están explorando un enfoque diferente.
Están desarrollando mecanismos para que los grandes modelos de lenguaje aprendan de su propio ensayo y error.
Por ejemplo, al resolver varios problemas matemáticos, los modelos lingüísticos pueden aprender cuáles métodos conducen a la respuesta correcta y cuáles no.
En esencia, los modelos se entrenan con datos que ellos mismos generan.
Los investigadores los llaman “datos sintéticos”.
OpenAI lanzó hace poco un nuevo sistema llamado OpenAI o1 que se construyó de esta forma.
Pero el método solo funciona en áreas como las matemáticas y la programación informática, donde existe una firme distinción entre lo correcto y lo incorrecto.
Durante una llamada con analistas el mes pasado, se preguntó a Huang de qué manera la empresa estaba ayudando a los clientes a superar una posible desaceleración y cuáles podrían ser las repercusiones para su negocio.
Huang respondió que las pruebas demostraban que se seguían obteniendo beneficios, pero que las empresas también estaban probando nuevos procesos y técnicas en chips de inteligencia artificial.
“Como consecuencia de ello, la demanda de nuestras infraestructuras es realmente alta”, comentó Huang.
Aunque Huang confía en las perspectivas de Nvidia, algunos de los principales clientes de la empresa reconocen que deben prepararse para la posibilidad de que la inteligencia artificial no avance tan rápido como se espera.
“Hemos tenido que lidiar con esto.
¿Es real o no?”, dijo Rachel Peterson, vicepresidenta de centros de datos de Meta.
“Es una muy buena pregunta si consideramos todos los dólares que se están invirtiendo en esto de forma generalizada”.
c.
2024 The New York Times Company