Gmail bloquea 100 millones de intentos de phishing diarios: así detecta Google las amenazas

La inteligencia artificial está cambiando la velocidad con la que ocurren los abusos en internet. Los atacantes pueden utilizar estas herramientas para producir contenido, modificar sus métodos y multiplicar sus intentos de fraude a una escala que obliga a las empresas tecnológicas a cambiar también la manera en que buscan proteger a sus usuarios. Para Google , el reto consiste en reconocer los patrones de comportamiento y a los actores que están detrás de los abusos. “Es un juego de volumen”, explica en exclusiva para Expansión Laurie Richardson , vicepresidenta de Trust & Safety de Google.

La escala de esa operación se puede dimensionar a través de algunos de los productos de la compañía. Gmail bloquea más de 100 millones de intentos de phishing cada día ; Google Play Protect analiza más de 100,000 millones de aplicaciones diariamente en busca de malware y otras amenazas, mientras que los sistemas de Google Search detectan y bloquean 40,000 millones de páginas de spam cada día. Trust & Safety existe en Google desde los primeros años de la compañía. Richardson cuenta que comenzó con dos equipos pequeños dedicados a la calidad de los anuncios y al spam web. En aquel momento, la tarea podía resumirse en detectar páginas que intentaban manipular los resultados de búsqueda y retirarlas. Actualmente, el área reúne especialistas en seguridad infantil, elecciones, discurso de odio y operaciones, además de expertos en comportamiento abusivo. Su trabajo abarca productos como Search, Ads, YouTube, Play, Android, Chrome y los productos de inteligencia artificial generativa de Google. En total, Trust & Safety trabaja sobre más de 14 productos con más de 1,000 millones de usuarios cada uno; algunos superan los 3,000 millones, de acuerdo con Richardson. Una parte importante de su trabajo consiste en identificar señales que puedan viajar entre productos. Si un mismo actor intenta realizar distintos tipos de fraude o estafa , el objetivo no es solamente detectar cada pieza de contenido de manera aislada, sino reconocer el comportamiento que existe detrás. Richardson plantea tres niveles en los que se puede combatir el abuso: actores, comportamientos y contenido. El contenido es el nivel más disperso, pues detectar una publicación, una página o un mensaje problemático a la vez puede convertirse, en palabras de la ejecutiva, en un juego de “golpear al topo”: aparece una pieza, se elimina y después surge otra. Por eso, la apuesta de Google es identificar las señales que permitan llegar al comportamiento o al actor que genera ese contenido. “Mucho mejor estar en el nivel del comportamiento o del actor”, explica Richardson, “porque ahí las señales pueden revelar cómo se está originando el abuso y no solamente qué aspecto tiene una pieza individual de contenido”.

Millones de intentos de phishing, páginas de spam y aplicaciones pasan cada día por los sistemas de protección de Google.

*Las cifras de Gmail, Play Protect y Search corresponden a métricas publicadas por Google para cada producto y no deben sumarse como si fueran una misma categoría de ataques.*

Fuente: Google

La llegada de la IA generativa ha añadido una nueva dimensión al problema porque los actores maliciosos también pueden utilizar estas herramientas para aumentar su productividad. Richardson señala que no necesariamente están apareciendo nuevas formas de fraude o abuso, lo que está cambiando es la capacidad de ejecutarlas a una escala mayor. “Están obteniendo un aumento de productividad igual que nosotros”, explica. Los atacantes “pueden probar métodos, aprender rápidamente qué funciona y compartir esas estrategias con otros miembros de organizaciones criminales”. La diferencia para Trust & Safety es que la misma tecnología puede utilizarse para buscar patrones que antes eran más difíciles de conectar. Para Richardson, el contenido es la capa más difícil de controlar porque cada pieza puede ser diferente, mientras que llegar a los patrones de comportamiento permite identificar señales que se repiten. Google tiene clasificadores basados en agentes que pueden identificar un tipo específico de contenido, encontrar señales sobre dónde aparece y estar disponibles en cuestión de un día. Para los productos de IA generativa, Trust & Safety participa desde el diseño y desarrolla, junto con los equipos de producto, un documento de responsabilidad que establece qué protecciones deben incorporarse desde el inicio. Después vienen las pruebas automatizadas, conocidas como evals , y los ejercicios de red teaming , en los que expertos humanos intentan encontrar formas de romper el producto mediante consultas diseñadas para poner a prueba sus límites. Una vez que el producto llega a los usuarios Google monitorea sus reportes, señales provenientes de redes sociales y registros, bajo mecanismos diseñados para proteger la privacidad, para identificar patrones sobre cómo se utiliza realmente el producto y detectar dónde pueden estar fallando sus barreras.

La misma lógica se aplica a la procedencia del contenido generado con IA. Google utiliza SynthID, una marca de agua invisible que incorpora a contenido generado con sus sistemas, y participa en C2PA, un estándar que permite aportar información sobre el origen y la edición de contenidos digitales. Richardson señala que SynthID y C2PA ofrecen señales diferentes: una busca ser más resistente a manipulaciones y la otra apuesta por la interoperabilidad entre compañías y productos. La detección automatizada y las pruebas previas al lanzamiento tampoco garantizan que un sistema de IA acierte en todos los casos. La propia Google ha tenido que corregir productos después de que millones de usuarios encontraran respuestas incorrectas o comportamientos que no habían aparecido durante las evaluaciones previas. Uno de los casos más visibles ocurrió en 2024, cuando AI Overviews, la función que genera resúmenes con inteligencia artificial en los resultados de Search, comenzó a mostrar respuestas extrañas e inexactas. Google reconoció entonces que algunos resultados eran incorrectos y explicó que había identificado problemas relacionados con la interpretación de ciertas consultas, el lenguaje utilizado en las páginas web y la falta de información de calidad. Otro caso ocurrió ese mismo año con Gemini , cuando Google suspendió temporalmente la generación de imágenes de personas después de que usuarios detectaran representaciones históricas incorrectas. En aquel momento, Sundar Pichai , CEO de Google, calificó algunas de las respuestas generadas como “inaceptables” y la compañía trabajó en ajustes antes de reactivar la función. Cuando se identifica una falla, Richardson explica que Google recurre a los llamados blameless postmortems , revisiones estructuradas para identificar en qué punto se rompió el proceso, si las políticas eran incorrectas, si faltaba una señal o si el equipo no estaba escuchando adecuadamente a los usuarios. “Es un ciclo continuo de intentar algo, aprender de ello, volver a intentarlo y mejorar”, explica Richardson, quien considera que este trabajo es necesario porque la tecnología puede amplificar tanto sus beneficios como sus riesgos. Por eso, explica, una de las funciones de Trust & Safety es establecer “las reglas del camino” que permitan maximizar los beneficios de los productos de Google y, al mismo tiempo, minimizar los daños que puedan causar.