- Los piratas informáticos de Corea del Norte utilizaron ChatGPT para generar una identificación militar falsa para las instituciones de defensa surcoreana del Sur de Spear
- Kimsuky, un actor de amenaza conocido, estaba detrás del ataque y ha atacado a entidades de política global, académica y nuclear antes
- Las herramientas de IA de jailbreaking pueden omitir las salvaguardas, lo que permite la creación de contenido ilegal como ID de Deepfake a pesar de las restricciones incorporadas
Los piratas informáticos de Corea del Norte lograron engañar a Chatgpt para crear una tarjeta de identificación militar falsa, que luego usaron en ataques de phishing de lanza contra instituciones relacionadas con la defensa de Corea del Sur.
El Instituto de Seguridad de Corea del Sur, Centro de Seguridad Genians (GSC), informó las noticias y obtuvo una copia de la identificación y analizó su origen.
Según los genianos, el grupo detrás de la tarjeta de identificación falsa es Kimsuky: un actor de amenaza conocido e infame del estado, responsable de ataques de alto perfil, como los de Corea Hydro & Nuclear Power Co, la ONU, y varios thinderks, institutos de políticas e instituciones académicas en Corea del Sur, Japón, Estados Unidos y otros países.
Engañar a GPT con una solicitud de “maqueta”
En general, OpenAi y otras empresas construyen Soluciones generativas de IA Han configurado estrictos barandillas para evitar que sus productos generen contenido malicioso. Como tal, el código de malware, los correos electrónicos de phishing, las instrucciones sobre cómo hacer bombas, defectos profundos, contenido con derechos de autor y obviamente, documentos de identidad, están fuera de los límites.
Sin embargo, hay formas de engañar a las herramientas para que devuelvan dicho contenido, una práctica generalmente conocida como modelos de idiomas grandes “jailbreaking”. En este caso, los genianos dicen que el tiro en la cabeza estaba disponible públicamente, y los delincuentes probablemente solicitaron un “diseño de muestra” o un “maqueta”, para obligar a ChatGPT a devolver la imagen de identificación.
“Dado que las identificaciones de empleados del gobierno militar son documentos de identificación legalmente protegidos, producir copias en forma idéntica o similar es ilegal. Como resultado, cuando se les solicita que genere dicha copia de identificación, ChatGPT devuelve una negativa”, dijo Genians. “Sin embargo, la respuesta del modelo puede variar según la configuración de rol de personalidad o personalidad”.
“La imagen de Deepfake utilizada en este ataque cayó en esta categoría. Debido a que crear identificaciones falsificadas con servicios de IA es técnicamente sencilla, se requiere una precaución adicional”.
Los investigadores explicaron además que la víctima era una “institución relacionada con la defensa de Corea del Sur”, pero no querían nombrarlo.
A través de El registro
