Cómo funciona la herramienta creada por el MIT para corregir modelos 3D generados por IA antes de su impresión

Investigadores del Instituto de Tecnología de Massachusetts (MIT), Google y la Universidad Northeastern desarrollaron InstructMesh, una herramienta que permite corregir modelos tridimensionales generados con inteligencia artificial antes de fabricarlos, con el objetivo de que objetos como tazas, anteojos o soportes cumplan la función para la que fueron diseñados, informó MIT News, el portal de noticias del instituto.

Los sistemas generativos pueden producir la imagen de una taza, pero no necesariamente un recipiente capaz de contener café. El problema es que reconocen la apariencia de los objetos, aunque no siempre comprenden cómo deben funcionar, lo que deriva en diseños impracticables y difíciles de modificar para quienes no dominan el modelado 3D.

La plataforma, descrita en un artículo presentado en el ACM Symposium on User Interface Software and Technology, combina TRELLIS, un sistema de Microsoft que genera modelos tridimensionales a partir de texto e imágenes, con GPT-4, el modelo de lenguaje que respalda a ChatGPT. Esa integración reúne conocimiento visual y textual para que el usuario pueda señalar partes concretas del diseño y pedir cambios antes de enviarlo a una impresora 3D.

Faraz Faruqi, autor principal del trabajo, graduado del instituto y reciente integrante de su Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL), precisó: “Queríamos reunir las capacidades de los generadores 3D y el razonamiento de los modelos de lenguaje en un espacio interactivo para crear objetos que la gente realmente quiera”. “Los modelos de lenguaje son excelentes con el texto y las imágenes, mientras que la fortaleza de TRELLIS está en su capacidad para crear modelos 3D, porque ha procesado muchísimos”, agregó.

Diseños: de tazas a dispensadores con tentáculos

El sistema produjo una taza aparentemente envuelta por un dragón, cuya cola funciona como asa; un silbato azul brillante con forma de concha; y unos anteojos con alas de mariposa sobre los lentes. También permitió fabricar un dispensador semejante a un pulpo, con líquido que sale por cada tentáculo para llenar varias tazas a la vez.

Los investigadores de CSAIL probaron la herramienta con objetos de uso cotidiano, accesorios y robots. Entre los resultados hubo una rodillera con aspecto de tela vaquera para combinar con los jeans de una paciente.

El programa también sirvió para construir un robot de cerdas con forma de camarón colorido. El dispositivo contiene un motor oculto y, al encenderse, se desliza sobre las superficies de manera similar a un juguete de cuerda.

La interfaz busca reducir una barrera habitual del diseño tridimensional: las herramientas convencionales exigen conocimientos específicos para corregir geometrías, ampliar partes o adaptar una pieza a una necesidad funcional. InstructMesh permite describir el problema en lenguaje natural y evaluar las modificaciones antes de aprobarlas.

Faruqi señaló que la manipulación ocurre en el espacio latente, la representación interna que utiliza el modelo generativo para organizar sus resultados. “InstructMesh admite una descripción en lenguaje natural de los problemas y crea cambios interpretativos en la geometría para que el usuario los evalúe y apruebe”.

Errores estructurales detectados por usuarios inexpertos

Para medir si personas sin formación previa podían identificar fallas antes de fabricar una pieza, el equipo hizo que TRELLIS recreara modelos populares de Thingiverse, una plataforma que alberga millones de diseños imprimibles en tres dimensiones. Casi el 80 % de los modelos generados presentaba algún defecto estructural.

Los investigadores pidieron entonces a usuarios principiantes que detectaran y corrigieran esas fallas con InstructMesh. Un experto evaluó los resultados y determinó que los participantes pudieron encontrar y resolver los problemas en cerca del 90 % de los casos.

Los participantes crearon modelos parecidos a soportes para teléfonos y jarrones. Describieron el sistema como fácil de usar y destacaron que los controles deslizantes les permitían realizar ajustes precisos, como agrandar o extruir una sección determinada del objeto.

“Los usuarios obtuvieron lo que pidieron y modificaron los diseños con facilidad cuando fue necesario”, afirmó Faruqi. “Lo que veían era lo que obtenían, y los objetos funcionaban como se esperaba”.

El investigador trabaja ahora en Google y prevé la posible incorporación de InstructMesh a una plataforma de realidad aumentada. La idea consiste en que una persona describa lo que necesita a partir del entorno que la rodea y obtenga rápidamente un objeto impreso en tres dimensiones, como una funda para teléfono que combine con una billetera.

El proyecto podría incorporar simulaciones físicas para anticipar cómo reaccionaría un diseño ante usos específicos, por ejemplo, si un cuenco se rompe al caer o qué materiales resultarían más adecuados. También podría integrar TRELLIS 2 para perfeccionar detalles más pequeños en los modelos.