World Labs de Fei-Fei Li acelera la carrera mundial de modelos con Marble, su primer producto comercial Mas Cipolleti

Laboratorios mundialesla startup fundada por el pionero de la IA Fei-Fei Li, está lanzando su primer producto modelo comercial a nivel mundial. Mármol ahora está disponible a través de niveles freemium y pagos que permiten a los usuarios convertir mensajes de texto, fotos, videos, diseños 3D o panoramas en entornos 3D editables y descargables.

El lanzamiento del modelo mundial generativo, lanzado por primera vez en versión beta limitada vista previa hace dos meses, llega poco más de un año después de World Labs salió del sigilo con 230 millones de dólares en financiación y sitúa a la startup por delante de sus competidores que construyen modelos mundiales. Los modelos mundiales son sistemas de inteligencia artificial que generan una representación interna de un entorno y pueden usarse para predecir resultados futuros y planificar acciones.

Empresas emergentes como descartar y Odisea han lanzado demostraciones gratuitas y El genio de Google todavía se encuentra en una vista previa de investigación limitada. Marble difiere de estos, e incluso del propio modelo en tiempo real de World Labs, RTFM – porque crea entornos 3D persistentes y descargables en lugar de generar mundos sobre la marcha mientras exploras. Esto, dice la compañía, da como resultado menos transformaciones o inconsistencias y permite a los usuarios exportar mundos como símbolos, mallas o videos gaussianos.

Marble es también el primer modelo de su tipo que ofrece herramientas de edición nativas de IA y un editor 3D híbrido que permite a los usuarios bloquear estructuras espaciales antes de que la IA complete los detalles visuales.

“Esta es una nueva categoría de modelo que está generando mundos 3D, y es algo que mejorará con el tiempo. Es algo que ya hemos mejorado bastante”, dijo a TechCrunch Justin Johnson, cofundador de World Labs.

El pasado mes de diciembre, World Labs mostró cómo sus primeros modelos Podría generar escenas 3D interactivas basadas en una sola imagen. Si bien eran impresionantes, las escenas algo caricaturescas no eran completamente explorables ya que los movimientos se limitaban a un área pequeña y ocasionalmente había errores de renderizado.

En mi prueba de la vista previa beta, descubrí que Marble generaba mundos impresionantes solo a partir de mensajes de imagen, desde entornos similares a juegos hasta versiones fotorrealistas de mi sala de estar. Las escenas se transformaron en los bordes, aunque aparentemente eso se mejoró en el lanzamiento de hoy. Dicho esto, un mundo que había generado en la versión beta usando un solo mensaje se veía mejor y coincidía más con mi intención que el mismo mensaje ahora.

Todavía no he probado las funciones de edición, aunque Johnson dice que hacen que Marble sea práctico para juegos a corto plazo, VFX y proyectos de realidad virtual (VR).

“Uno de nuestros principales temas para el futuro de Marble es el control creativo”, dijo Johnson. “Siempre debe haber un camino rápido para generar algo, pero debes poder profundizar aún más y tener mucho control sobre las cosas que estás generando. No quieres que la máquina simplemente tome el volante y te quite toda esa creatividad”.

La visión de Marble sobre el control creativo comienza con la flexibilidad de entrada. La versión beta solo aceptaba imágenes individuales, lo que obligaba al modelo a inventar detalles invisibles para una vista de 360 grados. Con el lanzamiento completo, los usuarios ahora pueden cargar múltiples imágenes o clips cortos para mostrar un espacio desde diferentes ángulos y hacer que el modelo genere gemelos digitales bastante realistas.

Luego tenemos Chisel, un editor 3D experimental que permite a los usuarios bloquear diseños espaciales aproximados (piense en paredes, cuadros o planos) y luego agregar indicaciones de texto para guiar el estilo visual. Marble genera el mundo, desvinculando la estructura del estilo, de forma similar a cómo HTML proporciona la estructura de un sitio web y CSS agrega color. A diferencia de la edición basada en texto, Chisel te permite manipular objetos directamente.

“Puedo simplemente entrar y tomar el bloque 3D que representa el sofá y moverlo a otro lugar”, dijo Johnson.

Otra característica nueva que le brinda más control de edición es la capacidad de expandir un mundo.

“Una vez que generas un mundo, puedes expandirlo hasta una vez”, dijo Johnson. “Cuando te mueves a una parte del mundo que está empezando a fragmentarse, básicamente puedes decirle al modelo que se expanda allí o genere más mundo en las proximidades de donde te encuentras actualmente, y luego puede agregar más detalles en esa región”.

Los usuarios que quieran crear espacios extremadamente grandes pueden combinar múltiples mundos con el “modo compositor”. Johnson me lo demostró con dos mundos que ya había construido: una sala hecha de queso con sillas de uva y otra de una sala de reuniones futurista en el espacio.

El camino hacia la inteligencia espacial

Marble está disponible a través de cuatro niveles de suscripción: Gratis (cuatro generaciones de texto, imagen o panorama), Estándar ($20/mes, 12 generaciones más entrada de múltiples imágenes/video y edición avanzada), Pro ($35/mes, 25 generaciones con expansión de escenas y derechos comerciales) y Max ($95/mes, todas las funciones y 75 generaciones).

Johnson cree que los casos de uso iniciales de Marble serán juegos, efectos visuales para películas y realidad virtual.

Los desarrolladores de juegos tienen sentimientos encontrados acerca de la tecnología. Un reciente Encuesta de la Conferencia de desarrolladores de juegos descubrió que un tercio de los encuestados creía que la IA generativa tiene un impacto negativo en la industria de los juegos: un 12% más de lo que indicó la encuesta del año anterior. El robo de propiedad intelectual, el consumo de energía y la disminución de la calidad del contenido generado por IA estuvieron entre las principales preocupaciones expresadas. Y el año pasado, un cableado La investigación encontró que estudios de juegos como Activision Blizzard están utilizando IA para tomar atajos y combatir el desgaste.

En los juegos, Johnson ve que los desarrolladores usan Marble para generar entornos de fondo y espacios ambientales y luego importan esos activos a motores de juegos como Unity o Unreal Engine para agregar elementos interactivos, lógica y código.

“No está diseñado para reemplazar toda la cartera existente de juegos, sino simplemente para brindarle activos que pueda incluir en esa cartera”, dijo.

Para el trabajo de efectos visuales, Marble evita la inconsistencia y el control deficiente de la cámara que afectan a los generadores de video de IA, según Johnson. Sus activos 3D permiten a los artistas montar escenas y controlar los movimientos de la cámara con una precisión perfecta, dijo.

Si bien Johnson dijo que World Labs no se está centrando en aplicaciones de realidad virtual (VR) en este momento, señaló que la industria está “hambrienta de contenido” y entusiasmado sobre el lanzamiento. Marble ya es compatible con los auriculares VR Vision Pro y Quest 3, y cada mundo generado se puede ver en realidad virtual hoy.

El mármol también puede tener posibles casos de uso para la robótica. Johnson señaló que, a diferencia de la generación de imágenes y videos, la robótica no tiene el beneficio de un gran depósito de datos de entrenamiento. Pero con generadores como Marble, resulta más fácil simular entornos de entrenamiento.

Según un manifiesto reciente Según Fei-Fei Li, director ejecutivo y cofundador de World Labs, Marble representa el primer paso hacia la creación de “un modelo mundial verdaderamente espacialmente inteligente”.

Li cree que “la próxima generación de modelos mundiales permitirá que las máquinas alcancen inteligencia espacial a un nivel completamente nuevo”. Si los grandes modelos de lenguaje pueden enseñar a las máquinas a leer y escribir, Li espera que sistemas como Marble puedan enseñarles a ver y construir. Ella dice que la capacidad de comprender cómo existen e interactúan las cosas en espacios tridimensionales puede eventualmente ayudar a las máquinas a lograr avances más allá de los juegos y la robótica, e incluso en la ciencia y la medicina.

“Nuestros sueños de máquinas verdaderamente inteligentes no estarán completos sin inteligencia espacial”, escribió Li.

¿Tiene un consejo delicado o documentos confidenciales? Estamos informando sobre el funcionamiento interno de la industria de la IA, desde las empresas que dan forma a su futuro hasta las personas afectadas por sus decisiones. Comuníquese con Rebecca Bellan en rebecca.bellan@techcrunch.com o Russell Brandom en russell.brandom@techcrunch.com. Para una comunicación segura, puede contactarlos a través de Signal en @rebeccabellan.491 y russellbrandom.49.