Por qué LinkedIn dice que el mensaje no fue un éxito y las plantillas pequeñas fueron el gran avance Mas Cipolleti
LinkedIn es líder en sistemas de recomendación de IA y los ha desarrollado durante los últimos 15 años. Pero generar un montón de recomendaciones de vanguardia para los solicitantes de empleo del mañana requirió una técnica completamente nueva. La empresa tuvo que mirar más allá de los modelos disponibles en el mercado para lograr precisión, latencia y eficiencia del siguiente nivel.
“Simplemente no podíamos hacer esto mediante indicaciones”, dijo Erran Berger, vicepresidente de ingeniería de producto de LinkedIn, en un nuevo Más allá del piloto podcast. “Ni siquiera intentamos esto con los sistemas de recomendación de próxima generación porque nos dimos cuenta de que no era un buen comienzo”.
En cambio, su equipo comenzó a desarrollar un documento de política de producto muy detallado para ajustar un modelo inicialmente masivo de 7 mil millones de parámetros; Esto luego se destiló en modelos adicionales de profesores y estudiantes optimizados para cientos de millones de parámetros.
La técnica creó un libro de cocina repetible que ahora se reutiliza en los productos de inteligencia artificial de LinkedIn.
“La adopción de este proceso de evaluación de un extremo a otro generará una mejora sustancial en la calidad de los “me gusta” que probablemente no hemos visto en años aquí en LinkedIn”, dice Berger.
Por qué la destilación de varios profesores fue un “gran avance” para LinkedIn
Berger y su equipo decidieron crear un LLM que pudiera interpretar consultas laborales individuales, perfiles de candidatos y descripciones de puestos en tiempo real y de una manera que reflejara la política de productos de LinkedIn con la mayor precisión posible.
Trabajando con el equipo de gestión de productos de la empresa, los ingenieros crearon un documento de 20 a 30 páginas que califica los pares de descripción del puesto y perfil “en muchas dimensiones”.
“Hicimos muchas iteraciones sobre esto”, dice Berger. Luego, este documento de política de producto se combinó con un “conjunto de datos de oro” que comprende miles de pares de consultas y perfiles; El equipo introdujo esto en ChatGPT durante la generación de datos y la experimentación, lo que provocó que, con el tiempo, el modelo aprendiera pares de puntuaciones y, finalmente, generara un conjunto de datos sintéticos mucho más grande para entrenar un modelo docente de 7 mil millones de parámetros.
Sin embargo, afirma Berger, no basta con tener un LLM en producción basándose únicamente en la política de producto. “Al final del día, es un sistema de recomendación y necesitamos hacer algunas predicciones de clics y personalización”.
Entonces, su equipo utilizó ese modelo docente inicial centrado en políticas de productos para desarrollar un segundo modelo docente centrado en la predicción de clics. Utilizando ambos, destilaron aún más un modelo de 1.700 millones de parámetros con fines de capacitación. Este eventual modelo de estudiante se ejecutó en “muchas, muchas ejecuciones de entrenamiento” y se optimizó “en cada punto” para minimizar la pérdida de calidad, dice Berger.
Esta técnica de destilación de varios profesores permitió al equipo “lograr mucha afinidad” con la política del producto original y “aprovechar” la predicción de clics, afirma. También lograron “modularizar y componentar” el proceso de formación de los estudiantes.
Considere esto en el contexto de un agente de chat con dos modelos de docente diferentes: uno capacita al agente sobre la precisión de las respuestas, el otro sobre el tono y cómo deben comunicarse. Estas dos cosas son objetivos muy diferentes pero críticos, señala Berger.
“Al mezclarlos se obtienen mejores resultados, pero también se pueden iterar de forma independiente”, afirma. “Ese fue un paso adelante para nosotros”.
Cambiando la forma en que los equipos trabajan juntos
Berger dice que no puede subestimar la importancia de anclarse en una política de producto y un proceso de evaluación iterativo.
Obtener una “política de producto realmente buena” requiere traducir la experiencia del gerente de producto en un documento unificado. Históricamente, señala Berger, el equipo de gestión de productos se centraba en la estrategia y la experiencia del usuario, dejando los enfoques de iteración del modelado a los ingenieros de ML. Ahora, sin embargo, los dos equipos trabajan juntos para “conectarse” y crear un modelo docente alineado.
“La forma en que los gerentes de producto trabajan ahora con los ingenieros de aprendizaje automático es muy diferente de todo lo que hemos hecho antes”, afirma. “Ahora es un modelo para básicamente todos los productos de inteligencia artificial que fabricamos en LinkedIn”.
Mira el podcast completo para saber más sobre:
Cómo LinkedIn optimizó cada paso del proceso de I+D para respaldar la velocidad, lo que generó resultados reales en días u horas en lugar de semanas;
Por qué los equipos deberían desarrollar canalizaciones para la conectabilidad y la experimentación y experimentar con diferentes modelos para respaldar la flexibilidad;
La continua importancia de la depuración de la ingeniería tradicional.
También puedes escuchar y suscribirte. Más allá del piloto en Spotify, Basura o dondequiera que obtengas tus podcasts.
