Teoría de Generalización Débil-a-Fuerte

La teoría de la "Generalización Débil-a-Fuerte" (Weak-to-Strong Generalization) se enfoca en el problema de cómo supervisores más débiles pueden controlar modelos mucho más avanzados que ellos. Este es un desafío técnico fundamental en la alineación de modelos superhumanos en inteligencia artificial.

En contextos donde los modelos son extremadamente avanzados, la supervisión humana directa puede no ser completamente efectiva, ya que los humanos pueden no ser capaces de comprender plenamente o evaluar el comportamiento complejo y creativo de estos modelos. Por ejemplo, si un modelo superhumano genera millones de líneas de código extremadamente complicado, los humanos no podrían proporcionar supervisión confiable para tareas clave de alineación, como determinar si el código sigue las intenciones del usuario, si las respuestas a preguntas sobre el código son honestas, o si ejecutar el código sería seguro o peligroso.

En este estudio, se explora una analogía a este problema: ¿puede la supervisión de un modelo débil elicitar las capacidades completas de un modelo mucho más fuerte? Para investigar esto, se afinan (finetune) modelos fuertes y preentrenados (como los de la familia GPT-4) con etiquetas generadas por un modelo más débil. Se observó que los modelos fuertes generalizan más allá de sus supervisores débiles, un fenómeno llamado generalización débil-a-fuerte. Sin embargo, todavía estamos lejos de recuperar las capacidades completas de los modelos fuertes solo con la afinación ingenua, lo que sugiere que técnicas como el aprendizaje por refuerzo a partir de comentarios humanos (RLHF) pueden no escalar bien a modelos superhumanos sin trabajo adicional.

Se descubrió que métodos simples pueden mejorar significativamente la generalización débil-a-fuerte. Por ejemplo, al supervisar GPT-4 con un supervisor de nivel GPT-2 y una pérdida de confianza auxiliar, se puede recuperar un rendimiento casi al nivel de GPT-3.5 en tareas de procesamiento de lenguaje natural (NLP). Esto sugiere que es factible hacer progresos empíricos hoy en día en un desafío fundamental de alinear modelos superhumanos.

El trabajo tiene limitaciones importantes. Ninguno de los métodos funciona de manera consistente en todos los entornos y, en particular en el escenario de modelado de recompensas de ChatGPT, todavía estamos lejos de recuperar la brecha completa de rendimiento entre modelos débiles y fuertes. Por lo tanto, estos métodos son más pruebas de concepto que soluciones prácticas listas para implementarse hoy en día.

A pesar de las limitaciones, los resultados son alentadores. Se muestra que la generalización sustancial débil-a-fuerte no solo es posible, sino que es un fenómeno generalizado. Además, con métodos muy simples podemos mejorar drásticamente la capacidad de los supervisores débiles para elicitar conocimientos de modelos fuertes. Con más progresos en esta dirección, podríamos llegar al punto en que podamos usar supervisores débiles para elicitar conocimientos de manera confiable de modelos mucho más fuertes, al menos para algunas tareas clave. Esto podría permitirnos desarrollar modelos de recompensa superhumanos o clasificadores de seguridad, que a su vez podrían usarse para alinear modelos superhumanos.