Durante la última década, el investigador de IA Chris Olah ha estado fascinado por las redes neuronales artificiales, cuestionándose constantemente qué ocurre dentro de ellas. Este interrogante se ha vuelto más relevante con la proliferación de la IA generativa, como los modelos de lenguaje ChatGPT, Gemini y Claude de Anthropic. Estos modelos han sorprendido con su habilidad lingüística, pero también han generado controversia por su tendencia a inventar información. Entender qué ocurre dentro de estos modelos ayudaría a crear sistemas más seguros y confiables.
Olah y su equipo en Anthropic han avanzado significativamente en esta área. Han logrado identificar cómo combinaciones específicas de neuronas artificiales en su modelo Claude corresponden a conceptos particulares, como burritos, puntos y comas en código de programación, e incluso armas biológicas. Esta capacidad para descifrar la “caja negra” de los modelos de lenguaje tiene grandes implicaciones para la seguridad de la IA, permitiendo identificar y mitigar posibles peligros.
El equipo utilizó una técnica llamada aprendizaje de diccionario para asociar patrones neuronales con conceptos específicos. A pesar de los desafíos iniciales, lograron identificar características en un modelo pequeño y luego aplicaron estos hallazgos a un modelo más grande, Claude Sonnet. Esto les permitió mapear millones de características y manipular la red neuronal para influir en el comportamiento del modelo, aumentando o disminuyendo ciertos conceptos para mejorar la seguridad y reducir sesgos.
El trabajo del equipo comenzó con un modelo simplificado que utilizaba una sola capa de neuronas. Aunque inicialmente encontraron muchos problemas y resultados que parecían aleatorios, finalmente lograron asociar ciertos patrones neuronales con conceptos específicos. Por ejemplo, pudieron identificar patrones que correspondían a textos en ruso y funciones matemáticas en el lenguaje de programación Python. Estos hallazgos les permitieron entender mejor cómo los modelos de lenguaje generan sus respuestas.
Una vez que demostraron que podían identificar características en el modelo pequeño, los investigadores se enfrentaron al desafío más complejo de decodificar un modelo de lenguaje de tamaño completo. Utilizando Claude Sonnet, la versión de fuerza media de los modelos actuales de Anthropic, lograron identificar características complejas como la asociación con el Puente Golden Gate y otros temas relacionados, como Alcatraz y la película Vértigo de Hitchcock. En total, el equipo identificó millones de características, creando una especie de Piedra de Rosetta para descifrar la red neuronal de Claude.
La capacidad de manipular estas características tiene implicaciones significativas. El equipo de Anthropic comenzó a ajustar la red neuronal para aumentar o disminuir ciertos conceptos, una especie de cirugía cerebral de IA. Por ejemplo, al suprimir características relacionadas con prácticas peligrosas, el modelo puede producir programas de computadora más seguros y reducir el sesgo. Identificaron características que representaban prácticas peligrosas, como código de computadora inseguro y correos electrónicos de estafa.
Sin embargo, manipular estas características también puede tener efectos negativos. Aumentar la intensidad de ciertas características puede llevar a que el modelo se obsesione con ellas, generando resultados no deseados. Cuando los investigadores aumentaron la intensidad de una característica relacionada con el Puente Golden Gate, Claude constantemente cambiaba de tema para referirse a ese puente. En otro experimento, al aumentar una característica relacionada con el odio y los insultos, Claude alternaba entre diatribas racistas y auto-odio, desconcertando a los investigadores.
Estos resultados plantean preguntas sobre los posibles usos indebidos de estas técnicas. Aunque el objetivo de Anthropic es mejorar la seguridad de la IA, las herramientas que están desarrollando también podrían ser utilizadas para generar caos si caen en las manos equivocadas. No obstante, los investigadores de Anthropic creen que su trabajo es un paso importante hacia la comprensión y el control de los modelos de lenguaje, proporcionando una base para futuras investigaciones en seguridad de la IA.
Otros equipos también están trabajando en este campo. En DeepMind, un grupo dirigido por un ex colega de Olah está abordando problemas similares. Además, un equipo liderado por David Bau en la Universidad del Noreste ha desarrollado un sistema para identificar y editar hechos dentro de un modelo de lenguaje de código abierto, llamando al sistema “Roma” por su capacidad para modificar hechos fundamentales.
A pesar de los desafíos, el trabajo de Anthropic representa un avance significativo en la interpretación y manipulación de modelos de lenguaje. La comprensión de las características y patrones neuronales dentro de estos modelos es crucial para mejorar su seguridad y eficiencia. Aunque queda mucho por hacer, los esfuerzos de Anthropic han abierto una brecha en la “caja negra” de la IA, permitiendo una mejor comprensión de estos complejos sistemas y sentando las bases para futuras investigaciones en seguridad y control de la IA.
