MartinPixel
Coordinador Editorial SeniorHe jugado videojuegos desde que tengo memoria, apasionado de la tecnología y desde hace poco del comercio electrónico y los servicios de streaming. Soy un afortunado por ser parte del equipo de Xataka México y siempre dedico mi máximo esfuerzo en todas las publicaciones del sitio.
Figuras clave en la historia de la inteligencia artificial como Geoffrey Hinton, Yoshua Bengio, Stephen Wolfram, Leo Gao y Dario Amodei coinciden en un punto tan fascinante como inquietante: ninguno comprende con exactitud cómo procesan y estructuran la información los modelos más avanzados. Pese a diseñar las bases de esta tecnología, la industria sigue lidiando con sistemas que operan como auténticas cajas negras.
Las declaraciones de los propios pioneros ilustran con claridad este dilema. "Personalmente, no creo que lleguemos a interpretar nunca lo que sucede dentro de las redes neuronales por razones fundamentales, aunque podemos obtener algunas pistas interesantes. Mi esperanza reside más bien en conseguir que el proceso por el que la IA llega a sus respuestas pueda descomponerse en partes interpretables", señaló Bengio durante un encuentro con el Instituto para el Futuro de la Vida en octubre de 2024. Años antes, en 2019, Hinton resumió el asunto de forma tajante ante Wired: "No, realmente no sabemos cómo funcionan".
Aun cuando líderes contemporáneos como Sam Altman o el propio Amodei admiten que desentrañar las entrañas de los modelos de lenguaje a gran escala sigue siendo una barrera técnica colosal, hay quienes buscan derribar ese muro. Nick Cammarata, antiguo integrante del equipo de OpenAI especializado en descifrar qué representan las neuronas artificiales y pionero en la visualización de circuitos neuronales, sostiene que estamos mucho más cerca de entender estos sistemas de lo que la comunidad científica supone.
El mito de la complejidad impenetrable
Hoy en día, Cammarata se desempeña como investigador de interpretabilidad mecanicista en Goodfire, una firma enfocada en desglosar los mecanismos internos del aprendizaje profundo. El pasado 15 de octubre, publicó un trabajo titulado "Las redes neuronales ya son transparentes" (Neural Networks Are Already Clean), donde plantea una visión contracorriente: la IA moderna no es intrínsecamente inescrutable.
Lejos de proclamar una solución absoluta e incuestionable, su investigación plantea una hipótesis sólida respaldada por pruebas empíricas tanto en modelos de lenguaje como en visión artificial. El núcleo de su análisis aborda la polisemia neuronal (polysemanticity), el fenómeno por el cual una neurona específica se activa frente a conceptos que, a primera vista, no guardan ninguna relación entre sí.
Hasta la fecha, la postura mayoritaria atribuía esta conducta a la superposición: la idea de que una red se ve forzada a comprimir múltiples conceptos dispares en una sola neurona ante la falta de recursos suficientes. Cammarata refuta esta visión para la gran mayoría de los casos. Según sus hallazgos, las neuronas no asocian elementos al azar, sino que responden a patrones compartidos de bajo nivel. Por ejemplo, una neurona puede reaccionar tanto al rostro de un gato como al frente de un auto porque en ambos detecta una geometría similar en forma de V.
A este principio se suma lo que denomina generalización recursiva. Conforme el entrenamiento avanza, una neurona que aprendió a detectar una secuencia simple de caracteres puede evolucionar para reconocer palabras y frases completas que la integran. No se trata de una aglomeración caótica, sino de una estructuración lógica construida de manera orgánica por la red, lo que abre una ventana para rastrear cómo se gestan las abstracciones en los modelos avanzados.
Modelos más grandes, pero más legibles
Una de las reflexiones más llamativas del documento es que las arquitecturas neuronales recientes podrían resultar mucho más sencillas de descifrar que las desarrolladas en los primeros años de la disciplina. Aunque parezca contraintuitivo frente a la escala actual de parámetros, el investigador explica que los tropiezos del pasado respondían a diseños defectuosos que entorpecían el aprendizaje en las capas profundas, sumados a métricas de evaluación deficientes y herramientas de visualización primitivas.
La propuesta generó ruido inmediato en la industria. Sam Altman, su antiguo líder en OpenAI, celebró públicamente el documento a través de un mensaje en X: "¡Me alegra mucho ver esto de Nick!". Lograr que las redes neuronales de frontera sean plenamente auditables y transparentes no solo resolvería una inquietud científica histórica, sino que representa el pilar indispensable para la alineación y seguridad de la inteligencia artificial hacia el futuro.
Imagen | Brett Wharton
Más información | Goodfire
En Xataka México | Anthropic quiere darle un “alma” a Claude: consulta a filósofos y teólogos para definir cómo debe comportarse
En Xataka México | OpenAI, Anthropic y otras empresas lanzan la advertencia: quedan meses para prepararse para los ciberataques con IA
Ver 0 comentarios