La IA y los Transformers

La aplicación mas cercana y conocida de la IA, son los Chatbots “inteligentes” que parecen saber mucho de todo, cuyo nombre es LLM, por ejemplo: Chatgpt, Gemini, Claude, entre otros, si bien, tiene diferencias de entrenamiento y enfoque entre ellos, en esencia, fueron creados de manera muy similar.

Una de las piezas clave que comparte los LLMs modernos, es el concepto de Transformer, pero, ¿qué es un Transformer? , ¿se puede pedir para llevar?.

De hecho, ChatGPT, tiene un T al final del nombre, ¿la T es de ? … adivinaste, Transformer, y Gemini también hereda esa “T”, ya que en su linaje tecnológico está BERT, otro modelo basado en Transformers que marcó un antes y un después en la comprensión del lenguaje en los LLMs.

Pero, los transformers, son lo mismo pero no son iguales.

El transformer de GTP es unidireccional, procesa tokens (palabras) de izquierda a derecha, es decir, “lee” tokens y entiende su contexto, con toda la información a su izquierda.

El transformer de Gemini, tiene un comportamiento híbrido, unidireccional y bidireccional, es decir, procesa tokens y entiende su contexto, con la información a su izquierda y a su derecha.