Hay una escena que se repite con variaciones mínimas: comienzo a hablar de tokens, tokenomics y la otra persona asiente con educación mientras sus ojos hacen el equivalente facial de un 404. No es su culpa, es nuestra. Nosotros construimos la metáfora del "lenguaje", del "modelo que entiende", de "la máquina que escribe". Y después, cuando toca explicar la factura, no tenemos con qué.

Una de las analogías más populares es es "un token es más o menos 0.75 palabras" y el cerebro hace clic en el lugar equivocado. Si un token fuera 0.75 palabras, sería una palabra incompleta, y eso no tiene sentido. Nadie cobra por tres cuartos de nada.

Un token es la unidad mínima de texto que un modelo puede procesar de una vez. No es una palabra. No es un carácter. Es un fragmento. A veces es una palabra entera, como "casa". A veces es un prefijo, como "des". A veces es parte de una palabra compuesta: "conoci" + "miento".

El modelo no lee letras como tú. Corta el texto en pedazos que reconoce con un diccionario interno, y cada pedazo es un token. Si la palabra existe completa en su diccionario, se la traga de una. Si no, la parte en pedazos que sí reconoce.

Porque cada token cuesta plata.

Literalmente. Cuando le mandas un mensaje a ChatGPT, a Claude, a cualquier LLM, estás pagando por cada token que entra y por cada token que sale. Entrada más salida. Tu pregunta cortada en tokens de entrada. La respuesta cortada en tokens de salida. Todo se suma.

Esto no es un tecnicismo. 

Es la razón por la que una conversación larga con un modelo puede costar centavos o cientos de dólares, dependiendo de lo que hagas. Y es la razón por la que las empresas que adoptaron IA sin entender esto están ahora comprando "consultoría de gestión de tokens" a las mismas firmas que les vendieron la adopción sin mencionar la factura.

Imagina que cada vez que hablas con alguien, pagas por cada palabra que dices y por cada palabra que escuchas. Una conversación trivial te sale gratis. Una discusión técnica de tres horas te sale cara.

Ahora imagina que no pagas por palabra, sino por sílaba. "Hola" son dos sílabas. "Electroencefalografista" son diez. El costo no depende de lo que estás diciendo, sino de cómo el modelo corta lo que dices.

Un token está en ese punto incómodo entre la sílaba y la palabra. No es intuitivo para un humano, pero es perfecto para una máquina que procesa texto como secuencias de patrones estadísticos.

Aquí viene la parte que convierte la cara de 404 en indignación legítima: el modelo no recuerda tu conversación. Cada vez que le respondes, el sistema reenvía todo el historial completo. 

Esto se llama "ventana de contexto". Y tiene un límite. Cuando el historial excede ese límite, el modelo empieza a "olvidar" las primeras partes de la conversación. No es un bug. Es arquitectura.

Por eso ChatGPT a veces parece tener amnesia. Por eso Claude se pierde en conversaciones muy largas. Y por eso cada mensaje que mandas no solo cuesta lo que dice tu pregunta nueva: cuesta lo que dice tu pregunta más todo lo que se dijo antes.

La próxima vez que alguien te diga "la IA es cara", tienes una respuesta mejor. No es cara porque sí. Es cara porque cada interacción es un cálculo masivo que cuesta electricidad, GPUs, refrigeración y ancho de banda. Y la unidad de ese costo es el token.

Saber qué es un token no te convierte en ingeniero de machine learning. Pero te convierte en alguien que no firma contratos de adopción de IA sin haber preguntado cuánto cuesta la conversación.

Foto de Mathieu Stern en Unsplash