Build a Large Language Model (From Scratch)
Sebastian Raschka Técnico, en inglés
Construye un modelo tipo GPT paso a paso con PyTorch. La mejor manera de entender un LLM por dentro.
Ver en Amazon (se abre en una pestaña nueva)Un LLM (modelo de lenguaje grande) es un programa entrenado con enormes cantidades de texto para predecir el siguiente fragmento de texto. Repitiendo esa predicción una y otra vez escribe respuestas, resume, traduce o programa. ChatGPT, Gemini y Claude funcionan con LLM.
LLM son las siglas en inglés de Large Language Model, modelo de lenguaje grande. Cada palabra cuenta algo:
GPT (de OpenAI), Gemini (de Google), Claude (de Anthropic), Llama (de Meta) o DeepSeek son familias de LLM. ChatGPT, la app de Gemini o claude.ai son las aplicaciones con las que hablamos con ellos.
Un LLM hace una sola cosa, una y otra vez: calcular qué fragmento de texto es más probable que venga a continuación. Escribe una respuesta completa repitiendo esa predicción cientos de veces, añadiendo cada vez el fragmento elegido al texto anterior. El proceso tiene cuatro pasos.
Un token es el fragmento mínimo con el que trabaja el modelo: una palabra corta, un trozo de palabra o un signo. Las palabras frecuentes suelen ser un solo token; las raras se parten en varios. Por eso los límites de uso y los precios se miden en tokens y no en palabras.
Los ordenadores no entienden letras, así que cada token se transforma en un embedding: una lista de cientos o miles de números. Durante el entrenamiento, el modelo aprende a colocar cerca los significados parecidos, de modo que «perro» y «cachorro» acaban con números similares.
Aquí está la gran idea de 2017, el Transformer. Su mecanismo de atención permite que cada token «mire» a todos los demás para decidir qué significan juntos. En «el banco estaba cerrado porque era domingo», la atención conecta «banco» con «cerrado» y «domingo» y descarta el banco del parque.
La última capa produce una probabilidad para cada token posible. El modelo elige uno, lo añade al texto y repite todo el proceso. Un ajuste llamado temperatura decide cuánto azar hay en esa elección: con temperatura baja casi siempre gana el más probable; con temperatura alta, aparecen opciones más creativas. Puedes ver un ejemplo animado en la portada.
Un modelo como los que usamos hoy pasa por varias fases. La primera le da el conocimiento; las demás le enseñan a comportarse como un asistente útil.
| Fase | Qué aprende | Con qué datos |
|---|---|---|
| Preentrenamiento | A predecir la siguiente palabra. De paso aprende gramática, datos del mundo, estilos y a programar. | Billones de tokens: webs públicas, libros, artículos, código y datos con licencia. |
| Ajuste por instrucciones | A seguir órdenes y a conversar, en lugar de solo continuar textos. | Ejemplos de preguntas y buenas respuestas, muchos escritos por personas. |
| Refuerzo con valoraciones humanas (RLHF) | A preferir respuestas útiles, veraces y seguras. | Personas, y cada vez más otros modelos, comparan respuestas y eligen la mejor. |
| Refuerzo para razonar | A resolver problemas paso a paso antes de responder. | Problemas con solución comprobable: matemáticas, código, lógica. |
Las fases posteriores importan mucho. En el estudio de OpenAI que dio origen a ChatGPT, las personas preferían las respuestas de un modelo de 1.300 millones de parámetros ajustado con valoraciones humanas a las de GPT-3, que era más de cien veces mayor. Y en 2025 DeepSeek-R1 mostró que el aprendizaje por refuerzo puede hacer que un modelo aprenda a razonar por sí solo.
| Hace bien | Le cuesta o tiene riesgo |
|---|---|
| Redactar, resumir, reescribir y traducir | Dar datos exactos sin una fuente delante: puede inventarlos |
| Programar, explicar y revisar código | Cálculos largos si no usa una herramienta como una calculadora o Python |
| Explicar temas generales a distintos niveles | Saber lo que ha pasado después de su entrenamiento, salvo que busque en la web |
| Razonar paso a paso, sobre todo los modelos de razonamiento | Reconocer cuándo no sabe algo |
| Analizar documentos largos dentro de su ventana de contexto | Recordar conversaciones anteriores, salvo que la app tenga memoria activada |
Una alucinación es una respuesta que suena convincente pero es falsa. Ocurre porque el modelo genera el texto más probable, no el texto comprobado: si no tiene el dato, puede producir algo con la forma correcta (un título de libro, una cifra, una cita) y el contenido equivocado.
Los modelos actuales alucinan mucho menos que los de 2022, pero no han dejado de hacerlo. Para reducir el riesgo:
| Qué es | Ejemplo | |
|---|---|---|
| LLM | El modelo: recibe texto y devuelve texto. | GPT-6, Gemini 4, Claude Opus 5.5 |
| Chatbot o asistente | Una aplicación que conversa contigo usando un LLM, con extras como búsqueda, memoria o archivos. | ChatGPT, la app de Gemini, claude.ai |
| Agente | Un LLM con herramientas y un bucle de trabajo: planifica, actúa, comprueba y sigue hasta terminar. | Un asistente que programa una app entera o rellena formularios por ti |
Si quieres sacar más partido a cualquiera de ellos, sigue con la guía de prompts; si estás decidiendo cuál usar, con la comparativa de modelos de 2026.
ChatGPT es una aplicación. Por dentro usa modelos de lenguaje grandes de OpenAI (en noviembre de 2026, la familia GPT-6) combinados con herramientas como la búsqueda web o la ejecución de código.
Depende de qué se entienda por entender. Un LLM no tiene experiencias ni intenciones, pero ha aprendido representaciones del lenguaje lo bastante ricas como para razonar, resumir y resolver problemas nuevos. Es un debate abierto entre investigadores.
No mientras hablas: el modelo no cambia durante la conversación. Algunos servicios pueden usar las conversaciones para entrenar versiones futuras según tus ajustes de privacidad, así que conviene revisarlos.
Un LLM genera texto. Un agente combina un LLM con herramientas y un bucle de trabajo: planifica, actúa (busca, ejecuta código, rellena un formulario), comprueba el resultado y sigue hasta terminar la tarea.
En calidad de Afiliado de Amazon, obtengo ingresos por las compras adscritas que cumplen los requisitos aplicables. Cómo funciona.
Sebastian Raschka Técnico, en inglés
Construye un modelo tipo GPT paso a paso con PyTorch. La mejor manera de entender un LLM por dentro.
Ver en Amazon (se abre en una pestaña nueva)Ethan Mollick Divulgación
La guía más práctica para trabajar con IA en el día a día: cómo tratarla como un compañero y cuándo no fiarse de ella.
Ver en Amazon (se abre en una pestaña nueva)