Semana 4 · Lección 2 · 50-60 minutos
Cómo predicen texto los modelos de lenguaje
Mira por dentro la IA detrás del autocompletado y los asistentes de chat: parte el texto en trozos y predice el siguiente trozo probable, lo que suena fluido pero no es lo mismo que ser verdadero.
- Materiales
- Esta lección en un navegador web · Papel y lápiz, o una app de notas
- Esta lección
- En curso
Se guarda solo en este dispositivo
Lo que vas a poder hacer
- Explicar que un modelo de lenguaje predice el siguiente trozo de texto probable.
- Describir cómo el texto se parte en tokens (trozos) con los que trabaja el modelo.
- Explicar cómo una indicación inicia y dirige la predicción.
- Explicar por qué un texto que suena fluido no es lo mismo que un texto verdadero o correcto.
Para pensar
Escribes "Había una vez" en un teléfono y te sugiere "un". Escribes "La capital de Australia es" en un asistente de chat y podría responder con toda fluidez "Sídney", lo cual es falso; es Canberra. Si las dos respuestas suenan naturales, ¿cómo decide la IA qué decir?
Ten esto presente: sonar bien y estar bien son dos cosas distintas.
Haz una predicción
Predice: cuando escribes "pan con", ¿qué palabra crees que es más probable que agregue un modelo de lenguaje, y por qué justo esa?
Vocabulario
Ver todo el vocabulario del curso- Modelo de lenguaje
- Una IA entrenada con cantidades enormes de texto que predice qué texto es probable que venga a continuación.
- Token (trozo de texto)
- Un pedacito de texto con el que trabaja el modelo, muchas veces una palabra o parte de una palabra, como "jug", "ando", o un signo de puntuación.
- Texto siguiente probable
- Los trozos que el modelo estima más probables a continuación, según los patrones del texto del que aprendió.
- Indicación
- El texto inicial que le das a un modelo de lenguaje, que él continúa prediciendo lo que viene después.
- Fluido
- Que se lee de corrido y suena natural. Un texto fluido puede seguir siendo incorrecto, porque sonar bien no es lo mismo que estar bien.
El texto se parte en trozos llamados tokens
Un modelo de lenguaje no lee ensayos enteros de una sola vez. Parte el texto en pedacitos llamados tokens. Un token suele ser una palabra, pero las palabras largas o poco comunes se parten: "increíble" podría volverse "in", "creí" y "ble". Los espacios y la puntuación también cuentan.
Trabajar con tokens le permite al modelo manejar cualquier texto, incluso palabras que nunca ha visto, combinando pedazos conocidos.
- "Me gusta la pizza" → tokens: "Me", " gusta", " la", " pizza"
- "jugando" → tokens: "jug", "ando"
- Un punto "." es un token por sí solo
El modelo predice el siguiente trozo probable
Un modelo de lenguaje tiene una sola tarea central: dado el texto hasta ahora, predecir el siguiente token. Aprendió de cantidades enormes de texto qué trozos suelen seguir a cuáles. Después de "pan con", el trozo "mermelada" es muy probable, así que eso es lo que predice.
Y lo hace una y otra vez: predice un trozo, lo agrega, y luego predice el siguiente, para construir oraciones completas. Tu indicación es el texto inicial que lo pone todo en marcha; cambia la indicación y también cambian los trozos siguientes más probables.
- Indicación "El cielo está" → siguiente trozo probable "azul"
- Indicación "Estimada directora:" → los siguientes trozos probables empiezan una carta formal
- Indicación "def sumar(a, b):" → los siguientes trozos probables parecen código de computadora
Fluido no es lo mismo que verdadero
Esta es la idea más importante de la lección. Un modelo de lenguaje predice qué texto es probable, no qué es verdadero. "Probable" significa que encaja con los patrones del lenguaje que aprendió, no que una persona haya verificado los datos.
Así que un modelo puede producir una oración fluida, segura y bien escrita que sencillamente es falsa. A veces a esto se le llama una respuesta inventada o "alucinada". Que la salida sea fluida significa que las palabras encajan bien entre sí; no dice nada sobre si la afirmación es correcta. Verifica siempre los datos importantes con una fuente confiable, y no solo porque la IA "sonaba segura".
- Un modelo puede dar el título de un libro falso dentro de una oración perfectamente natural
- Puede dar con toda seguridad una fecha equivocada que se lee de corrido
- Puede inventar una fuente que parece real pero no existe
Ejemplo resuelto
Predecir trozo por trozo a partir de una indicación
- Indicación: "Lo mejor del verano es".
- El modelo la parte en tokens y observa los patrones del texto que siguió a comienzos parecidos.
- Predice el siguiente trozo más probable, tal vez " nadar", y lo agrega.
- Ahora el texto es "Lo mejor del verano es nadar"; predice otra vez, tal vez " en", luego " la", luego " alberca".
- Trozo por trozo construye una oración fluida. Fíjate: en ningún momento comprobó si nadar de verdad es lo mejor del verano; solo siguió patrones probables.
Lo importante: Un modelo de lenguaje construye texto un trozo probable a la vez a partir de tu indicación; el resultado suena natural, pero es una predicción, no un dato verificado.
Un ciclo presentado como flujo. Inicio: el texto de la indicación. Paso 1: partirlo en tokens (trozos). Paso 2: predecir el siguiente trozo más probable. Paso 3: agregar ese trozo al texto. Una flecha va del paso 3 de vuelta al paso 2 para predecir otra vez, y otra, haciendo crecer el texto trozo por trozo hasta que se detiene. El flujo destaca que cada paso solo pregunta "¿qué trozo es probable a continuación?", nunca "¿esto es verdad?".
El modelo repite una sola pregunta, qué trozo es probable a continuación, nunca "¿esto es correcto?".
Los valores se muestran en probabilidad sobre 100.
Una gráfica de barras con probabilidades inventadas pero realistas para el siguiente trozo después de la indicación "El cielo está". "azul" es con mucho la barra más alta, alrededor de 60 de 100; "despejado" ronda 15, "cayéndose" ronda 8, "gris" ronda 7, y "verde" es una barra muy corta, de alrededor de 2. El modelo suele elegir una barra alta, y por eso normalmente dice "azul", pero una barra corta como "verde" sigue siendo posible, y "probable" nunca significa "comprobado como verdadero".
Actividad
Laboratorio de predicción del texto siguiente
Correr un pequeño predictor local de la siguiente palabra: ver las palabras siguientes probables para una indicación, cambiar una palabra para observar cómo se mueven las probabilidades, y juzgar si un texto fluido es realmente verdadero.
- Elige un inicio y mira qué palabras considera el modelo más probables a continuación.
- Cambia una palabra (por ejemplo tormenta → desfile) o agrega las tuyas, y observa cómo cambian las probabilidades.
- Después juzga las tarjetas de fluidez: una frase que suena bien puede ser falsa.
Las palabras más probables a continuación
la 12%, dejó 8%, el 7%, en 6%
No hubo coincidencia con las palabras recientes, así que el modelo recurrió a las palabras más comunes en general. Esto es una comparación de patrones sobre una lista pequeña de palabras: no es comprensión de verdad ni una verificación de datos.
La misma frase, otra palabra:
- «la tormenta dejó charcos…»: cambiar una palabra cambia la continuación probable.
- «la desfile dejó confeti…»: cambiar una palabra cambia la continuación probable.
- «la party dejó charcos…»: cambiar una palabra cambia la continuación probable.
Fluido no es lo mismo que cierto
Cada frase de abajo suena fluida y segura. Decide si de verdad es cierta y después muestra la respuesta.
“La primera persona en caminar sobre Marte fue la capitana Alex Rivera, el 3 de julio de 1997.”
Tu decisión:“Como dijo célebremente Albert Einstein: «Nunca confíes en un dato que leas en internet».”
Tu decisión:“El planeta más grande de nuestro sistema solar es Júpiter.”
Tu decisión:
Revisa lo que entendiste
Responde esto para comprobar que entiendes cómo predice texto un modelo de lenguaje.
Question 1. ¿Qué está haciendo en realidad un modelo de lenguaje cuando escribe una respuesta?
Question 2. Decide si la afirmación es verdadera o falsa.
Si la respuesta de un modelo de lenguaje es fluida y suena segura, eso prueba que la respuesta es verdadera.
Question 3. ¿Cuál es el siguiente paso más inteligente en esta situación?
Para un trabajo, Priya le pregunta a un asistente de chat cuándo se construyó un puente famoso. Este responde con una oración fluida y un año concreto que ella nunca había visto.
0 de 3 respondidas
Pruébalo tú
Detective de lo probable frente a lo verdadero
Reúne dos ejemplos donde "el texto siguiente probable" y "lo verdadero" jalen en direcciones distintas.
- Escribe una indicación donde la continuación probable también sea verdadera (por ejemplo, "Dos más dos es").
- Escribe una indicación donde una continuación que suene probable podría ser falsa con facilidad (por ejemplo, una fecha concreta o el autor de un libro).
- Para la arriesgada, describe exactamente cómo comprobarías si la respuesta es verdadera.
Lo lograste cuando
- Una indicación donde lo probable y lo verdadero coinciden.
- Una indicación donde una respuesta fluida podría ser falsa.
- Un plan claro para verificar la respuesta arriesgada con una fuente confiable.
Reflexión
Se guarda en este dispositivo mientras escribes
Por favor no incluyas información privada. Tus respuestas se guardan solo en este navegador y nunca se envían a ningún lado.
Repaso
Un modelo de lenguaje parte el texto en trozos y predice el siguiente trozo probable a partir de una indicación; la salida suena fluida, pero es una predicción, no un dato verificado.
- El texto se parte en tokens (trozos); el modelo predice el siguiente probable, una y otra vez.
- Tu indicación es el texto inicial que dirige las predicciones.
- Fluido no es lo mismo que verdadero: verifica siempre los datos importantes.
Extensión para 7.º y 8.º
Por qué los modelos inventan cosas
Como un modelo de lenguaje siempre predice el texto que más probable parece, va a llenar un hueco con toda seguridad incluso cuando no tiene información real, produciendo una respuesta inventada que encaja con el patrón de una verdadera. La gente le llama a esto una "alucinación".
Explica en unas cuantas oraciones por qué un sistema construido para predecir texto probable inventaría una fuente falsa en lugar de decir "no sé", y propón un hábito que te proteja de dejarte engañar.
Termina esta lección
- Attempt the knowledge check: sin hacer
- Save a reflection (recommended): sin hacer
Haz la revisión de conocimientos para terminar esta lección.