Week 4 · Lesson 2 · 50-60 minutos
Como os modelos de linguagem preveem texto
Olhe por dentro da IA por trás do autocompletar e dos assistentes de chat: ela quebra o texto em trechos e prevê o próximo trecho provável, o que soa fluente mas não é o mesmo que ser verdadeiro.
- Materials
- Esta aula em um navegador web · Papel e lápis, ou um aplicativo de notas
- This lesson
- In progress
Auto-saves on this device
What you'll be able to do
- Explicar que um modelo de linguagem prevê o próximo trecho provável de texto.
- Descrever como o texto é quebrado em tokens (trechos) com que o modelo trabalha.
- Explicar como um comando inicia e direciona a previsão.
- Explicar por que um texto que soa fluente não é o mesmo que um texto verdadeiro ou correto.
Think about it
Digite "Era uma vez" em um celular e ele sugere "um". Digite "A capital da Austrália é" em um assistente de chat e ele pode responder com toda a fluência "Sydney", o que está errado; é Camberra. Se as duas respostas soam naturais, como a IA decide o que dizer?
Guarde isto: soar certo e estar certo são duas coisas diferentes.
Make a prediction
Preveja: quando você digita "pão com", que palavra você acha que um modelo de linguagem tem mais chance de acrescentar, e por que justo essa?
Vocabulary
See the full course vocabulary- Modelo de linguagem
- Uma IA treinada com quantidades enormes de texto, que prevê qual texto tem chance de vir a seguir.
- Token (trecho de texto)
- Um pedacinho de texto com que o modelo trabalha, muitas vezes uma palavra ou parte de uma palavra, como "brinc", "ando", ou um sinal de pontuação.
- Próximo texto provável
- Os trechos que o modelo estima como mais prováveis de vir a seguir, com base nos padrões do texto com que ele aprendeu.
- Comando
- O texto inicial que você dá a um modelo de linguagem, que ele continua prevendo o que vem depois.
- Fluente
- Que se lê de forma corrida e soa natural. Um texto fluente ainda pode estar errado, porque soar certo não é o mesmo que estar certo.
O texto é quebrado em trechos chamados tokens
Um modelo de linguagem não lê redações inteiras de uma vez. Ele quebra o texto em pedacinhos chamados tokens. Um token costuma ser uma palavra, mas palavras longas ou incomuns são divididas: "inacreditável" pode virar "ina", "credit" e "ável". Espaços e pontuação também contam.
Trabalhar em tokens permite ao modelo lidar com qualquer texto, até com palavras que ele nunca viu, combinando pedaços conhecidos.
- "Eu amo pizza" → tokens: "Eu", " amo", " pizza"
- "brincando" → tokens: "brinc", "ando"
- Um ponto final "." é um token por si só
O modelo prevê o próximo trecho provável
Um modelo de linguagem tem uma tarefa central: dado o texto até aqui, prever o próximo token. Ele aprendeu com enormes quantidades de texto quais trechos costumam vir depois de quais. Depois de "pão com", o trecho "manteiga" é bem provável, então é isso que ele prevê.
E ele faz isso de novo e de novo: prevê um trecho, acrescenta, e prevê o seguinte, para montar frases inteiras. O seu comando é o texto inicial que põe tudo em movimento; mude o comando e os próximos trechos prováveis mudam também.
- Comando "O céu está" → próximo trecho provável "azul"
- Comando "Prezada diretora," → os próximos trechos prováveis começam uma carta formal
- Comando "def somar(a, b):" → os próximos trechos prováveis parecem código de computador
Fluente não é o mesmo que verdadeiro
Esta é a ideia mais importante da aula. Um modelo de linguagem prevê qual texto é provável, não o que é verdadeiro. "Provável" quer dizer que aquilo se encaixa nos padrões de linguagem que ele aprendeu, e não que alguém conferiu os fatos.
Então um modelo pode produzir uma frase corrida, confiante e bem construída que é simplesmente falsa. Às vezes isso é chamado de resposta inventada ou "alucinada". Uma saída fluente significa que as palavras se encaixam bem; não diz nada sobre a afirmação estar correta. Sempre confira fatos importantes em uma fonte confiável, e não só porque a IA "pareceu segura".
- Um modelo pode citar o título de um livro falso em uma frase perfeitamente natural
- Ele pode dar com toda a segurança uma data errada que se lê de forma corrida
- Ele pode inventar uma fonte que parece real mas não existe
Worked example
Prevendo trecho por trecho a partir de um comando
- Comando: "A melhor parte do verão é".
- O modelo quebra isso em tokens e olha os padrões de texto que vieram depois de começos parecidos.
- Ele prevê o próximo trecho mais provável, talvez " nadar", e acrescenta.
- Agora o texto é "A melhor parte do verão é nadar"; ele prevê de novo, talvez " na", depois " piscina".
- Trecho por trecho ele monta uma frase fluente. Repare: em momento nenhum ele conferiu se nadar é mesmo a melhor parte do verão; ele só seguiu padrões prováveis.
Takeaway: Um modelo de linguagem monta o texto um trecho provável por vez a partir do seu comando; o resultado soa natural, mas é uma previsão, não um fato conferido.
Um ciclo mostrado como fluxo. Início: o texto do comando. Passo 1: quebrar em tokens (trechos). Passo 2: prever o próximo trecho mais provável. Passo 3: acrescentar esse trecho ao texto. Uma seta volta do passo 3 ao passo 2 para prever de novo, e de novo, fazendo o texto crescer trecho por trecho até parar. O fluxo destaca que cada passo só pergunta "que trecho é provável a seguir?", nunca "isso é verdade?".
O modelo repete uma única pergunta, que trecho é provável a seguir, nunca "isso está correto?".
Values shown in probabilidade em 100.
Um gráfico de barras com probabilidades inventadas mas realistas para o próximo trecho depois do comando "O céu está". "azul" é de longe a barra mais alta, com cerca de 60 em 100; "limpo" fica por volta de 15, "caindo" por volta de 8, "cinza" por volta de 7, e "verde" é uma barra bem curta, de cerca de 2. O modelo tende a escolher uma barra alta, e é por isso que ele normalmente diz "azul", mas uma barra curta como "verde" ainda é possível, e "provável" nunca quer dizer "conferido como verdadeiro".
Activity
Laboratório de previsão do próximo texto
Rodar um pequeno previsor local da próxima palavra: ver as próximas palavras prováveis para um comando, trocar uma palavra para observar as probabilidades mudarem, e julgar se um texto fluente é de fato verdadeiro.
- Pick a prompt and see the words the model rates as most likely to come next.
- Swap a word (like storm → parade) or add your own words, and watch the likelihoods change.
- Then judge the fluency cards: a smooth sentence can still be false.
Most likely next words
puddles 43%, branches 29%, mud 14%, water 14%
Based on the last two words “storm left”, these words followed most often in the corpus. This is pattern-matching over a small word list — not real understanding, and not a fact-check.
Same sentence, different word:
- “the storm left puddles…” — changing one word changes the likely continuation.
- “the parade left confetti…” — changing one word changes the likely continuation.
- “the party left balloons…” — changing one word changes the likely continuation.
Fluent is not the same as true
Each sentence below sounds smooth and confident. Decide if it's actually true, then reveal the answer.
“The first person to walk on Mars was Captain Alex Rivera, on July 3rd, 1997.”
Your call:“As Albert Einstein famously said, “Never trust a fact you read on the internet.””
Your call:“The largest planet in our solar system is Jupiter.”
Your call:
Check your understanding
Responda a estas perguntas para conferir se você entendeu como um modelo de linguagem prevê texto.
Question 1. O que um modelo de linguagem está de fato fazendo quando escreve uma resposta?
Question 2. Decida se a afirmação é verdadeira ou falsa.
Se a resposta de um modelo de linguagem é fluente e soa confiante, isso prova que a resposta é verdadeira.
Question 3. Qual é a atitude mais inteligente nesta situação?
Para um trabalho, Priya pergunta a um assistente de chat quando uma ponte famosa foi construída. Ele responde com uma frase corrida e um ano específico que ela nunca tinha visto.
0 of 3 answered
Try it yourself
Detetive do provável contra o verdadeiro
Reúna dois exemplos em que "próximo texto provável" e "verdadeiro" puxam para lados diferentes.
- Escreva um comando em que a continuação provável também seja verdadeira (por exemplo, "Dois mais dois é").
- Escreva um comando em que uma continuação de aparência provável poderia facilmente ser falsa (por exemplo, uma data específica ou o autor de um livro).
- Para o arriscado, descreva exatamente como você conferiria se a resposta é verdadeira.
Success looks like
- Um comando em que provável e verdadeiro coincidem.
- Um comando em que uma resposta fluente poderia ser falsa.
- Um plano claro para verificar a resposta arriscada em uma fonte confiável.
Reflection
Saved on this device as you type
Please don't include private information. Your answers are saved only in this browser and are never sent anywhere.
Recap
Um modelo de linguagem quebra o texto em trechos e prevê o próximo trecho provável a partir de um comando; a saída soa fluente, mas é uma previsão, e não um fato conferido.
- O texto é quebrado em tokens (trechos); o modelo prevê o próximo provável, repetidas vezes.
- O seu comando é o texto inicial que direciona as previsões.
- Fluente não é o mesmo que verdadeiro: sempre verifique fatos importantes.
Grades 7–8 extension
Por que os modelos inventam coisas
Como um modelo de linguagem sempre prevê o texto de aparência mais provável, ele vai preencher uma lacuna com toda a confiança mesmo sem ter informação real, produzindo uma resposta inventada que se encaixa no padrão de uma verdadeira. As pessoas chamam isso de "alucinação".
Explique em poucas frases por que um sistema feito para prever texto provável inventaria uma fonte falsa em vez de dizer "não sei", e sugira um hábito que te proteja de ser enganado.
Finish this lesson
- Attempt the knowledge check — not done
- Save a reflection (recommended) — not done
Attempt the knowledge check to finish this lesson.