第 4 周 · 第 2 课 · 50-60 分钟
语言模型如何预测文本
看看自动补全和聊天助手背后的人工智能：它把文本拆成片段，再预测下一个可能的片段，这听起来很流畅，但流畅并不等于真实。
- 材料
- 在网页浏览器中打开的这节课 · 纸和笔，或者一个记事应用
- 本课
- 进行中
会自动保存在这台设备上
你将能够做到
- 说明语言模型预测的是下一段可能的文本。
- 描述文本如何被拆成模型所处理的词元（片段）。
- 说明提示词如何开启并引导预测。
- 说明为什么听起来流畅的输出不等于真实或正确的输出。
想一想
在手机上打「从前有」，它会建议「一」。在聊天助手里打「澳大利亚的首都是」，它可能顺顺当当地答「悉尼」，而这是错的，正确答案是堪培拉。既然两个答案听着都很自然，人工智能是怎么决定该说什么的？
记住这一点：听着对和确实对，是两码事。
做个预测
预测一下：当你打「花生酱和」时，你觉得语言模型最有可能接上哪个词？为什么偏偏是它？
- 语言模型
- 一种在海量文本上训练出来的人工智能，用来预测接下来可能出现什么文本。
- 词元（文本片段）
- 模型处理的一小块文本，通常是一个词或词的一部分，比如「玩」「耍」，或者一个标点符号。
- 下一段可能的文本
- 模型根据它所学文本中的规律，估计最有可能接下来出现的那些片段。
- 提示词
- 你给语言模型的起始文本，它会通过预测接下来的内容把这段文本续写下去。
- 流畅
- 读起来顺、听着自然。流畅的文本仍然可能是错的，因为听着对不等于就是对。
文本会被拆成叫作词元的片段
语言模型不会一口气读完整篇文章。它把文本拆成叫作词元的小片段。词元通常是一个词，但又长又生僻的词会被拆开：「难以置信」可能被拆成「难以」和「置信」。空格和标点也算数。
以词元为单位来处理，让模型能应付任何文本，哪怕是它从没见过的词，也能靠拼合熟悉的片段来处理。
- 「我爱比萨」→ 词元：「我」「爱」「比萨」
- 「玩耍」→ 词元：「玩」「耍」
- 一个句号「。」本身就是一个词元
模型预测下一个可能的片段
语言模型有一项核心任务：根据到目前为止的文本，预测下一个词元。它从海量文本中学到了哪些片段往往跟在哪些片段后面。在「花生酱和」之后，「果酱」这个片段非常可能，所以它就这么预测。
它一遍遍地这样做：预测一个片段，加上去，再预测下一个，从而写出完整的句子。你的提示词就是让这一切启动的起始文本；换一个提示词，接下来可能的片段也会跟着变。
- 提示词「天空是」→ 下一个可能的片段「蓝色的」
- 提示词「尊敬的校长：」→ 接下来可能的片段会开启一封正式信件
- 提示词「def add(a, b):」→ 接下来可能的片段看起来像计算机代码
流畅不等于真实
这是本节课最重要的一点。语言模型预测的是哪种文本可能出现，而不是哪种说法是真的。「可能」意味着它符合模型学到的语言规律，并不意味着有人核对过事实。
所以模型完全可能写出一句流畅、笃定、语法工整、却根本不对的话。人们有时把这叫作编造出来的答案，或者「幻觉」。输出流畅只说明词与词衔接得好；它丝毫不能说明那个说法是否正确。重要的事实一定要拿去和可靠来源核对，而不能只因为人工智能「听上去很确定」。
- 模型可能在一句非常自然的话里，说出一个并不存在的书名
- 它可能笃定地给出一个错误日期，读起来却毫不别扭
- 它可能编造一个听着像真的、实际却不存在的出处
例题讲解
从提示词开始，一片一片地预测
- 提示词：「夏天最棒的是」。
- 模型把它拆成词元，并查看在类似开头之后出现过的文本规律。
- 它预测出下一个最可能的片段，也许是「游泳」，然后把它加上去。
- 现在文本是「夏天最棒的是游泳」；它再预测一次，也许是「在」，然后是「泳池」，然后是「里」。
- 就这样一片一片地，它拼出一句流畅的话。请注意：它从头到尾都没有核实过游泳是不是真的就是夏天最棒的事；它只是顺着可能的规律往下走。
要点：语言模型从你的提示词出发，一次一个可能的片段地拼出文本；结果听着自然，但那是一次预测，而不是经过核实的事实。
一个以流程形式呈现的循环。起点：提示词文本。第 1 步：拆成词元（片段）。第 2 步：预测下一个最可能的片段。第 3 步：把这个片段追加到文本上。一支箭头从第 3 步绕回第 2 步，再次预测，如此往复，让文本一片一片地生长，直到停下。这个流程强调：每一步只问「下一个可能是什么片段？」，从不问「这是真的吗？」
模型反复问的只有一个问题：下一个可能是什么片段，而从不问「这对吗？」
数值以可能性（满分 100）为单位。
一张条形图，展示提示词「天空是」之后各个下一片段的可能性，数值是虚构但合乎实际的。「蓝色的」遥遥领先，约为 100 分之 60；「晴朗的」约为 15，「塌下来了」约为 8，「灰色的」约为 7，而「绿色的」是一条很短的条，约为 2。模型往往会挑高的那一条，所以它通常说「蓝色的」，但像「绿色的」这样的短条依然有可能被选中，而且「可能」从来都不等于「经核实为真」。
活动
下一段文本预测实验室
运行一个小型的本地下一词预测器：查看某个提示词之后可能出现的词，换掉一个词看概率如何变化，并判断流畅的文本是否真的属实。
- 选一个开头，看看模型认为接下来最可能出现哪些词。
- 换一个词（比如「暴风雨」→「游行」），或者自己加几个词，看看概率怎么变。
- 然后判断那几张「流畅」卡片：读起来顺的句子照样可能是假的。
接下来最可能的词
了 11%, 在 8%, 留下 8%, 上 4%
最近的这些词都没有匹配，所以模型退回到整体上最常见的词。 这只是在一小份词表上做模式匹配，既不是真正的理解，也不是事实核查。
同一句话，换一个词：
- 「暴风雨 留下 了 彩纸…」——换掉一个词，可能的续写就变了。
- 「游行 留下 了 彩纸…」——换掉一个词，可能的续写就变了。
- 「派对 留下 了 彩纸…」——换掉一个词，可能的续写就变了。
流畅不等于真实
下面每一句都读得顺、说得笃定。先判断它到底是不是真的，再看答案。
“第一个在火星上行走的人是 亚历克斯·里维拉船长，时间是 1997 年 7 月 3 日。”
你的判断：“正如阿尔伯特·爱因斯坦的名言所说： 「永远不要相信你在网上读到的事实。」”
你的判断：“太阳系里最大的行星是 木星。”
你的判断：
检查你的理解
回答这些题，检验你是否理解语言模型如何预测文本。
Question 1. 语言模型在写出一个答案时，实际上在做什么？
Question 2. 判断这句话是对还是错。
如果语言模型的回答流畅又听着笃定，那就证明这个回答是真的。
Question 3. 在这种情形下，最明智的下一步是什么？
为了写报告，普里娅问聊天助手某座著名桥梁是什么时候建成的。它用一句流畅的话作答，给出了一个她从没见过的具体年份。
已回答 0 / 3
自己动手试试
「可能」与「真实」的侦探
收集两个例子，让「下一段可能的文本」和「真实」朝着不同方向拉扯。
- 写一个提示词，让可能的续写同时也是真实的（例如「二加二等于」）。
- 写一个提示词，让听起来很可能的续写很容易是假的（例如某个具体日期，或某本书的作者）。
- 对那个有风险的提示词，具体说明你会怎样核实答案是否属实。
做到这样就算成功
- 一个「可能」与「真实」一致的提示词。
- 一个流畅答案有可能是假的提示词。
- 一份用可靠来源核实那个高风险答案的明确计划。
反思
输入时会保存在这台设备上
请不要写私人信息。你的回答只保存在这个浏览器里，不会发送到任何地方。
小结
语言模型把文本拆成片段，并根据提示词预测下一个可能的片段；输出听着流畅，但那是一次预测，而不是经过核实的事实。
- 文本被拆成词元（片段）；模型一次又一次地预测下一个可能的片段。
- 你的提示词就是引导这些预测的起始文本。
- 流畅不等于真实：重要的事实一定要核实。
七至八年级延伸内容
模型为什么会编造
因为语言模型总是预测看起来最可能的文本，所以哪怕它并没有真实信息，也会笃定地把空缺填上，编出一个符合真实答案模式的假答案。人们把这叫作「幻觉」。
用几句话说明：一个被造出来预测可能文本的系统，为什么会去编造一个假出处，而不是直接说「我不知道」，并提出一个能让你不被糊弄的习惯。
完成这一课
- Attempt the knowledge check（未完成）
- Save a reflection (recommended)（未完成）
先做一下知识检查，才能完成这一课。