语言模型基础知识：大语言模型，LLM时代

地球每天产生5亿条推文，2940亿封电子邮件，400万zettabytes (ZB)的Facebook数据，650亿条WhatsApp消息，以及每天新增720,000小时的YouTube内容。(以上数据来自Techeplore：https://techxplore.com/news/2021-05-world.html）

在快速发展的科技时代，基于如此庞大且日益增长的数据，我们的教育和学习方式是否需要改变？我们的学习方式是否将迎来一次“革命性”的变化？

上周，我和同在教育科技领域的创业多年的於德悦 Chinat Yu（也是我在斯坦福大学的同学），展开了一场深入4小时的围绕着计算机科学、教育科技与大语言模型的漫谈。Chinat具有深厚的CS背景，且做了多个教育科技产品，近期在研究产品设计和用机器学习研发个人的知识“代理模型”；我具有多年学习科技领域创业&产品架构和设计的经验，近期在研究在LLM的背景下，如何更高效得让机器人更高效得帮助个人提升，尤其是在学习者专注于一个短的学习任务（如专注3小时学习一篇论文，或者1小时学习专业术语或者知识）的时候。

我们探讨了诸多话题，如教育在未来可能变化的方向，大型语言模型给未来教育带来的变革潜力，个性化学习在未来可能会如何实现等。我们共同认同，大型语言模型的应用将有可能彻底颠覆传统教育，带来更高效、更个性化，适当使用大型语言模型，会使模型有潜力解决“注意力控制”的问题，学习环境中庞杂的信息“过噪”的问题的解决方案。我们还探索了如何大限度地发挥这些模型的潜力，以及我们可以做些什么来更好地推动教育创新，社会进步和人类知识的繁荣。

看不见的“硝烟“与机遇：“99%的数据是在过去10年间产生的”

远古人类在洞穴壁画中储存信息，目前已知最古老的壁画已有4万多年的历史。

语言和文字随着人类的进化出现，帮助人类以书面形式存储详细信息，

也使人类这个群体在地球家园上，显得有那么一点“与众不同“。

拍摄于大英博物馆-2019年8月-Sophie Ren

我们先来从历史的视角来回顾一下人类的“学习史”上重要的部分时刻：

人类“学习史”上的重要时刻

#01

谷物革命

公元前10000年左右的新石器时代，人们从追着猎物奔跑（狩猎采集）转向了农耕生产，谷物革命的发生为人类提供了更加稳定和可预测的食物来源，也为人们创造了更多的时间和机会去探索和学习新知识

#02

书写的发明

书写的发明是人类历史上重要的一步，因为它让人们有了一种记录和传承知识的方式。最早的书写形式是象形文字，后来逐渐演变成更加方便的音节文字。文字是抽象的表达，书写的发明为人类提供了一种更加可靠和持久的学习信息的方式。除了书写文字之外，书写“结构”，画图，艺术等不同载体也提供了记录人类历史文明的丰富载体。

#03

印刷术的发明

印刷术改变了知识的传播方式，让书籍的制作和传播变得更加高效和广泛。印刷术的发明使得知识变得更加容易获取，也为知识的广泛传播打下了基础。在此之前，书籍的抄写和繁复的手工复制极大地限制了知识的传播，使得大部分人无法接触到书籍和知识，而印刷术的发明彻底改变了这一状况。印刷术改变了人类学习历史中知识的“分发系统”，用现在的话来说，促进了教育的平等与公平。

#04

现代教育体系的建立

现代教育体系的建立标志着教育从少数特权阶层的专属领域逐渐向全体人民普及化。现代教育体系的发展为人们提供了更加系统和全面的学习机会和方式，也使得人们的学习和思考能力得到更加广泛和全面的提高。

#05

科技革命的出现

随着收音机和电视的发明，人类能够接触的信息量显著增加。科技革命的出现使得人类能够更加高效和便捷地获取和传播信息。随着互联网和移动设备的发展，人们可以随时随地地获取和分享信息，从而更加便利地探索和学习新知识，进而进一步得促使了知识。仅仅50年的时间里，我们在计算能力、无线技术、互联网、人工智能，以及显示技术、移动通信、交通、遗传、医学和太空探索方面都取得了前所未有的进步，这些繁荣源于知识的迅速传播。

#06

AI与大语言模型时代

AI和大语言模型时代：大型语言模型如GPT展现了其惊人的语言生成和理解能力，从而使得机器能够自动化地处理自然语言。新型新技术将促进知识的快速获取和共享，并且可能在未来改变学习的方式。

科技革命后，发生了什么？

90%的数据是在过去的10年内产生的。自1970年以来，人类已经从地球的消费者变成了地球的掠夺者。存储我们目前拥有的数据量需要大约7000万个服务器。

毋庸置疑，我们处于一个信息爆炸的时代。

现在，我们一半以上的网络搜索都是通过手机进行的：超过 37 亿人使用互联网（比 2016 年增长 7.5%）。平均而言，Google 现在每秒处理超过 40,000 次搜索（每天 35 亿次搜索）！虽然 77% 的搜索是在谷歌上进行的，但不要忘记其他搜索引擎也在为我们的日常数据生成做出贡献。全世界每天有 50 亿次搜索。（以上数据引用自福布斯2018年的文章：https://www.forbes.com/sites/bernardmarr/2018/05/21/how-much-data-do-we-create-every-day-the-mind-blowing-stats-everyone-should-read/?sh=21cd1cc360ba）

2018年，全球创造、捕捉、复制和消耗的信息总量为33赫字节（ZB），相当于33 万亿千兆字节 （33 trillion gigabytes）。这在2020年增长至59ZB，并预计到2025年将达到惊人的175ZB。一个赫字节等于8,000,000,000,000,000,000,000位。(以上数据来自：https://techxplore.com/news/2021-05-world.html）

人们正在以前所未有的速度创造和消耗数据，这也带来了新的挑战和机遇，如何有效地管理和使用这些数据：从教育和学习领域而言，数据的革命性增长到底意味着什么呢？

对于个人的知识管理而言，数据是一种自我表达和创造的方式，人们可以通过发布文字、结构化的图片、视频等方式，向世界表达自己。同时，也可以通过收集和分析数据，拓展、了解、加深、重塑自己的兴趣和爱好，找到自己喜爱的生活方式和事业规划路径。换个角度讲，个人的当前知识结构可能代表了一个当下的自我，而正在探索新世界的行为，则是代表着未来的多种可能性。

对于企业的知识管理而言，数据是一种宝贵的资源，可以帮助企业了解市场需求、优化产品、提高效率、降低成本等。通过采集、分析和处理大量的数据，企业可以更好地把握市场动态，制定更科学的战略和计划。通过更好得使用自己的知识资产，企业可以将自己的作为一个智慧的个体一样，延续、发展、传承，并且也向下一个阶段迈进。

知识的本体、知识的创造者、知识的传播者、知识的应用者和知识的继承人之间的关系将在未来发生怎样有趣的变化？

随着人工智能和大型语言模型的发展，我们可能会看到知识创造和传播的速度变得更快，使得个人和企业能够更快地适应新环境和市场。加上随着全球化的加速，知识的传播和应用可能会跨越国界，使得知识的创造者和应用者之间的距离变得更加紧密。此外，知识的价值可能会发生变化，在自己领域内具有深刻认知的专家可能会变得更加珍贵，而跨领域的知识整合者可能会成为企业和社会的新需求。

未来的知识管理将更加强调知识的创新、整合和共享，以应对日益复杂和多样化的世界。

信息指数级增长，对于学习者的影响？

Q：在信息量指数增长的背景下，学习者能否更容易地获取所需的知识？

A：是的，也不是。信息量指数增长意味着学习者可以更快地找到所需的信息。网络上的资源丰富多样，使得获取知识变得相对容易。然而，这种现象也可能导致信息过载，学习者很难在大量信息中筛选出真正有价值的内容。

Q：那么，信息量指数增长如何影响学习者的批判性思维？

A：一方面，信息量的增长意味着学习者需要具备更强的批判性思维能力，以分辨哪些信息是可靠的，哪些是错误的或具有误导性。这有助于培养学习者的判断力和独立思考能力。另一方面，过多的信息可能导致学习者对任何观点都持怀疑态度，这可能影响他们形成自己的观点和信念。

Q：在这个信息量指数增长的时代，如何保持学习者的专注力？

A：面对海量信息，学习者需要培养更强的自律和专注力，需要学会筛选和管理信息，以便更有效地利用有限的时间和精力。然而，过多的信息和数字化设备也可能导致分心和干扰，使学习者难以长时间集中注意力。

Q：信息量指数增长是否有助于跨学科学习和创新？

A：是的，信息量指数增长为学习者提供了更多跨学科学习的机会。学习者可以轻松地探索各个领域的知识，从而激发新的思维方式和解决问题的方法。然而，过多的信息可能导致学习者难以深入了解某一领域，这可能限制了他们在该领域的创新能力。

大语言模型出现后，人类面临的学习环境的变化

大型语言模型（如GPT-4）的普及将对学习环境产生重大变革：

1. 个性化学习实现的潜质：大型语言模型将有潜质提供高度个性化的学习体验，根据个别学生的学习需求和偏好的学习方式量身定制。大型语言模型将能够了解学习者的喜好，从而为他们创建定制的学习路径。比如一个喜欢猫科动物的人在学习神经科学，在解释一些晦涩难懂的概念时，大型语言模型可以用和猫科动物相关的比喻给出这个学习者相应的类比。
2. 即时获取信息的可能性：学习者将能够随时随地获取大量信息。大型语言模型将能够对问题提供准确且符合上下文的答案，无需在教科书或在线资源中进行搜索。
3. 有效的增强对教师教学的支持：教师将能够利用AI驱动的工具来帮助他们管理教学工作负担，包括批改作业、提供反馈甚至制定教学计划。这将使教师能够更加关注与学生的一对一高价值的互动以及。
4. 全球跨文化和语言的无障碍合作：借助AI支持的语言翻译，来自世界不同地区的学生和教育者将能够更轻松地进行合作和分享知识，打破文化的GAP和语言障碍。
5. 教育游戏化，视觉化的潜力：AI驱动的学习平台可以更低成本的整合游戏元素，使学习变得更有趣和吸引人。随着内容生产成本的大幅度降低，我们在现在的市场上，也看到了更多的互动类型的、视觉效果极佳的学习内容。学习者可以通过奖励、积分、排行榜和互动体验来激发学习的动力。
6. 带来新型评估形式：随着AI驱动的学习环境变得越来越复杂，传统的评估方式（如测试和考试）可能变得越来越不那么重要。相反，可以实时持续地评估学生的理解和对知识的掌握，可能为他们的学习路径提供更准确的用户画像。
7. 终身学习：大型语言模型将通过提供在各个领域的信息和资源的便捷获取，推动终身学习的发生，使个人能够在整个生命周期内不断学习和提高自己的技能。
8. 跨学科的学习合作增加：大型语言模型具有广泛的知识覆盖范围，可以在不同学科领域提供信息和见解。这有助于学习者和研究人员更轻松地获取跨学科知识，从而激发新的思路。

以上的这些变化有可能彻底改变教育，使学习过程和内容对学习者而言变得更加个性化、易于接触和参与。

一些有趣的关于教育系统问题和未来的洞察探讨

於德悦（Chinat Yu) ：

现在的教育系统面临两个巨大的问题：

1. 负担过重：学生在过多的学习资源和选择中感到不堪重负。许多教育平台的盈利模式基于注意力经济，追求用户在平台上的停留时间和流量。然而，研究表明，更多的选择并不一定能带来更好的学习体验，反而可能让学生难以做出决策。
2. 注意力分散：过多的选择让学生难以集中注意力。随着科技的发展，人们在越来越小的空间内完成各种任务，导致注意力碎片化，难以专注于某个特定领域的学习。

解决这两个问题需要找到一个方案，帮助学生更好地专注于学习并明确他们的学习目标。

小So姐（Sophie R） ：

当前教育系统确实面临着一些挑战，在LLM的背景下，我关注社会的教育资源如何重塑，以及重塑后的学习内容如何重新高效的分发，产生更大的价值。

我尤其关注个性化学习的匹配能力有待提升：这种匹配讲的是学习者、内容、和学习方式的匹配。

1. 学习者对学习过程本身和自我的学习过程如何看待和理解：部分学习者在学习过程中并不了解学习过程本身对应的大脑规律，比如还在用“重复”，“死磕”等方式进行学习，殊不知有的传统的学习方式是和大脑规律相悖的。还有部分学习者对于学习结果的期望过高，这可能导致他们在面临困难时容易放弃。。
2. 优质学习内容生产力依然不足：当前的教育环境中，优质学习资源的生产速度相对较慢，这意味着学习者可能难以获取到足够的高质量学习材料，从而影响学习效果。我个人认为这是由于“学习科学”的尚未普及导致的。目前优质的内容创作者，一部分受到教育学、认知科学的启发，还有一部分受到营销学、经济学的启发，我们需要对于“学习科学”有更多的研究和普及。
3. 优质内容的分发（学习方式）不够高效和公平：尽管我们面临着优质教育资源生产速度较慢的问题，但更大的挑战在于这些资源的分发并不公平。这意味着并非所有学习者都能获得这些优质资源。为了解决这一问题，我们需要改进教育资源的分发机制，确保所有学习者都能公平地获取到优质学习内容。

未来，人类可能会因为LLM有一场学习“革命”。首先，学习科学本身的普及将会有助于个体对学习规律的认知，我们也可能通过大型语言模型引导学习者根据学习任务的类型培养适应性的心态，如更合适的自我监控、自我调整和自我评价等。另外，LLM将会引导优质内容的加速生产，和生产后的内容通过对学习者的认知有更精准的个性化匹配。学习方式也会发生一些革新，非正式学习的方式在比例上可能会在人的日常生活中增加。

关于个性化学习，我们都聊了什么？

Growth comes at the point of resistance. We learn by pushing ourselves and finding what really lies at the outer reaches of our abilities. —— The Art of Learning

学习是学习者个体和信息之间的一场交互，交互过程中产生的连接，即是学习者学到了什么。这种交互，会在我们的大脑中产生化学物质，或者电信号，或者产生物理变化-即产生新的链接。这种交互，越是深刻，就越是难忘。

於德悦（Chinat Yu) ：

为了让学习更加个人化、个性化、更有趣和有影响力，我们可以结合Probathon和Educe框架来设计富有创意的学习体验。Probathon是一种解决问题的方法，它借鉴了黑客马拉松（Hackathon）的概念，将解决问题的概率与寻找解决方案的过程相结合。Educe框架则关注于挖掘学生的潜能，帮助他们发现自己的兴趣和才能。

通过整合这两个框架，我们可以设计一种学习模式，既能让学生在有趣的实践中发掘自己的兴趣，又能激发他们的创造力和求知欲。以下是一个案例：

我们可以为学生设计一个跨学科的项目，例如在一个为期一周的Probathon活动中，让学生团队解决一个实际问题，如环保、城市规划或者医疗等。在这个过程中，学生可以自由选择参与的领域和角色，比如设计、编程、数据分析等。Educe框架在这里发挥作用，通过学生在项目中的表现，为他们提供个性化的反馈和指导，以便他们能更好地发现自己的潜能。

在这样的学习环境中，学生可以根据自己的兴趣和能力选择任务，从而使学习更加个性化。同时，通过团队合作解决实际问题，学生能更好地体会到学习的乐趣和成就感，从而提高他们的学习积极性和影响力。最终，这样的学习模式将有助于培养学生的创新思维和实践能力。

小So姐（Sophie R） ：

知识可以分为信息类、过程类（需要操作）和技能类（长期积累）。这三类知识在学习过程中需要采取不同的个性化策略。这种分类和个性化策略的理论依据来自于知识分类的研究和认知心理学。

认知心理学关注人们如何获取、加工和存储信息。布鲁姆的教育目标分类（Bloom's Taxonomy）就是一个典型的例子，它将知识分为六个层次：知道、理解、应用、分析、综合和评价。在这个分类中，信息类知识主要涉及“知道”和“理解”的层次，过程类知识涉及“应用”和“分析”的层次，技能类知识则涉及“综合”和“评价”的层次。

结合大型语言模型（LLM）的特性，我们可以针对这三类知识设计不同的个性化学习策略：

1. 信息类知识：LLM可以充当智能问答系统，帮助学生快速获取所需的信息。同时，基于学生的背景知识和兴趣，LLM可以提供定制化的解释和示例，使学生更容易理解和记住相关信息。
2. 过程类知识：LLM可以提供详细的步骤指导和实践建议，帮助学生掌握操作方法。此外，LLM可以通过分析学生在执行过程中遇到的问题，给出有针对性的反馈和改进建议，使学生更好地掌握过程类知识。
3. 技能类知识：对于长期积累的技能类知识，LLM可以辅助学生制定个性化的学习计划，并提供定期的评估和反馈。此外，LLM还可以分析学生在技能发展过程中的优点和不足，为他们提供有针对性的指导和激励，促使他们持续进步。

大型语言模型具有强大的知识库、推理能力和个性化支持功能，能够针对不同类型的知识提供有效的个性化学习策略。

1. 沉浸式虚拟课堂：大型语言模型可以用于创建模拟现实环境的虚拟学习空间，让学习者在引人入胜、逼真的场景中探索、互动和学习。
2. AI驱动的导师制：学习者可以获得AI导师的支持，这些导师根据他们的个人学习需求和目标提供个性化的指导、支持和反馈，帮助他们克服挑战。
3. 协同学习平台：AI驱动的平台可以促进全球范围内的学生和教师实时协作，促进跨地域和文化的观点、知识和想法交流。
4. 多语种教育：大型语言模型可以提供无缝翻译和解释服务，使学习者和教育者更容易用多种语言获取和共享信息，从而促进语言和文化多样性。
5. 自适应学习系统：AI驱动的学习系统可以根据学生不断变化的需求、喜好和学习风格进行动态调整，确保他们在正确的时间获得合适的内容、资源和支持。
6. 创造性解决问题：大型语言模型可用于生成解决复杂问题的新颖方案，通过为学生提供独特的挑战和机遇，激发他们的创造力和批判性思维能力。
7. 真实场景模拟：AI驱动的模拟可以为学生提供各领域真实、实践的体验，让他们将所学知识和技能应用于真实场景，并获得有价值的见解和反馈。
8. 情绪和冥想等学习环境干预方式的的应用：大型语言模型对于环境的干预可以整合到学习环境中，促进压力管理和学习的情绪，从而带来更好的学习效果。
9. 技能为本的学习：AI驱动的学习平台可以强调技能培养，为学生提供实用、符合职业道路的技能。
10. 终身学习社群：大型语言模型可以帮助创建和维护全球范围内致力于持续个人和职业发展的学习者网络，培育一种不断进步、合作和互助的文化。

做个调研：

我有个很好奇的问题，想问读者：如果有AI的模型可以将你的知识或者你的背景了解的比较清楚，你愿意让这个AI成为你个人的知识代理么？欢迎私信我~

AI和大语言模型开启的人类繁荣新纪元

在《权力的游戏》中，主角乔恩·雪诺（Jon Snow）前往北境，与提里昂·兰尼斯特（Tyrion Lannister）相遇。提里昂提醒雪诺，你以为你是天生的打斗高手，其实你只是因为拥有更多的资源和机会才能够打得这么溜。其他人可能没有这样的机会，他们同样有着其他方面的积累和优势，只是暂时没有被系统训练过罢了。这让雪诺开始思考，他开始意识到自己的优越条件并不是自己所创造的，他开始更加珍惜自己所拥有的资源和机会，并开始关注那些没有这样的条件的人们。

人与人之间并没有太大的本质差异，只是因为某些人拥有更多的资源和机会，所以暂时表现出来的能力更强。但是，技术的发展正在打破“学习资源”原来的门槛，让每个人都有机会接触到高质量的学习资源。

无论在如何地域，任何行业，无论人们来自大城市或者是小城镇，现在都有机会通过在线来链接世界顶尖的教育和学习资源。

AI和大语言模型的发展将进一步促进知识的传播和普及，为更多的人提供机会和资源，帮助人们更好地了解世界和自身，并在各个领域中取得更加卓越的成就。AI和大语言模型可能是一个促进教育公平的重要工具，也能够促使教育的成果被广泛应用，从而解决一些现实的社会问题。例如，在医疗领域，AI可以帮助跨地区的医生更快地学习如何诊断病症；AI和大语言模型还可以帮助人们打破语言和文化的壁垒，为跨文化的学习交流打下基础。

AI将进一步的促进革命式的知识传播和普及，我们来一起拭目以待:

AI和大语言模型为人类社会带来的这个让人兴奋的下一个繁荣的新纪元。

而你、我，都会是其中的一员。