HASH GAME - Online Skill Game GET 300

　　AI 大神 Andrej Karpathy 就不多介绍了，刚刚No Priors 播客邀请到了Andrej Karpathy 进行了一场最新对话，Karpathy爆料特斯拉自动驾驶的“秘密武器”：训练时间使用昂贵传感器，但在实际应用中只使用摄像头；Karpathy还说他非常要一个宇树科技的人形机器人等等！这次访谈Andrej输出的信息质量和密度都是极其高的，强烈推荐，我们第一时间对对话内容进行了重点梳理，中文完整版（2万字左右，AI翻译）也一并奉上，慢慢享用

　　Andrej：我在自动驾驶领域工作了大约五年，我认为这是一个非常有趣的领域。嗯，基本上，我认为... ... 我经常会把自动驾驶和 AGI (通用人工智能) 进行类比，这可能只是因为我对它很熟悉，但我感觉我们在自动驾驶领域已经有点像实现了 AGI。因为现在已经有了一些系统，你可以把它们带到任何地方，作为付费客户，你可以把它们带到旧金山。在这里，Waymo 当然很常见，你可能坐过 Waymo，我坐过很多次，它很神奇，它可以带你去任何地方。有趣的是，我第一次乘坐 Waymo 几乎是在十年前，大约是 2014 年左右，当时我有一个在那里工作的朋友，他给我做了个演示，它载着我绕着街区开了一圈。十年前，它就已经开得很完美了。而从一个演示到一个我可以在城市范围内付费使用的产品，花了 10 年时间，而且它还在不断扩展等等。

　　Andrej：我认为技术... ... 你只是在 30 分钟的演示驾驶中看不到它，你不会遇到他们十年来不得不处理的所有问题。所以，演示和产品之间存在着巨大的差距，我认为其中很大一部分也是监管因素等等。但我确实认为，从某种意义上说，我们已经在自动驾驶领域实现了 AI。然而，我认为真正令人着迷的是，全球化还没有发生。所以你有一个演示，你可以在旧金山体验它，但世界还没有改变，而这将需要很长时间。所以，我认为从演示到真正的全球化，两者之间存在着巨大的差距。这就是它与 AGI 的关系，因为我怀疑 AGI 也会以类似的方式出现，当我们真正实现它的时候，然后... ...

　　Andrej：让我们继续聊自动驾驶领域。我认为人们普遍认为 Waymo 比特斯拉更领先，但我个人认为特斯拉比 Waymo 更领先。我知道这看起来不像，但我仍然非常看好特斯拉及其自动驾驶项目。我认为特斯拉有一个软件问题，而 Waymo 有一个硬件问题，这就是我的总结。我认为软件问题更容易解决，特斯拉已经在地球上大规模部署了所有这些汽车，我认为 Waymo 需要做到这一点。所以，一旦特斯拉达到可以实际部署并且真正有效的程度，我认为它将会非常不可思议。我昨天刚刚试驾了最新的版本，它现在已经可以带我去任何地方了，他们在最近取得了非常大的进步。是的，我最近一直在使用它，它确实运行得很好。它昨天为我完成了一些不可思议的驾驶操作，所以我对团队正在做的事情印象非常深刻。所以我仍然认为特斯拉主要是一个软件问题，Waymo 主要是一个硬件问题。所以，我认为现在看起来 Waymo 似乎正在赢得胜利，但当我们展望 10 年后，看看谁真正实现了规模化，以及大部分收入来自哪里，我仍然认为特斯拉... ... 从这个意义上说，他们处于领先地位。

　　Andrej：我估计在未来几年内吧。但我希望像那样的事情... ... 但实际上，真正有趣的是，我不确定人们是否意识到特斯拉实际上也使用了很多昂贵的传感器，他们只是在训练时使用。所以，有很多汽车配备了激光雷达，它们做了很多无法扩展的事情，它们有额外的传感器等等，它们进行地图绘制，所有这些事情你都在训练时完成，然后你将这些提炼成一个测试时包，部署到汽车上，并且只使用视觉，这就像是一种传感器上的套利... ... 以及成本。所以，我认为这实际上是一个非常聪明的策略，我认为它并没有得到充分的认可，我认为它会很有效，因为像素包含了信息，我认为网络将能够做到这一点。是的，在训练时，我认为这些传感器非常有用，但我认为它们在测试时没有那么有用，我认为你... ... 你不需要... ...

　　Andrej：我一直在说神经网络如何能够“吞噬”整个技术栈，因为当我加入特斯拉的时候，有大量的 C++ 代码，而现在在汽车上运行的测试时包中，C++ 代码少了很多。因为... ... 后台仍然有很多东西... ... 我们没有谈到神经网络如何逐渐“吞噬”整个系统。所以，首先它只是在图像层面上进行检测，然后它会处理多张图像，给你预测结果，然后随着时间的推移处理多张图像，给你预测结果，你就可以丢弃 C++ 代码，最终你只是发出转向指令。所以我认为特斯拉正在逐渐“吞噬”整个技术栈。我的理解是，目前的 Waymo 实际上并没有做到这一点，他们尝试过，但最终没有这样做，这是我目前的理解，但我不确定，因为他们没有公开谈论过。但我从根本上相信这种方法... ... 我认为... ... 那是最后一块要倒下的积木，如果你想这样理解的话。我确实怀疑，在未来 10 年左右，特斯拉的端到端系统就只是一个神经网络。我的意思是，视频流输入到神经网络中，然后输出指令。你必须逐步构建它，逐步完成它，即使是我们所做的所有中间预测和所有事情，我认为它们实际上并没有误导开发，我认为它们是其中的一部分。因为... ... 这有很多合理的理由。所以，实际上，在自动驾驶领域，当你只是模仿人类的时候，你只有非常少的监督位来训练一个庞大的神经网络，信号位太少，无法训练数十亿个参数。所以，这些中间表示等等可以帮助你开发所有东西的特征和检测器，然后这使得端到端部分的问题变得容易得多。所以我怀疑，虽然我不知道，因为我不是团队的一员，但是有大量的预训练正在进行，这样你就可以对端到端进行微调。所以，基本上，我觉得有必要逐步“吞噬”整个技术栈，我认为这是特斯拉所做的正确方法，而且看起来它正在奏效，所以我真的很期待... ...

　　Andrej：当你仔细观察时，汽车基本上就是机器人。我认为特斯拉不是一家汽车公司，这种说法具有误导性，它是一家机器人公司，一家大规模生产机器人的公司，因为“大规模”也是一个完全独立的变量。他们不是在制造一个东西，而是在制造制造东西的机器，这是一个完全不同的事情。所以，我认为特斯拉是一家大规模生产机器人的公司。我认为，就从汽车到人形机器人的转移而言，其实并没有多少工作要做。事实上，像早期的 Optimus ... ... 机器人... ... 它以为自己是一辆汽车，因为它有完全相同的计算机，有完全相同的摄像头。这真的很有趣，因为我们在机器人上运行汽车网络，但它在办公室里走来走去，等等，它试图识别可行驶空间，但现在我想它只是步行空间。但它实际上有点泛化了，需要一些微调等等，但它以为自己在开车，但实际上它只是在环境中移动。

　　Andrej：是的，你肯定会缺少一些组件，但我还想说的是，有很多东西都可以转移。比如 Optimus 启动的速度，在我看来非常快，因为 Elon 一说我们要做这个，人们就带着所有合适的工具出现了，所有东西都出现得很快，所有这些 CAD 模型，所有供应链的东西，我当时就想，哇，特斯拉内部有这么多建造机器人的专业知识，而且都是一样的工具，它们只是被重新配置，就像变形金刚电影一样，它们只是被重新配置和重新组合，但本质上是一样的东西。你需要所有相同的组件，你需要考虑所有相同类型的东西，无论是在硬件方面，还是在规模方面，还是在大脑方面。所以，在大脑方面，也有大量的转移，不仅是特定的网络，还有所有的方法、标注团队、以及它们如何协调，以及人们正在采取的方法。我只是认为有大量的转移。

　　Andrej：我认为那将会很晚才出现，我认为 B2C 不应该是起点，因为我不认为我们可以让机器人压死奶奶，这就是我的... ... 我认为这有太多的法律责任，我只是不认为这是正确的... ... 我的意思是，它会摔倒什么的，你知道，这些东西还不完美，它们需要一些改进。所以，我认为最好的客户首先是你自己，我认为特斯拉可能会这样做。我非常看好特斯拉，如果人们能够... ... 第一个客户是你自己，你在工厂里培养它，等等，也许做很多材料搬运等等，这样你就不需要创建合同，与第三方合作，所有这些都很繁琐，有律师参与，等等。你在内部培养它，然后我认为你可以把它推广到 B2B，推广到其他拥有大型仓库的公司，我们可以做材料搬运，我们会做所有的事情，起草合同，设置围栏，所有这些事情。然后，一旦你在公司内部培养了它，我认为你就可以开始进入 B2C 应用了。我确实认为我们会看到 B2C 机器人... ... 嗯，像 Unitree 等等，他们开始推出一些我真的很想要的机器人。你买了一个，是吗？

　　Andrej：好的，是的，G1。所以，我可能会买一个，而且可能也会有一个生态系统，人们在这些平台上构建东西。但我认为，就大规模应用而言，我会期待那种方法。但在开始的时候，会是大量的材料搬运，然后逐渐转向更具体、更专门的东西。有一个我真的很... ... 兴奋的是 Jeff Dean 提出的吹叶机挑战。嗯，我很想看到 Optimus 在街上走来走去，踮着脚尖走来走去，捡起一片片叶子，这样我们就不需要吹叶机了，我认为这会奏效，这是一个很棒的任务。所以我希望这是第一个应用之一，甚至是耙树叶，那也应该可以，非常安静地... ...

　　Andrej：我认为人们可能低估了任何单一平台的固定成本的复杂性。我认为，为任何单一平台，你都要付出很大的代价。所以，我认为将这些集中起来，拥有一个可以做所有事情的单一平台，是非常合理的。我想说的是，人形机器人也很有吸引力，因为人们可以很容易地远程遥控它，所以这是一种数据收集方式，非常有帮助，因为人们显然可以很容易地远程遥控它。我认为这通常被忽视了。当然还有你提到的方面，比如世界是为人类设计的等等，所以我也认为这很重要。我的意思是，我认为人形机器人平台会有一些变体，但我认为任何平台都有很大的固定成本。然后我想说的最后一件事是，你将从不同任务之间的迁移学习中获益匪浅。在人工智能领域，你真正想要的是一个多任务的神经网络，做很多事情，这就是你获得所有智能和能力的地方。这也是为什么语言模型如此有趣，因为你有一个单一的机制，比如文本，嗯，领域，多任务处理所有这些不同的问题，它们都在彼此之间共享知识，所有这些都耦合在一个单一的神经网络中。我认为你想要那种平台，嗯，你知道，你希望为捡叶子收集的所有数据都能有利于所有其他任务，如果这说得通的话。

　　Andrej：嗯，从硬件角度来看，更便宜的方法来构建一个通用平台？是的，我认为这很有道理。是的，你给它装上轮子而不是脚等等。我确实觉得，我想知道这是否会把你带入一个局部最小值，我只是觉得选择一个平台，让它变得完美，是长期的... ... 非常好的赌注。当然，另一件事是，我只是认为它对人们来说会很熟悉，我认为人们会理解，也许你想跟它说话。我觉得它的... ... 心理方面，我认为可能也倾向于人形平台，除非人们害怕它，实际上更喜欢一个更抽象的平台，比如某个... ... 但我不知道，如果只是怪物在做事，我不知道那是否更... ...

　　Andrej：我不知道我对它是否有真正深入的了解。我确实认为，有趣的是，比如在人形机器人中，对于下半身... ... 我不知道你是否想从演示中进行模仿学习，因为对于下半身，很多都是倒立摆控制之类的，而对于上半身，你需要大量的远程操作，嗯，数据收集和端到端等等。所以，我认为所有东西都变得非常混合。我不知道这些系统是如何相互作用的。当我跟人们聊天时，他们关注的很多东西都是驱动，你知道，操控，以及某种数字操控之类的东西。是的，我确实预计在开始的时候，会是大量的远程操作，嗯，让东西开始运作，模仿它，得到一个 95% 的时间都能工作的东西，然后讨论人机比例，逐渐让人们成为机器人的主管，而不是直接做任务，所有这些事情都会随着时间的推移而发生，而且会非常渐进。我不知道我是否真的熟悉任何阻碍我们发展的个别障碍，我只是认为有很多繁重的工作要做，很多... ... 工具已经有了，Transformer 就像一个美丽的... ... 一团组织，你可以... ... 处理任意任务，你只需要数据，你需要把它变成正确的形式，你需要训练它，你需要实验，你需要部署它，迭代它，这只是一堆繁重的工作。我不知道我是否有一个单独的东西，是... ... 从技术上来说，阻碍我们的发展。

　　Andrej：是的，我们处于一个非常好的状态。嗯，我不确定它是否得到了充分的认可，但是... ... Transformer 比你想象的要神奇得多，它不仅仅是... ... 它不仅仅是另一个神经网络，它是一个神奇的神经网络，非常通用。嗯，例如，当人们谈论神经网络中的规模法则时，规模法则实际上在很大程度上是 Transformer 的一个属性。在 Transformer 出现之前，人们玩的是 LSTM，并将它们堆叠起来等等，你实际上并没有得到清晰的规模法则，而且如果 Transformer 不是第一个真正可以扩展的东西，它实际上无法训练，无法工作。嗯，你得到了规模法则，一切都变得有意义了。所以，我认为它就像一台通用的训练计算机，我把它看作一台计算机，但它就像一台可微分的计算机，你可以给它输入和输出，数十亿个，它可以用反向传播进行训练。它实际上有点像，把自己组织成一个完成任务的东西。所以，我认为它实际上有点像我们在算法领域偶然发现的一个神奇的东西，我认为其中有一些个别的创新。所以，你有残差连接，这是一个已经存在的组件。你有层归一化，嗯，需要插入。你有注意力块，你没有这些... ... 嗯，饱和非线性，比如 tanh 等等，这些在 Transformer 中不存在，因为它们会杀死梯度信号。所以，有一些... ... 有四五项创新，所有这些都存在，并被整合到 Transformer 中，这就是谷歌在他们的论文中所做的，这个东西实际上可以训练，嗯，突然之间你得到了规模法则，突然之间你就有了一块组织，它在很大程度上可以训练。所以，这是一个重大的突破。

　　Andrej：我认为神经网络架构已经不再是我们的根本障碍了，它不再是瓶颈。而在 Transformer 出现之前，我认为它是一个瓶颈，但现在它不再是瓶颈了。所以，现在我们更多地是在讨论损失函数是什么，数据集是什么，我们更多地是在讨论这些，而这些已经成为瓶颈，几乎... ... 不是那块根据你的需要重新配置的通用组织。所以，我认为很多活动都转移到了那里，这也是为什么很多公司... ... 以及应用这项技术的人，他们没有考虑 Transformer 架构，他们没有考虑架构。你知道 Llama 的发布，嗯，Transformer 并没有发生太大变化，嗯，我们添加了 RoPE 位置编码和 RoPE 相对位置编码，嗯，这是主要的变化，其他一切都不太重要，它在一些小地方带来了 3% 的提升，嗯，但实际上，RoPE 是唯一入的东西，这就是 Transformer 自过去五年左右的变化。所以，在这方面没有太多的创新，每个人都认为它是理所当然的，让我们训练它等等，然后每个人都在数据方面进行创新，主要是数据集和损失函数的细节，嗯，所以所有的活动都转移到了那里。

　　Andrej：是的，我认为这是我们... ... 唯一可以取得进展的方式，我们必须让它奏效。我认为使用合成数据时，你必须非常小心，嗯，因为... ... 这些模型会悄无声息地坍缩，这是一个主要问题。所以，如果你去用 ChatGPT，你让它给你讲一个... ... 一个笑话，你会注意到它只知道三个笑话，这就是它... ... 它大部分时间只给你讲一个笑话，我认为。有时它会给你讲三个笑话，这是因为模型坍缩了，而且是悄无声息地坍缩的。所以，当你看到任何单个输出时，你只是看到一个例子，但当你实际查看分布时，你会注意到它不是一个非常多样化的分布，它悄无声息地坍缩了。当你进行合成数据生成时，这是一个问题，因为你实际上非常需要这种熵，你想要数据集中的多样性和丰富性，否则你就会得到坍缩的数据集，当你查看任何单个示例时，你是看不到的，但分布已经失去了大量的熵和丰富性。所以，它会悄无声息地变得越来越糟。所以，这就是为什么你必须非常小心，你必须确保你在数据集中保持熵，为此有很多... ... 技术。例如，有人发布了这个... ... 嗯，人物数据集，人物数据集是一个包含 10 亿个... ... 嗯，人物的数据集，比如人类，比如背景，哦，我是一名教师，或者我是一名艺术家，我住在这里，我做这个，等等。它就像一小段... ... 嗯，虚构的人类背景。当你进行合成数据生成时，你所做的不仅仅是... ... 哦，完成这个任务，并以这种方式完成，还要想象你正在... ... 向这个人描述它，你输入这些信息，现在你强迫它探索更多的空间，你得到了一些熵。所以，我认为你必须非常小心地注入熵，保持分布，这是困难的部分，嗯，我认为也许... ... 也许人们没有充分意识到这一点。所以在一般情况下，我认为基本上，合成数据绝对是未来，嗯，我的印象是我们不会用完数据，我只是认为你必须小心。

　　Andrej：我会谨慎对待这些类比，但总的来说，我确实认为... ... 它是一种非常不同的东西，但我确实认为你可以进行一些类比。例如，嗯，我认为 Transformer 在很多方面实际上比人脑更强大，我认为它们实际上是一个效率更高的系统。它们不如人脑的原因主要在于数据问题，大体上来说，这是第一个近似值，我会说。实际上，举个例子，Transformer 记忆序列的能力比人类强得多。如果你给它一个序列，你对这个序列进行一次正向和反向传播，然后你给它前几个元素，它就会完成序列的其余部分，它记住了这个序列，而且它非常擅长这一点。如果你给一个人展示一次序列，他是不可能记住的。所以，Transformer 实际上... ... 我确实认为很有可能，我们一直在使用的梯度，嗯，基于优化的正向和反向更新，在某些方面实际上比大脑更有效，这些模型更好，它们只是还没有... ... 准备好大放异彩。但在很多认知方面，我认为只要输入正确，它们可能会比人脑做得更好。

　　主持人：从很多方面来说，这对于计算机的所有应用来说都是如此，对吧？正如你所说，内存... ... 是的，没错。我认为人脑有很多限制，你知道，工作记忆非常小，我认为 Transformer 的工作记忆要大得多，而且这种情况会继续下去，嗯，它们是效率更高的学习者，嗯，人脑在各种限制下运作，嗯，人脑不是反向传播，对吧？它的工作方式... ... 嗯，它是一个非常随机的动态系统，它有所有这些限制，它在环境条件下工作，等等。所以，我... ... 我确实认为我们现在拥有的东西可能比大脑更好，嗯，它只是还没有达到那个程度。

　　Andrej：我认为这很有可能。是的，如今手机已经几乎是那样了，我认为这种情况会变得更糟。当你放下你的科技产品，你就像一个赤裸的人类在自然中一样，你也失去了一部分智能，这让人非常焦虑，非常... ... 一个非常简单的例子就是地图，对吧？所以，我注意到现在很多人实际上已经不能很好地辨别方向了，因为他们总是使用逐向导航。如果我们有这个，例如，通用翻译器，我不认为这离我们太远，如果你只是放下你的东西，你就会失去与不会说英语的人交流的能力。我非常乐意将我大脑的那一部分重新用于做进一步的研究。我不知道你是否看过那个视频，一个孩子拿着一本杂志，试图在杂志上滑动。我对此感到很着迷的是，这个孩子不明白什么是自然，什么是技术，什么是建立在自然之上的技术，因为它太透明了。我认为这可能看起来很相似，人们会开始... ...

　　Andrej：所以，你可能指的是生态系统的现状，对吧？所以，我们现在有几家寡头垄断的封闭平台，然后我们有一个开放平台，它有点落后，比如 Meta 的 Llama 等等。这有点像反映了开源... ... 嗯，生态系统。我确实认为，当这些东西开始... ... 当我们开始把它看作是一种“外脑”时，嗯，所以加密领域有一句话，叫做“不是你的钥匙，就不是你的... ... 不是你的代币”。是不是“不是你的权重，就不是你的大脑”？这很有趣，因为一家公司实际上在控制你的“外脑”，因此它的一部分开始让人觉得有点侵入性。如果这是我的“外脑”，我认为人们会更关心所有权问题。

　　Andrej：也许... ... 也许一种思考方式是，就像... ... 我们回到互联网数据集，这是我们正在处理的，互联网就像... ... 0.001% 的认知，以及 99.99% 的... ... 你知道，信息，就像... ... 你知道，我认为其中大部分对思考部分没有用，它就像... ... 是的，我... ... 我猜也许另一种表达这个问题的方式是，是否存在一种数学表示，表示认知能力相对于模型大小，或者你如何用... ... 你知道，这是最小值或最大值，相对于你想要完成的目标，也许没有很好的方法来表示这一点。

　　Andrej：是的，然后可能它不是一个单一模型，对吧？对我来说，思考这实际上会如何发展很有趣，嗯，因为我确实认为你想要从并行化中获益，你不想有一个顺序的过程，你想要一个并行过程。我认为公司在某种程度上也像... ... 嗯，工作的并行化，但公司内部存在着等级制度，因为这是... ... 你知道，信息处理和简化的一种方式，需要在组织内部进行信息处理。所以，我认为我们最终可能会... ... 嗯，公司形式，我认为对我来说这并非不可能，你拥有不同能力的模型，专门针对各种... ... 独特的领域，也许有一个程序员等等，它实际上会开始非常类似于公司。所以，你有程序员，你有项目经理，你知道，类似的角色，LLM 并行工作，共同为你协调计算。所以，也许这样想是不对的，它更像一个群体，你像一个生态系统，它就像一个生物生态系统，你拥有专门的角色和生态位，我认为它会开始类似于那样。你根据问题的难度自动升级到群体的其他部分，而且... ... CEO 就像一个非常聪明的... ... 云模型，但主力可以便宜很多，也许甚至是开源模型。

　　Andrej：我想先说，我一直都是一名教育家，我喜欢学习，我喜欢教学，嗯，所以这只是... ... 一个我长期以来非常热爱的领域。然后另一件事是，我认为有一个宏观的图景在推动我，我认为 AI 领域有很多活动，嗯，我认为其中大部分都是为了... ... 我认为，取代或替代人们，我会说是... ... 把人们推到一边，但我总是... ... 对任何能够赋予人们力量的事情更感兴趣，我觉得我有点像，站在人类的立场上，我对 AI 能够赋予人们力量的事情感兴趣，我不希望未来人们被自动化所淘汰。我希望人们能够处于一种被赋予力量的状态，我希望他们变得更强大，甚至比今天更强大。然后，另一个我发现非常有趣的方面是，如果一个人在所有科目上都有完美的导师，他能走多远？我认为，如果人们能够获得任何学科的完美课程，他们就能走得很远。我认为我们在... ... 你知道，如果... ... 一些富人也许有... ... 私人教师，他们确实走得很远，嗯，所以我认为我们可以用人工智能来接近这一点，甚至超越它。

　　Andrej：所以，我想说我肯定受到了其中一些方面的启发。所以，在实践中，嗯，我目前正在尝试构建一门课程，我希望它就像你想学习 AI 时会去上的课程一样。我认为基本上... ... 问题是，就像... ... 我已经教过一些课程，比如我在斯坦福大学教过 CS231n，那是第一门深度学习课程，而且非常成功。但问题是，你如何真正地... ... 大规模推广这些课程？比如，你如何让你的目标受众变成地球上的 80 亿人，而且他们还说着不同的语言，他们都有不同的能力水平等等。所以，你... ... 一个老师无法服务这么多学生。所以，问题是如何使用 AI 来... ... 实现优秀教师的规模化？所以，我现在的想法是，教师负责很多课程创建和课程设计，因为以目前的 AI 能力，我认为模型还不够好，无法创建一门好的课程，嗯，但我认为它们可以成为学生的前端，嗯，为他们解释课程。所以，嗯，基本上，教师不再直接面向学生，教师不再是前端，教师在后端设计课程材料，而 AI 是前端，它可以讲所有不同的语言，它有点像... ... 带你学习课程。

　　Andrej：这是我的一种理解方式，它是 AI 助教。我主要把它看作是学生的前端，嗯，它是与学生实际交互的东西，嗯，带他们学习课程。我认为这在今天是可行的，嗯，它... ... 只是还不存在，我认为它可以做得非常好。然后随着时间的推移，随着能力的提高，你可能会... ... 以各种方式重构这个设置。我喜欢找到那些... ... 今天的 AI 能力，以及对它有一个很好的模型。我认为很多公司，也许没有... ... 嗯，没有真正直观地理解今天的 AI 能力在哪里，然后他们最终... ... 有点像构建了超出现有能力的东西，或者可能不够雄心勃勃。所以，我认为... ... 我确实认为这是一种最佳选择，既有可行性，又非常有趣和令人兴奋。所以，我想回到你之前说过的一点，我认为这非常鼓舞人心，尤其是考虑到你的背景，以及你对我们目前在研究中所处位置的理解，那就是，基本上，我们不知道人类学习能力的极限在哪里，只要有更好的工具。我认为有一个非常简单的类比，我们一个月前刚刚举办了奥运会，对吧？你知道，一个跑步者，嗯，今天最好的英里跑成绩，或者选择任何一项运动，都比... ... 撇开不谈，比 10 年前要好得多，仅仅因为... ... 你开始训练的时间更早，你有一个非常不同的训练计划，我们对科学有了更好的理解，我们有技术，我们有... ...

　　Andrej：是的，我认为我们甚至还没有触及... ... 什么是可能的，根本没有。所以，我认为它基本上有两个维度。第一个是全球化维度，比如我希望每个人都能接受良好的教育，但另一个维度是，一个人能走多远？我认为这两个方面都非常有趣和令人兴奋。通常，当人们谈论一对一学习时，他们谈论的是它的适应性，你在他们所处的水平上挑战他们。你认为今天可以用 AI 做到这一点吗？还是说这是未来的事情？如今，更多的是关于覆盖面和多语言，以及唾手可得的成果。

　　Andrej：比如，不同语言，超级唾手可得的成果。我认为目前的模型实际上非常擅长翻译，基本上可以针对材料进行实时翻译。所以，我认为很多事情都是唾手可得的成果。这种对个人背景的适应性，我认为不是唾手可得的成果，但我不认为它... ... 太遥远，或者太难实现。但它是你肯定想要的东西，因为不是每个人都拥有相同的背景。而且，如果你熟悉过去的一些其他学科，那么将这些知识与你所知道的东西进行类比，这在教育中是非常强大的。所以，这绝对是一个你想利用的维度。但我认为这已经到了... ... 不那么明显，需要一些努力的程度。我认为简单版本离我们并不遥远，你可以想象只是提示模型，比如，哦，嘿，我知道物理，或者我知道这个，你可能会得到一些东西。但我指的是真正有效的东西，而不是... ... 你可以演示，有时有效的东西。

　　主持人：我们之前谈过的一件事，我认为很有趣，就是... ... 嗯，研究社区中出现的谱系，你来自某个实验室，每个人都在八卦来自彼此的实验室。我认为诺贝尔奖获得者中，有很大一部分曾经在某个诺贝尔奖获得者的实验室工作过。所以，有一种... ... 我不知道它是文化、知识还是品牌，或者是什么... ... 在 AI 教育中心的世界里，你如何维护谱系？或者说它不重要？或者说你是怎么看待网络和知识传播的这些方面的？

　　Andrej：我认为很多这种行为已经转移到线上了，在某种程度上，尤其是对年轻人来说。我认为其中一个方面是... ... 教育方面，比如如果你今天加入一个社区，你会获得大量的教育和学徒训练等等，这非常有帮助，可以让你在该领域获得能力。我认为另一个方面是... ... 文化方面，你被什么所激励，你想做什么，这种文化推崇什么，他们把什么放在神坛上，他们崇拜什么，基本上，嗯，所以在学术界，例如，是 H 指数，每个人都关心 H 指数，你发表的论文数量等等。我曾经是那个社区的一员，我看到了这一点，我觉得现在我来到了不同的地方，所有不同的社区都有不同的偶像。我认为这对你被什么所激励，你在哪里获得社会地位，以及什么对你真正重要，有着巨大的影响。我以前也... ... 我认为我曾经是不同社区的一员，比如在斯洛伐克长大，也是一个非常不同的环境，在加拿大长大，也是一个非常不同的环境，那里的人关心的是... ... 对不起，谢谢。

　　Andrej：我会说，举个例子，我会说在加拿大，嗯，我在多伦多大学，而多伦多，嗯，我不认为它是一个非常有创业精神的... ... 嗯，环境，你甚至不会想到你应该创办公司，我的意思是，这不是人们在做的事情，你不知道有朋友在做这件事，你不知道你应该关注它，人们不会... ... 阅读所有关于创始人的书籍，并谈论他们，这根本不是你渴望或关心的事情。嗯，每个人都在谈论，哦，你在哪里实习？你毕业后要去哪里工作？人们普遍认为，有很多... ... 有一组固定的公司，你应该从中选择一个，然后加入其中，这就是你所追求的东西，或者类似的东西。所以，这些文化方面非常强大，也许实际上是主导变量，因为我几乎觉得今天... ... 教育方面我认为更容易，很多东西已经有了等等。所以，我认为主要是你所属的文化方面。

　　Andrej：地位是一个很好的激励因素，比如偶像是谁，嗯... ... 你认为通过这样的系统，你能在多大程度上改变... ... 嗯，激励机制？如果这是一个... ... 一个阻碍因素，你是否专注于... ... 嗯，给人们提供资源，让他们能够在... ... 根据自己的能力，尽可能地前进，就像... ... 比历史上任何时候都更鼓舞人心？或者你真的想改变有多少人想要学习，或者至少让他们走上这条道路？

　　Andrej：“想要”是一个很有分量的词，我会说，我想让学习变得更容易，然后也许... ... 也许人们不想学习。我的意思是，今天，例如，人们想要学习是出于实际原因，对吧？比如他们想找到一份工作等等，这完全说得通。所以在没有 AGI 的社会中，教育是有用的，我认为人们会因此而受到激励，因为他们... ... 嗯，他们正在... ... 在经济上往上爬，等等。在有 AGI 的社会中，我们都只是... ... 我认为教育在更大程度上是一种娱乐，包括... ... 嗯，成功的... ...

　　主持人：是的，是的，它需要努力，但也是一种乐趣，而且你也会获得回报，比如你对自己的感觉会发生各种变化，对吧？我认为教育基本上与此相当。所以，这就是我所说的教育不应该有趣等等的意思，我的意思是，它确实很有趣，但我想这是一种特殊的乐趣，对吧？我确实认为，也许在后 AGI 时代，我希望看到的是，人们实际上... ... 他们经常去健身房，不仅仅是身体上的，还有精神上的，嗯，而且... ... 是... ... 我们敬佩受过高等教育的人，而且... ... 你知道，只是... ... 嗯，是的。

　　Andrej：嗯，我主要把它看作一门本科水平的课程，嗯，所以如果你正在攻读技术领域的本科学位，我认为那是理想的受众。我确实认为，我们现在看到的是，我们对教育的理解已经过时了，你上学，然后毕业，然后去工作，对吧？显然，这将会完全崩溃，尤其是在一个变化如此之快的社会中，随着技术的变化，人们会更频繁地回到学校。所以，它有点像本科水平，但我想说，任何处于这个水平的人，无论年龄大小，嗯，都在范围内。我认为年龄会非常多样化，举个例子，但我认为它主要是... ... 嗯，技术人员，而且主要是想... ... 主要是想真正理解它，嗯，达到... ... 很好的程度，嗯，技术... ... 他们什么时候可以学习这门课程？

　　主持人：我还有一个问题，实际上与这个问题有关。如果你今天有小孩，你认为他们应该学习什么，才能在未来有所作为？我心里有一个正确答案，正确答案主要是... ... 嗯，我会说像数学、物理、计算机科学这样的学科。我之所以这样说，是因为我认为它有助于... ... 只是思维能力，它就像... ... 最好的思维能力核心，嗯，这是我的观点，当然，我有特定的背景等等，所以我会... ... 我会这样想，但这只是我的观点。但我认为，我学习物理和其他课程，就像... ... 塑造了我的思维方式，我认为这对于解决一般问题非常有用，等等。所以，如果我们生活在这个世界里，在 AGI 之前，这将是有用的，在 AGI 之后，你仍然希望人类能够在任何任意能力下运作，所以，我只是认为这对人们来说是正确答案，他们应该做的事情，学习的东西。它要么有用，要么有益，所以我只是认为这是正确答案。我认为很多其他的东西，你可以稍后再学，但在关键时期，人们有很多时间，他们有很多... ... 注意力和时间，我认为应该主要花在做这些... ... 嗯，简单的、需要大量操作的任务和工作上，而不是记忆密集型的任务和工作。我获得了数学学位，我觉得... ... 当我学习数学的时候，我感觉我的大脑里刻出了一条新的沟壑，而且以后再刻就更难了。当然，我还会加入很多其他的东西，比如，我并不反对所有其他的学科等等，我认为拥有多样性... ... 实际上，拥有各种各样的事情是很美好的，但我确实认为 80% 的时间应该花在类似这样的事情上。