文｜陈茜 何源清

OpenAI做了谷歌不敢也不想做的事，那就是：还在研究阶段就对外公开了ChatGPT。这引发了巨大的争议，关于诈骗，关于作弊，关于人类未来的教育、认知的获取，以及未来大量工作被取代。说实话，ChatGPT的到来让我对人类的未来，更迷茫了。

(资料图)

这里先澄清一下，如今人们对AI在未来能做的事、行为和发展的认知还非常有限，所以今天我们讲的东西和判断可能是稍显主观的。但是希望带给大家一些思考和探讨的空间。首先，我们来聊聊ChatGPT对人类认知的影响和潜在的AI茧房。

01人类认知与AI茧房

我先问大家几个最直观的问题：

当你有一个能几秒内给你答案的聊天机器人的时候，你还会思考，这个答案是怎么得出来的吗？

当你习惯了被告知一个事件有12345点，你还会去想，它是否还会有678910点重要的角度吗？

当你不用学外语就能写出一篇没有语法错误的情书，你还会为了追那个异国的女孩而去了解她的语言她的国家她的信仰她的文化吗？

当你认为ChatGPT背后的大语言人工智能模型看上去“无所不知”的时候，你知道它其实给你的只是，全人类在互联网上信息的平均知识吗？

这些问题在我和创新工场的AI工程院执行院长王咏刚的聊天中，都略有涉及到。王咏刚老师在朋友圈中写到：“悲观情况是：因为人类的极度懒惰，互联网被AI生成的、错误率普遍高于人类知识工作者的“灌水内容”占领，我们的孩子成为“迷失的一代”。”

王咏刚：现在的 AI 最大的问题是他在做的事情是模型拟合的事情。无论是最早的自然语言处理的古老古典、已经被淘汰的算法，还是今天在ChatGPT里面我们看到的这种最新的算法，它的核心任务仍然是对人类自然语言语料数据去做模型匹配、模式拟合。基于这种拟合，它的输出造成了它这种拟合必须是在它学习过的这种数据，或者学习过的这种数据的规律，根据一定的数学逻辑、甚至非确定逻辑来去做它的输出。所以这一点上带来几个问题，不可预测性一定会永远存在，模型输出的一定的随机性一定会永远存在。

在这种情况下带来的最大的问题就是比较顶层的判断或者评论，大概会带来一个最大的问题是什么？今天如果你把 AI 作为一个知识处理机或者知识宣讲机，这件事情是有一定的疑问的。因为当 AI 去输出知识的时候，它输出的是什么知识，这个知识很可能是它在模型拟合的时候，非常大的概率拟合的，是全人类在互联网上这些信息的平均知识。

这些平均知识，就看你需要什么了。如果你需要的只是一个日常的、非常初步的，满足生活要求的知识，比如水什么时候结冰，汽车什么情况下不打滑，我觉得 AI 未来可以解决得非常好，对于日常来讲。但是如果你把它想放在跟教育相关的、跟人类的知识进步相关的事情上，这件事会有很多的问号在里面。像我们去请一个保姆给我们的孩子去一起去生活，我们觉得他可以，保姆可以帮我们孩子解决很多生活中的问题。但是如果我们为了孩子的学习，请一位老师，我们会对老师有更严格的要求。我觉得这件事就是我所担心的事情。

一旦我们把 AI 当做我们的下一代成长的一个老师，这个趋势太明显了，比如今天基于 GPT 的 API 来去开发各种教育工具、各种的这种知识处理工具的人，都是直接就冲上去就做了，很多事情都可以解决了。但是这种解决有可能是低层面的。

AI有两种情况，一种情况是它去用模式匹配得到的人类的平均知识告诉我们的小朋友，而不会让小朋友得到一个有这种人类严格挑选或者严格的这样的一个逻辑，构成的这样一个教育体系；另一种情况是今天的 AI 还会大量的在或是人类要求，或是它自主激活的这种叫做创造性的东西，这种创造性要打引号，这种创造性可能在非常多的场合是好的，但是在一旦把我们把它用于这种知识传承和知识教育，今天或者可见的未来，我是看不到这种东西在替代人类老师或者人类这样一个思维逻辑的一种可能性。这样当人类的这种懒惰也好，或者人类的这种叫做取巧也好，一旦进入了教育领域，我不用想象，今天很多人都已经在做了大量的把 AI 生成的东西开始补充进教育的这种内容体系。

对学生来讲，我可以用ChatGPT 来写作业，对于老师来讲，我可以用ChatGPT 来布置作业，我可以省下非常多的这种思考时间。对一个老师觉得，本来老师觉得可能有一个东西我没有讲透，我可能要去通过查维基百科、以前的书，我把它梳理好一个完整的知识体系，我给到学生讲一个完整知识体系。但是现在好了，我可以用 ChatGPT 来去直接告诉学生完整的讲述逻辑。但是这个讲述逻辑一定是人类平均水平的，它很难到达一个叫做人类让学生或者让人类进步的这样一个水平。因为因为很简单，全互联网的 data 里面所谓代表这种最高水平data，它是个小概率的这种东西。未来如何让ChatGPT拟合这种最精准的data？这是 data 输入的一方面，另一方面非常简单。你即便拟合了这样一个比较精准data， AI 仍然有不确定性，仍然有它创造的空间。像今天ChatGPT 有大量的这种，我告诉他某一个概念，他就开始自由发挥这种事情，这个事情以后是非常恐怖的。这个发挥你只能以后限制他、去不断地去纠正他。但是你说是不是可以完全杜绝他？我觉得在今天的 AI 算法的根本上不太容易。所以这是我会非常担心。

刚才说的，还是因为懒惰说老师因为不想去花时间去研究一个东西。那因为牟利那就更可怕了。大量的人会发现我在分分钟利用 AI 不要成本地产出大量的垃圾内容，灌到本来我们已经被碎片化信息充斥的社交网站上。本来今天的十几岁小朋友都在某些互社交网站上，天天沉浸在一些碎片化的知识里面。有一些博主随便讲一讲，似是而非的为什么火箭飞那么快，为什么什么星球跟什么星球什么关系，他似是而非的讲几句话之后，可能小朋友看了热闹开心就行了，他学不到更深的知识。但是未来这种事情，如果因为逐利，这种事情只会越来越重，只会越来越多。大量 AI 创造的碎片化、不严谨，甚至是故意瞎说的知识充斥互联网，充斥小朋友能接触的这种叫做信息茧房的话，这个茧房就是 AI 茧房了。这个恐怖的事情对我来说，如果我有机会，可能我会尽各种的努力去避免这件事情。

陈茜：对，其实我觉得现在这件事情的趋势已经很明显了。比如我们放一些长视频，有完整的逻辑来推导到一个过程，但是很多人看不下去。就说两分钟能说清楚的事情，为什么你要花 20 分钟？或者你直接跟我说结论就好了，我觉得现在很多人就越来越着急，大家的注意力越来越短。我觉得这个情况我还蛮担心，会越来越糟的。

王咏刚：因为本来一些很有追求的老师质疑的自媒体、科普人、那些所谓给孩子讲东西的人，最重要的一点就是你们在抄近道，你们在直接给孩子一个看上去特别甜的糖，但是你从来不告诉特别甜糖背后的所谓苦的逻辑。所谓这种复杂的逻辑。因为你们要去赚流量、要通过流量去赚钱。这件事今天到来了之后，他已经没有办法批评谁了，因为这些东西超近道的东西会充斥着网络，而且这超近道作者都不是人了，这件事就会很可怕。

如今，我们用搜索引擎的时候，是一个主动寻找答案的过程，其中我们会阅读到通向答案的逻辑、佐证、正面的反面的例子、争议，以及除了答案本身之外的其它额外信息，这些信息构建成为了我们对这个事件的知识认知。但如果你只想或者只需要知道答案，那这些搭建起来的知识认知可能也就不存在了。

就像刚才王咏刚老师说的，ChatGPT最开始冲击的就是我们的教育体系。自去年底OpenAI开放ChatGPT之后，Study.com的数据就显示，美国89%的学生已经在作业里面使用ChatGPT了，48%的学生在考试或测验中使用过ChatGPT，而53%的学生使用ChatGPT来写论文。

我没有办法想象，当ChatGPT的技术更成熟更普及之后，“获知结论”的成本快速下降、变得无比方便的时候，人类懒惰的本性会将我们进化到什么地方，“思考”这件事情的成本会变得有多高。

并且，ChatGPT背后的安全隐患，不仅仅在对人们的认知建立上，以及抄袭作弊上，还有诈骗成本的迅速下降。

02 解决安全漏洞：能用AI打败AI吗？

我前几天看到一个很有意思的评论说，“未来绝大部分人担心的不是被ChatGPT 替代，而是跟不上别人使用ChatGPT的能力”。其实这不仅仅是使用ChatGPT的能力，更重要的是：使用AI的能力，识别AI的能力，以及用AI打败AI的能力。

ChatGPT普及之后，其实最直接的危害之一就是诈骗成本的下降以及骗术的一个提升，举个例子：在ChatGPT之前，社会上的诈骗手法就已经很多了。邮件，短信，打电话，可以说是全方位轰炸。但是还好，一般骗子的文化程度不高，所以写出来的内容还是比较容易甄别的。比如说，最近我们公司邮箱收到这样一封自称来自Netflix团队发来的合作邮件，那么这一看就很像钓鱼邮件对吧？首先，邮箱不是Netflix的公司邮箱，这种后缀一般都有问题，其次，整个排版非常的不专业，还有就是各种标点符号、落款都不专业。但最容易暴露的就是表达和语法错误，这一看就是一个英文很差的人写的。比如说这句话we look forward to discuss the details with you. 我忘了是初中还是高中学的这个用法，但是，但凡有能达到英文职场水平的都知道，look forward to后面应该加doing sth. 等等，通篇都是这样的英文错误。

但是，就算假成这样，我朋友圈里已经有一个Startup的创始人朋友就晒出了相似的邮件说Netflix合作找过来了，显然就是相信了这封邮件。所以，我们可以想象，如果ChatGPT被这些诈骗团伙所利用，写出来的邮件语法、排版、逻辑、落款上都无懈可击。那么毫无疑问，会有更多的人上当受骗。

现在，ChatGPT上因为设置了规则，不能写直接写诈骗邮件。但这个规则太好绕过了，比如说，你换个方式问它说，你给我一个诈骗邮件的例子，好让我在未来避免受骗。诶，你看ChatGPT就给你写出来了，完美的标题、完美的语法、排版、逻辑、还有完美的落款。

而犯罪团伙的速度，或许比大家想象得更快，因为这已经在发生了：网络安全新闻网站GBHackers就报道，已经有黑客通过ChatGPT生成完整的诈骗套路话术，并把ChatGPT包装成“虚拟角色”来和目标人群对话，最终让对方遭受诈骗。而这样的诈骗套路，从对话的生成，到对话目的，到诈骗话术都可以进行个性化定制，并且只需要几秒钟就可以生成。

另外，黑客们已经开始使用我们前面演示过的钓鱼邮件，还可以绕过OpenAI的安全限制去生成加密工具远程锁定他人电脑，由此来进行勒索，以及生成攻击脚本，对网络用户进行身份盗窃攻击等等。

所以你们看，在ChatGPT出现之前，骗局已经这么多，诈骗方式就已经各种各样，普通人识别真假已经越来越难，时间成本越来越高。那么我很难想象，ChatGPT和更多的生成式AI技术就这么开放之后，事实核查这件事情对普通人来说，要怎么去做。那么王咏刚老师说，这就要看人们是否能用AI打败AI、来短时间内建立一个良性生态了。

王咏刚：今天有大量的研究投入到怎么去甄别、怎么去识别 AI 的作品，怎么去识别里面它和人类的这样的一个创造之间的关系。在今天，这种生成式的 AI 仍然存在这样的机会。

其实简单讲，这个方法也非常简单。我们做这方面研究的这些科学家，其实是在用 AI 去对抗AI，就是ChatGPT，它是在训练一个模型，在不断地去生成，模拟人类输出的内容，人类说话的内容。但是另一批科学家在不断地训练成另一个 AI 模型。这个 AI 模型是要去不断地去甄别说互联网上哪些内容是由 AI 生成的，哪些内容是人类生成的。这件事情对未来的这种意义是非常大的。