大脑袋怎么说

张亚勤对话朱民：颠覆认知的AI时代及产业机遇

1. 研究院设立背景：张亚勤表示离开百度后一直想建立一个研究院，这个研究院应该从事基础研究，为产业服务，面向整个产业开放，与清华的优秀学生和老师共同合作。
2. 对ChatGPT的看法：张亚勤认为ChatGPT是第一个通过图灵测试的软件智能体，它是AI时代的新操作系统，有望重写、重塑、重建整个生态系统。
3. 通用人工智能的起点：张亚勤认为ChatGPT是从面向具体任务的人工智能向通用人工智能迈进的一个起点，标志着一场大的变革。
4. 聊天机器人生态系统：朱民提到，ChatGPT开始出现API和插件，形成垂直系统。随着插件的出现，专业领域的内容也可以纳入其中，这有望形成一个大的操作平台和superapp，颠覆整个产业。
5. 垂直模型的需求：张亚勤表示，有很多应用需要垂直模型，如自动驾驶和生物计算等。这些垂直模型可以建立在大语言模型的基础上，实现更多应用场景。
6. 模型与模型的互动：研究人员正在研究如何让不同的大模型相互使用，构建新的应用，以及在模型上进行知识学习。
7. 人工智能与人类智能的关系：张亚勤认为，大型语言模型揭示了人类尚未认识到的智能，但他认为未来的智能将是人类智能和机器智能的融合，机器将成为人类的一个强大的延伸。
8. 机器智能层次：张亚勤将机器智能分为感知层次、认知层次等，他认为机器在认知方面与人类的差距将越来越小。
9. 大模型发展趋势：张亚勤认为大模型将变得越来越准确、越来越成熟，进化速度越来越快，但在不清楚其成熟度的情况下，需要给它划定边界。
10. 涌现现象：张亚勤和朱民讨论了大模型中涌现现象，指出在参数达到一定程度后，模型的准确度会跳跃式提高，但为什么会发生这种现象，目前还不完全清楚。
11. 新科研范式的出现：第四范式（数据驱动）和第五范式（深度学习）将改变科学研究方法，推动科学发现速度加快，并让实验科学与理论科学无缝融合。
12. 数据和算力挑战：张亚勤表示数据和算力短期和长期都不是大问题，关键在于如何清洗和利用高质量数据。中国的算力已足够训练5个大模型。

Ilya 斯坦福访谈：AI意识，开源和 OpenAI 商业化，AI研究的未来

1. 大型语言模型的核心概念：训练一个大型神经网络来准确预测文本中的下一个词。如果网络足够大且训练得当，它可以达到人类级别的语言理解，就像ChatGPT。
2. 大型语言模型与人类学习能力的比较：尽管这些模型性能惊人，但它们的学习能力仍远远落后于人类。它们需要大量数据来学习，而人类可以从很少的数据中学习很多。
3. 大型语言模型的学习速度：鉴于目前的进步速度和差异，很难给出一个准确的数字来说明这些模型相对于人类的学习速度有多快。它们在某些方面已经超过人类，但在其他方面仍远远落后。
4. 关于AI意识的观点：不认为意识必然会在机器中出现。倾向于将意识视为生物过程的产物，这方面的科学还不够清晰，需要更深入的理解。
5. 伊利亚对OpenAI的责任：伊利亚认为自己对OpenAI的责任不仅限于推动科学进步。作为创始人之一，他非常关心公司的总体影响，但在日常工作中，他的主要角色仍然是推动技术进步。
6. 开源与闭源的权衡：开源可以防止AI建设者手中集中太多权力。但随着模型变得更强大，安全考量会成为不开源这些模型的直接驱动力。
7. 开源与闭源，非营利性与营利性的平衡：伊利亚试图在这两对因素之间找到平衡。他认为两端各有危险，理想情况是根据具体情况采取适当立场。安全考量至关重要，但目前来说，竞争和商业需求也同样重要。
8. OpenAI的公司结构：OpenAI的公司结构是独一无二的，它是一家限制利润的公司而不是一家正常的营利公司。一旦完成对投资者和员工的义务，它将再次成为非营利组织，这是一个独特的结构，旨在让OpenAI以非营利的方式实现其使命。
9. OpenAI的关键绩效指标：OpenAI的关键绩效指标主要围绕技术进步，对系统有更好的理解和控制，有效执行研究和安全计划等。产品也很重要，但核心在于技术。
10. OpenAI的未来方向：OpenAI的未来方向还不确定。它可能成为一个独立的目的地，也可能成为支持其他应用程序的后端基础设施的一部分。这还需要观察，但两种可能性都存在。

50条生存建议：凯文·凯利全新预言AI与5000 天后的世界

1. 科技解决与引发问题的平衡：科技解决问题与引发问题的比例并不平等，科技带来的益处占比为51%，而它引发的问题占比为49%。这2%的微妙差别在时间的长河中将产生巨大的影响。
2. 科技的广泛影响力与可能性：在判断一项科技时，需要考虑其是否具有广泛的影响力和无限的可能性。比如基因编辑技术可以对其他科学技术产生影响，带来呈几何级增长的可能性。
3. 科技问题的解决方式：对于科技带来的问题，不能靠减少科技来解决，而应该发明更好的科技。
4. 理解科技的重要性：只有看到一种科技的应用范围下限，我们才能完整地把握它。
5. 对新科技的过度谨慎：人类对科技的态度有点过于谨慎，我们往往关注新科技可能带来的风险，而忽视了落后科技的弊端。
6. 创新的饥饿状态：只有保持几分饥饿的状态，才能有继续创新的可能。给初创企业充足的资金并非总是好事，如果资金过多，反而可能会毁了这些小公司。
7. 创新的分散性：创新并非集中型，而是分散型的，是根植于企业文化之中的。即便买下小公司，也无法买下它们的创新性，买下的只能是一个具体的解决方案。
8. 从失败中汲取经验：创新的本质是要从低效和失败中汲取经验。在硅谷有一个说法，叫作“积极地失败”，这才能帮助人们吸取教训。
9. 成功企业的创新困难：越成功的企业越难以实现真正的创新。例如微软这种在计算机领域致力于开发最佳操作系统的公司，如果想要将重点转移到软件领域，就要暂时从现在的最高峰跌落。这种事情比尔·盖茨做不到，但乔布斯可以。
10. 二次创造的重要性：创新的重要性在于二次创造，即创造出能够继续创新的能力。这种观点的一个例子是，”神”并未直接创造世界，而是创造了能够创造世界的生物。

吴世春：给创业者的一封信