EP 36. 对话Deepmind, 英伟达大语言模型专家（上）：AI Agent智能体与开源LLM的应用、挑战与未来

承诺大家的大波AI上新来啦！这次的嘉宾是Monica一直期待的重磅组合，能听到AI领域如此一线的核心从业者的分享，真是太难得了。这次在硅谷创新腹地，毗邻 Stanford 的 Palo Alto 线下录制, 不知不觉就聊了近三个小时，我们分成上下期，方便大家收听！

Hello World, who is OnBoard!?

两位AI研究者都在OpenAI 工作过。Nvidia 资深研究员 Jim Fan，是Twitter 上AI领域的顶尖KOL，连亚马逊的创始人 Jeff Bezos 都在关注，几乎每一条twitter 分析都是必读文章。戴涵俊是Google Deepmind 的资深研究员，更是Google 大语言模型的深度参与者。再次来串台的硅谷上市公司华人高管，硅谷徐老师, 持续高质量输出。

上期的内容，我们围绕最近AI领域最火的话题，Generative Agents（生成式智能体）。两位AI研究员都对这个领域有最一线的研究和实践经验，我们深入探讨了从AutoGPT开始，Generative Agents 从技术到应用，都有哪些新的进展、技术和场景的挑战，由此延伸到开源与闭源大语言模型的竞争格局。

跟EP35 Monica 与另一位AI研究员符尧的访谈对比听听就发现，Generative Agents 这个前沿领域，显然还有很多尚未有共识的地方。

下一期，我们会讨论更多AI领域核心话题，包括多模态模型，机器人应用落地，AI对saas的影响，LLM发展史，未来畅想等等，更是不容错过。赶紧关注Onboard!

几位嘉宾都是长期在美国工作生活，夹杂英文在所难免，不接受抱怨。Enjoy!

嘉宾介绍

Jim Fan（推特：@DrJimFan），Nvidia 高级 AI 研究科学家，曾在OpenAI工作，Stanford PhD 李飞飞实验室

戴涵俊（推特：@hanjundai），Google Deepmind 资深研究员，深度参与 Google 大语言模型项目，曾在OpenAI工作，Georgia Tech PhD

硅谷徐老师（推特：@h0wie_xu），硅谷连续创业者、人工智能高管、斯坦福商学院客座讲师，「科技早知道」主播 ｜微信公众号：硅谷云｜ AI博客：howiexu.substack.com

主持：Monica（推特：Monica_XieY）：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号：M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

在粗糙简陋的 studio 顺利完成3小时录制！

Hanjun 的霸气车牌！

我们都聊了什么

02:50 几位嘉宾自我介绍，最近看到了什么有意思的AI项目

05:51 Hanjun @Google Deepmind: 最近发表的 speculative decoding 工作如何提升模型速度

09:14 Jim Fan @Nvidia: 为什么AI agents 是值得关注的方向，基于agents 有什么应用

12:42 什么是 AI agents? 好的 Agents 需要怎样的核心能力

16:54 企业场景落地 AI Agents 应用，主要有哪些挑战？

25:18 AI Agents 目前落地的挑战，是由底层基础模型的能力决定的吗？

35:56 如何看待目前 AI Agents 不同的实现方式？Adept AI 的形态会被取代吗？

39:57 未来工具使用更多是 AI agents 来完成，对于应用生态意味着什么？

48:18 Llama 2 开源对于LLM生态意味着什么？底层基础模型会赢家通吃吗？

56:58 如何理解开源和闭源模型的壁垒？

68:24 我们需要领域专有模型吗？

我们提到的内容

• Hanjun 提到的论文：Accelerating Large Language Model Decoding with Speculative Sampling
• Jim 的论文: Voyager: An Open-Ended Embodied Agent with Large Language Models
• Jim 提到的论文：Generative Agents: Interactive Simulacra of Human Behavior
• 开源项目 Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous
• Llama 2: Meta 开源的大语言模型
• Adept.ai: a new way to use computers. Transformer 论文作者创办
• Character AI
• Jim 提到的基于大语言模型的游戏：病娇AI女友

•  MPT-7B (MosaicML Pretrained Transformer): MosaicML 发布的可商用开源大语言模型
• Anthropic: Transformer 论文作者创立的大语言模型公司
• Harvey：为律所设计的生成式AI工具
• 讨论 Google 等大厂LLM竞争壁垒的文章 ($$)：Google "We Have No Moat, And Neither Does OpenAI"

重点词汇

• RLHF (Reinforcement Learning with Human Feedback): 人类反馈的强化学习 - 一种AI模型通过人类反馈与传统的强化学习结合来学习的方法。
• Fine tuning: 微调 - 在特定的数据集上进一步训练预训练的机器学习模型，使其适应特定任务的过程。
• Hallucination: 幻觉 - 在AI中，指的是模型生成不在输入中的信息，可能导致输出不准确。
• Multi-modal model: 多模态模型 - 能够理解和处理多种类型数据（如文本、图像和声音）的模型。
• Embodied AI: 具体化的人工智能 - 通过物理或虚拟的身体与环境互动的AI系统，例如机器人或虚拟代理。
• Quantization: 量化 - 限制用于表示数字的位数的过程，有助于减小机器学习模型的大小并加速计算。
• Mixture-of-experts (MoE): 专家混合模型 - 一种机器学习方法，其中模型的不同部分专门处理不同类型的数据或任务。
• Inference: 推断 - 已训练的AI模型基于所提供的数据预测结果的过程。
• Reasoning: 推理能力 - AI系统根据信息或一组事实得出结论的能力。
• NPC (Non-Player Character): 非玩家角色
• RPA (Robotic Process Automation): 机器人流程自动化
• First class citizen: 一等公民

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！

如果你能在小宇宙上点个赞，Apple Podcasts 上给个五星好评，就能让更多的朋友看到我们努力制作的内容，打赏请我们喝杯咖啡，就给你比心！

有任何心得和建议，也欢迎在评论区跟我们互动~