EP 26. 【生成式AI专题2】ChatGPT的技术与商业演进：对话Google Brain&Stability AI

自从OpenAI 发布的chatGPT掀起席卷世界的AI热潮，不到3个月就积累了超过1亿月活用户，超过1300万日活用户，展现了AI让人惊叹的能力，让人感叹，下一个科技革命终于要到来。于是，这次硬核讨论就来了！

Hello World, who is Onboard!?

这次的嘉宾都是绝对的一线。有 Google Brain 的研究员，Xuezhi, 她是 Google 大语言模型 PaLM (Pathways language model) 的作者之一。还有来自 Stability AI 的技术产品经理，和来自某硅谷科技大厂的AI产品经理，曾任前吴恩达教授的Landing AI 机器学习产品负责人。还邀请到了一位一直关注AI的投资人朋友，Bill，作为主持嘉宾。

我们主要讨论几个话题：从研究的视角，最前沿的研究者在关注什么？现在的技术可能的天花板和大变量会在哪儿？从产品和商业的角度，什么是一个好的AI产品？整个生态可能随着大模型出现有什么演变？最后，Monica 和Bill 还会从投资人的视角，做一个回顾、总结和畅想。

这里还有一个小update, 在本集发布的时候，Google 也对爆发增长的ChatGPT 做出了回应，正在测试一个基于LaMDA 模型的聊天机器人 Apprentice Bard。正式发布后会有什么惊喜，我们拭目以待。

AI无疑是未来几年最令人兴奋的变量之一。我们未来会邀请到更多一线从业者，从不同角度讨论技术演进、商业的可能，甚至未来对于我们每个人和社会意味着什么。不论你是做创业、研究、产品还是投资，或许都能为你提供一些思考。

这次的讨论有些技术硬核，需要各位对生成式AI、大模型都有一些基础了解。讨论中涉及到的论文和重要概念，也总结在 show notes 中，供大家复习参考。其中几位嘉宾在北美工作生活多年，夹杂英文在所难免，也请大家体谅。

欢迎来到未来，Enjoy!

嘉宾介绍

Xuezhi Wang, Google Brain 研究员，Google 语言大模型 PaLM 作者之一。

Yizhou Zheng, Stability AI 产品和工程经理

Yiwen Li, 某硅谷科技大厂机器学习产品经理，前 Landing AI 产品负责人，天使投资人

关于主播

Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

02:52 嘉宾自我介绍，fun fact: 你们感兴趣的一个生成式AI项目

大语言模型（LLM）的硬核讨论

12:07 Google PaLM 是什么？跟GPT3有什么区别？

15:47 GPT3比起GPT2 的巨大提升是怎么实现的？In-context learning 的机制是什么？

24:02 大模型不断增加参数的过程有什么挑战？还有什么影响模型效果的重要因素？

27:35 模型参数已经到瓶颈了吗？增加模型参数对落地应用有什么影响？

31:13 高质量的训练数据规模会成为模型扩展的瓶颈吗？

37:24 大模型基础上，具体场景的模型训练对数据要求有什么变化？

Stability AI 和开源商业模式

42:59 什么是Stable Diffusion? 跟其他图片生成模型的区别是什么？

55:27 Stability AI 开源商业模式是什么？

59:40 大模型背景下的AI商业模式会有什么变化？

01:08:26 训练成本会如何影响AI产品和基于开源的商业模式？

01:13:13 底层模型提供商会形成类似iOS，安卓这样的生态吗？AI PaaS 生态会如何演变？

实现下一步的可能挑战

01:22:12 What's next: 现在的LLM还有什么瓶颈？基于现有模型的天花板是什么？

01:31:27 大语言模型如何提升能力：多语言的挑战，多模态数据的作用

01:36:32 图片生成模型目前的瓶颈和未来提升的方向

01:39:18 多模态为什么对于模型提升很重要

01:42:37 多模态的难点是什么？

大模型的落地和产品化

01:44:46 What's next: 基于大模型需要不一样的AI开发工具链吗？基础模型提供商会不会提供配套工具？

01:58:48 产品经理如何思考AI的应用场景？

02:03:25 Closing: 嘉宾未来关注的AI发展领域

Monica & Bill 投资人讨论

02:07:05 今天讨论印象深刻的点

02:09:39 这次AI浪潮跟上一波有什么不同？投资人如何评估生成式AI创业公司？

02:14:44 现在是好的投资时点吗？

02:17:03 随着训练成本降低，做模型的企业护城河是什么？

02:20:00 如何看待中国的生成式AI创业机会？

02:25:36 未来让我们兴奋的AI创业机会还有哪些？

提到的公司/项目

• OpenAI
• GPT3
• ChatGPT
• Stability AI
• Stable diffusion
• DALL-E
• Imagen
• Majesty diffusion
• Landing AI
• Midjourney
• Huggingface
• DeepMind
• Apprentice Bard

重要名词

• Large Language Model (LLM)
• Transformer
• Parameter
• Decoder
• PaLM (Pathways Language Model)
• Reasoning
• GAN (generative adversarial network)
• Chain of Thoughts
• Self-consistency
• Fewer shot learning
• CLIP guided diffusion
• Prompt engineering
• PRFAQ

参考文章

• Introducing Pathways: A next-generation AI architecture
• More Efficient In-Context Learning with GLaM
• LaMDA: our breakthrough conversation technology by Google
• Training Compute-Optimal Large Language Models
• Flamingo: a Visual Language Model for Few-Shot Learning
• Language Models Perform Reasoning via Chain of Thought
• Stable Diffusion with Core ML on Apple Silicon
• Deepmind Sparrow: Improving alignment of dialogue agents via targeted human judgements

欢迎关注M小姐的微信公众号，了解更多中美企业服务的干货内容！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！希望你分享给对这个话题感兴趣的朋友哦~如果你有希望我们聊的话题，希望我们邀请的访谈嘉宾，都欢迎在留言中告诉我们。

免责：节目中的观点都是嘉宾和主持人个人观点，不代表所在机构观点，亦不构成任何投资建议。