EP 63. 直播回放：什么是开发大模型应用的新一代底层技术栈？对谈贾扬清，PingCAP黄东旭和AWS核心AI产品研发

我们回来了！2024年转眼就剩下不到两周了，接下来要努力了！这一期是10月一场直播的录制。AI时代日新月异，最近几个月 windsurf, Devin 一众 AI 软件开发工具不断刷新我们对于软件开发范式的认知。这一期对于更底层 AI native 软件技术栈的讨论，仍然不过时。

Hello World, who is OnBoard!?

随着 GPT, Claude 等大模型的出现和迅速演进，AI 应用开发进入了全新的阶段。传统的软件开发流程正在被重新审视，新的开发框架、数据存储方式和调试方法层出不穷。这次的嘉宾，在软件技术栈的各个领域都可谓重磅。

Andy Peng 是AWS 生成式AI核心产品 Bedrock 的核心成员，负责AWS上Anthropic 一系列重要 API 的同时，他也是 Linux Foundation 和 Cloud Native Computing Foundation (CNCF) 的重要成员，从云计算、分布式系统到AI 技术设施，都是绝对的一线专家。

Dongxu 是我们的返厂嘉宾，开源数据库PingCAP的创始人兼CTO，本次的的话题也是受到他的一条朋友圈启发：围绕AI的应用开发，会对整个软件开发范式，包括开发框架、数据存储和处理方式、观测性工程和质量体系等等，带来怎样的变化？

另一位返厂嘉宾也是绝对的大牛，Lepton AI 创始人 CEO贾扬清, 从 Google Brain 到 Facebook AI 到阿里巴巴，作为 Caffee2, Pytorch 的核心元老，到创立Lepton AI，致力打造 AI cloud，又看到整个AI开发生态有怎样的演进？有什么可以从上一代 AI infra 发展中可以参考的变与不变？

这次讨论的话题需要一些技术基础知识，另外，嘉宾长期在海外工作生活，夹杂英文在所难免，不接受抱怨，欢迎评论区提出新的问题和观点。Enjoy!

嘉宾介绍

• 贾扬清，Lepton AI 创始人 & CEO，ex-Facebook AI, Google Brain, 阿里云副总裁, 深度学习框架 Caffe 和 ONNX 的创建者之一
• Andy Peng, AWS Bedrock 核心成员，Cloud Native Computing Foundation (CNCF) Ambassador
• 黄东旭，PingCAP 联合创始人兼 CTO，分布式数据库 TiDB 作者。
• OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

我们都聊了什么

03:05 嘉宾自我介绍，最近关注到的 AI 相关产品：DSPy, 快手可灵，Anthropic Artifacts

12:08 开发基于大模型的应用，为什么需要不一样的技术栈？

18:45 为什么上一波 AI 的API商业模式不work, 这一次 Model as a service 的API业务会有什么异同？

25:26 过去一年，应用开发工具有哪些重要变化？未来更复杂的应用还有哪些需求？

33:35 AutoGPT 启发了 RAG？Agent 的实际落地情况怎样？

35:13 AI 应用为什么会重构 Kubernetes 的资源调度方式？

40:08 多模态和非结构化数据的增加，会对 Infra 和开发工具有哪些新的需求？对于现在的 data infra 公司意味着什么？

51:15 AI 应用需要怎样新的可观测性体系？

61:43 AI 和RAG系统中的搜索，与传统搜索有哪些异同？

64:47 Agentic workflow 会对应用开发技术栈带来哪些新的需求？现在做工具“抽象化”还太早了吗？

70:56 变革中，新的定义如何产生？为什么很多概念定义都是在美国诞生的？

73:18 这一系列变化中，有哪些是新玩家的新机会？哪些适合现有玩家做改良？

76:58 做一个开发工具，如何决定是否要开源？

78:41 多模态实时交互会对开发技术栈带来哪些新的挑战？

81:12 如何判断哪些开源项目可以做商业化？

85:45 我们需要单独的向量索引吗？VectorDB 有多少机会会被现有数据库公司占据？

93:43 未来技术选型的决策会由AI来做吗？软件开发会变成标品吗？

95:40 云厂商和大模型提供商之间是相互竞争的吗？

99:22 端侧模型和云端部署模型之间是怎样的关系？未来的格局会有什么变化？

104:21 未来1-3年，期待 infra 领域还有哪些变化？

109:51 嘉宾的产品未来还有哪些重要计划！

我们提到的公司

• LangChain: www.langchain.com - 一个用于开发语言模型应用程序的框架。
• LlamaIndex: gpt-index.readthedocs.io - 一个用于 LLM 应用程序的数据框架。
• Databricks: www.databricks.com （可能是指他们的模型服务和优化基础设施）
• Anyscale: www.anyscale.com一个用于构建和部署 Ray 应用程序的平台，通常用于扩展机器学习工作负载。
• Mosaic: www.mosaicml.com一个用于高效、可扩展地训练大型 AI 模型的平台。
• Modal: modal.com一个用于构建和部署机器学习模型的平台。
• Vercel: vercel.com一个用于前端框架和无服务器函数的平台。
• Guardrails: shreyar.github.io - 一个用于为 LLM 应用程序添加安全性和可靠性的开源库。
• SQLite: www.sqlite.org一个轻量级的、基于文件的数据库。
• DSPy: github.com -  一个用于构建 LLM 应用的框架，
• Factory.ai: factory.ai
• LiveKit: livekit.io - 一个用于构建和扩展实时音频和视频体验的开源基础设施。
• Dify: dify.ai -  一个用于视觉化构建 LLM 应用的平台，提供可视化界面和 workflow 编排功能。
• AWS Bedrock: aws.amazon.com -  AWS Bedrock 让你能够通过 API 访问和使用来自不同提供商的各种强大的基础模型。
• AWS App Studio: aws.amazon.com -  AWS App Studio 简化了在 AWS 云上构建、部署和扩展 Web 应用程序的流程。
• Phidata: www.phidata.com -  Phidata 帮助你构建实时数据管道和应用程序，处理和分析流式数据。
• NPI AI: www.npi.ai - The best tool for AI taking action.
• Unstructured.io: unstructured.io -  Unstructured.io 帮助你从各种类型的文档和数据中提取有价值的信息，例如文本、图像和表格。
• Datalogy: https://www.datologyai.com/ -  自动生成和管理训练数据集。
• Rockset: rockset.com -  Rockset 提供了一个实时分析数据库，用于构建需要快速查询和分析数据的应用程序。
• Anthropic Artifact: Anthropic Artifact 是一系列专注于安全性和可靠性的 LLM，可用于各种任务，例如对话生成和文本摘要。
• AutoGPT: github.com -  AutoGPT 是一个实验性项目，旨在探索如何使用 LLM 来自动执行任务和目标。
• artificialanalysis.com -  Artificialanalysis.com 提供了工具和资源来帮助你评估和比较不同的 LLM。
• GraphRAG: github.com -  GraphRAG 将知识图谱与 LLM 相结合，以提供更准确和全面的信息检索和生成。
• vLLM: github.com -  vLLM 帮助你更高效地在各种硬件上部署和运行 LLM 推理。
• PGvector: github.com -  PGvector 让你能够在 PostgreSQL 数据库中存储和查询向量嵌入，这对许多机器学习应用程序至关重要。
• DuckDB: duckdb.org -  DuckDB 是一款高性能的分析型数据库，非常适合处理大量数据和复杂查询。

重要词汇

• RAG (Retrieval Augmented Generation): RAG 通过从外部知识源检索相关信息来增强 LLM 的能力，使其能够生成更准确和翔实的响应。
• Embedding:  嵌入是一种将文本、图像或其他数据转换为数字向量表示的技术，使计算机能够理解和处理这些数据。
• Function calling: 函数调用允许 LLM 调用外部函数或 API 来执行特定任务，例如获取实时信息或与其他系统交互。
• Prompt engineering:  Prompt engineering 是一种设计和优化 LLM 输入提示的技术，以引导模型生成所需的输出。
• RPA (Robotic Process Automation): RPA 是一种使用软件机器人来自动化重复性任务的技术，例如数据输入和处理。
• Agentic workflow: Agentic workflow 是一种 LLM 驱动的自动化流程，LLM 可以自主地执行任务和做出决策。
• Data lake: 数据湖是一个集中存储各种类型原始数据的存储库，例如结构化数据、非结构化数据和半结构化数据。
• ETL (Extract, Transform, Load): ETL 是一种将数据从各种来源提取、转换和加载到目标系统（例如数据仓库）的过程。
• Vector database: 向量数据库专门用于存储和查询向量嵌入，这对于许多机器学习应用程序（例如相似性搜索和推荐系统）至关重要。
• Observability (可观测性): 可观测性是一种通过监控系统行为来了解和诊断系统性能和问题的方法。

参考文章

• www.enceladus.ventures
• a16z.com
• www.supervised.news
• www.factory.ai
• blog.livekit.io
• www.harness.io
• OpenAI Acquires Rockset

欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！

M小姐研习录 (ID: MissMStudy)

欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。

最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！