EP 08. 【硅谷连线回放】MLOps: 下一个基础软件百亿美金战场？

这是一期的主题或许有些硬核：我们连线硅谷一线科技公司，聊聊机器学习的工具栈，ML Infra (更准确来说，MLOps)。这是M小姐公众号上个月的一次直播回放，主题是《下一个infra 百亿美金战场在哪里？顶尖开源公司眼里的 MLOps 新时代》。

Hello World, who is OnBoard?!

欢迎来到 OnBoard!, 真实的一线经验，走心的投资思考，我们聊聊软件如何改变世界。

如果说过去5年是企业服务/SaaS的黄金年代（尤其在美国），那么，2021年绝对可以说是基础软件（主要是PaaS）的爆发之年。不过，在市场情绪急转直下的2022年，data infra 卷到发紫之后，一个infra领域的新战场已经在浮现。这就是这次我们要讨论的主题：MLOps（机器学习 DevOps 工具）.

对于MLOps，一个比较被广为接受的定义是（来自Nvidia），MLOps是结合了ML（Machine Learning，机器学习），应用开发和IT infra的一整套流程和相应的工具链。包括了ML开发的准备-开发-部署整个过程中数据收集、模型开发、模型训练、实验管理、CI/CD，到生产环境部署、监控等一系列工具。

Data Infra （数据基础设施）已经出现了 Databricks, Snowflake 这样的百亿美金公司，而MLOps/ML Infra 似乎在爆发前夜。从上一个时代做平台化的 Datarobot, Dataiku, AWS SageMaker, 做标注的 Scale AI（估值7.5Bn）开始了细分市场的号角。各个领域的新兴独角兽开始涌现，比如基于自动化标注的AI平台 Snorkel AI（估值$1bn）,做 NLP transformer 的Hugging Face (估值 $2Bn), 做实验管理的 Weights & Bias (估值$1Bn) , 分布式计算的Ray/AnyScale （估值$1bn）等等。

但是，要了解这个前沿趋势在硅谷实际的落地情况，这个转折点的背景，还有哪些机会，中国的创业者和创业公司可以如何参与到这个进程中甚至弯道超车，按照Monica 的习惯，当然是要请硅谷最一线的亲历者来聊聊！

这次我们请来的嘉宾的经验，横跨了Apple, Databricks 这样的大厂，也有Snorkel AI, BentoML这样的创业公司，从创业者到产品经理到开发者，他们的视角足够全面，一个多小时的分享，干货也是非常丰富。

直播的反响非常好，很多人要求回放，索性就上传到播客里，供大家回味。

中间因为腾讯视频号直播的连接问题，后面的音质可能不大好，请大家多担待。另外，嘉宾们日常工作都是英文环境，夹杂英文在所难免，尤其是一些专业名词，也希望大家体谅呀！一些名词注释我们也整理在节目介绍中了，真的尽力了！

想要了解更多背景知识和嘉宾介绍，请看这篇硬核宣传稿！

关于主播

Monica：美元VC投资人，前 AWS 硅谷团队+AI创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学

重磅直播嘉宾

• Yifan Cao, PM @Cruise ML platform, ex PM@Databricks, ex-PM @Apple ML
• Quinn, BizOps @Snorkel AI, ex-PM @Moveworks
• Chaoyu Yang, Co-founder & CEO @BentoML (github), ex software Eng @Databricks

我们都聊了什么：

03:32  Monica 和几位嘉宾的自我介绍+Fun facts: 我们关注的 MLOps startups

14:02   如何理解 MLOps? 为什么企业需要关注 MLOps?

23:40  为什么现在 MLOps 开始得到了关注，主要的驱动力是什么？

37:01 新的 MLOps 产品早期 adopters 都是怎样的用户？

47:38 从技术提供方的 Databricks 到甲方 Apple, Cruise, 对于企业如何选择 MLOps 产品有什么新的思考？

53:31 BentoML 为何选择 model serving 作为创业切入点？

63:52 企业内部如何推动一个新的 MLOps 公司落地？决策链是怎样的？

68:39 Billion dollar question: MLOps 工具做单点还是平台？未来会如何整合？

77:54 MLOps 开源公司，如何设计商业化路径?

85:22 Yifan 如何看待单点还是平台，开源商业化两个问题（中间网络断掉了得补上……）

90:29 MLOps 目前还有什么挑战和最令人兴奋的机会？

97:23 新领域创业公司早期如何招到优秀的人才

我们提到的公司

• Yifan: Outerbounds, Netflix 的开源项目MetaflowOSS的商业公司
• Chaoyu: Perfect.io, workflow orchestration（工作流编排，其实不是针对 MLOps, 跟Airflow 场景更接近）
• Quinn: Arthur.ai, ML monitoring 机器学习模型监控
• AWS SageMaker
• Fiddler AI: ML 监控和可解释性平台
• Arize AI: ML infra 观察和监控工具

推荐文章

• 有干货的直播介绍：下一个 Infra 百亿美金战场在哪里
• 一篇MLOps 中文科普文章
• 【推荐！】Sapphire Ventures: The Future of AI Infrastructure is Becoming Modular: Why Best-of-Breed MLOps Solutions are Taking Off & Top Players to Watch
• A16Z: Data50
• A16Z: Emerging Architectures for Modern Data Infrastructure

需要了解的名词

• Model serving: 模型服务
• Model deployment: 模型部署
• Feature Store：特征仓库
• Snorkel Flow: Snorkel 开发的data-centric AI development platform，以数据为中心的AI开发平台

欢迎关注M小姐的微信公众号，了解更多中美连线对话！

M小姐研习录 (ID: MissMStudy)

大家的点赞、评论、转发是对我们最好的鼓励！希望你分享给对这个话题感兴趣的朋友哦~

如果你有希望我们聊的话题，希望我们邀请的访谈嘉宾，都欢迎在留言中告诉我们哦！