Zhenzhong is currently building a startup with Chip Huyen to make ML real-time. Previously, he led the real-time data infrastructure team at Netflix. His team built trillion-scale real-time data products such as Keystone, Stream Processing as a Service, Mantis, and Data Mesh.
振中目前正在与 Chip Huyen 建立一家初创公司，以实现 ML 的实时性。此前，他曾领导 Netflix 的实时数据基础架构团队。他的团队构建了 Keystone、流处理即服务、Mantis 和 Data Mesh 等万亿级实时数据产品。
我非常荣幸有机会在本次技术会议上分享一些对工程师职业发展的思考。作为一家硅谷初创公司的CTO，并在过去几年中担任工程领导力导师，我有幸帮助了20多位杰出工程师和初创企业创始人解决职业和创业困惑，培养领导力能力。在这个过程中，我既为他们的个人成长和职业晋升感到欣慰，同时也深刻观察到一些常见的职业瓶颈问题背后的模式和启示。
在本次演讲中，我将分享一些真实的故事和案例，涉及与学员合作的经历，并聚焦于几个关键主题。我将探讨如何克服技术领域中的技术性难题以及组织文化上的挑战。同时，我还将分享具体的建议，包括技术决策与产品工程的协调，以及在技术领域中找到个人目标和使命的重要性。
通过本次演讲，我希望能够激发观众的思考，并为他们提供更好的职业规划和发展方向。我也希望能够给技术领导者在人才培养方面提供一些启示和思路。
Complexities You Should Care about a Simple Real-time ML Abstraction
If you are a data scientist or a platform engineer, you probably can relate to the pains of working with the current explosive growth of Data/ML technologies and toolings. With many overlapping options and steep learning curves for each, it’s increasingly challenging for data science teams. Many platform teams started thinking about building an abstracted ML platform layer to support generalized ML use cases. But there are many complexities involved, especially as the underlying real-time data is shifting into the mainstream.
In this talk, we’ll discuss why ML platforms can benefit from a simple and “invisible” abstraction. We’ll offer some evidence on why you should consider leveraging streaming technologies even if your use cases are not real-time yet. We’ll share learnings (combining both ML and Infra perspectives) about some of the hard complexities involved in building such simple abstractions, the design principles behind them, and some counterintuitive decisions you may come across along the way.
By the end of the talk, I hope data scientists can walk away with some tips on how to evaluate ML platforms, and platform engineers learned a few architectural and design tricks.
如果你是一名数据科学家或平台工程师，您可能很容易体会到当前数据和机器学习的工具呈爆炸式增长，以及这个趋势给你所带来的困扰。 由于每个工具太过繁复和陡峭的学习曲线，这对数据科学团队来说越来越具有挑战性。 许多平台团队开始考虑构建一个抽象的 ML 平台层来支持通用的 ML 用例。 但是其中涉及许多复杂性，尤其是在处理实时或近实时 ML 时，会表现的尤为明显。
在本次演讲中，我们将讨论一个简单而“隐形”的抽象层，及这个抽象层的技术意义。 我们将提供一些证据和观点，说明为什么您应该考虑利用Stream Processing，尽管你可能已经听到了所有艰巨的挑战。我们将分享一些关于构建这种简单抽象时所涉及的困难复杂性的经验教训（结合机器学习和基础架构的视角），抽象背后的设计原则以及你可能会遇到的一些违反直觉的决策。
在演讲结束时，我希望技术和商业领导能更深刻的理解为什么实时ML/AI是未来的趋势，也希望数据科学家能够了解一些有关如何更有效地处理机器学习工作流程的，而平台工程师则能够学习到一些可以使你的组织具备未来性的架构和设计技巧。
京公网安备 11010502039052号 | 产品资质