2013年毕业于浙江大学,先后任职阿里、华云数据、网易等公司,主要从事大数据存储、计算引擎开发和优化工作。目前主要的工作内容:严选大数据和算法的基础设施建设,以及推荐、搜索、广告等算法工程化的工作。负责了严选大数据平台、机器学习平台、数据智能决策系统、全链路数据治理系统的建设。

2013年毕业于浙江大学,先后任职阿里、华云数据、网易等公司,主要从事大数据存储、计算引擎开发和优化工作。目前主要的工作内容:严选大数据和算法的基础设施建设,以及推荐、搜索、广告等算法工程化的工作。负责了严选大数据平台、机器学习平台、数据智能决策系统、全链路数据治理系统的建设。
业务的快速发展与迭代,如何合理的控制数据与算法基础设施的成本,如何为前线业务提供充足的计算与存储能力,是基础设施团队必须要面对的问题。 随着云原生社区的蓬勃发展,给我们带来了很多思路和工具来应对这个成本和灵活性的难题。从2018年开始,网易严选的大数据和算法基础架构开始朝着计算存储分离、批流、模型训练与推理等计算混合部署方向演进,到2020年为止,我们基本上完成了这一个方向的工作。 本次演讲,我想给大家介绍下网易严选在这个演进过程中具体的工作,包括架构演进的目标、核心的推进策略(Spark、Flink、Tenseflow等服务的改造策略)和推进过程中遇到的坑等等。
大数据从业人员,对大数据基础设施和云原生相关技术感兴趣的同学。



微信咨询

电话咨询
微信联系我们
