互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台Saturn和统一检索平台Pallas的研发,推广以及开源社区的维护。
互联网技术爱好者,曾参与主导多个大型互联网产品的整体架构;2016加入唯品会,现任基础架构团队和技术开源委员会核心成员;技术兴趣集中在分布式设计,高可用架构,任务调度,搜索引擎,优雅设计,高性能服务等领域;目前主导唯品会两项基础平台:弹性任务调度平台Saturn和统一检索平台Pallas的研发,推广以及开源社区的维护。
电商系统存在大量适用于“检索”的场景,比如商品搜索、订单搜索、分表分库检索、慢查询替代,ElasticSearch作为优秀的开源检索引擎,但是接入、管理、运维成本高昂。
如何有效地管理大规模ElasticSearch集群,降低接入门槛;如何将不同数据源同步到检索引擎,并保证数据一致性;如何实现跨IDC高可用,无人值守升级,在线性能调优,并做到统一监控告警、平滑扩容、检索服务治理(超时,重试,路由,鉴权,限流,隔离)等等,这些问题的探索和解决,最终形成了唯品会统一检索平台Pallas。
本次分享将带来唯品会在统一检索平台建设过程中对这些问题的思考、解决思路,以及踩过的坑。
演讲提纲
一、问题的提出
二、统一检索平台全面剖析
1. 总体架构介绍
2. Search代理层核心问题及解决思路:
3. 索引数据同步若干关键技术和架构:
4. 平台管理核心问题分析及黑科技:
三、检索性能调优的方法和干货分享
四、ES插件动态方案实现原理及黑科技:
五、Pallas成果及2018规划
听众受益