"话说产品经理和程序员最近眼神有点怪，业务迭代突然变快，Mapping 天天改，这下把运维折磨的不成人型，为了升级 Elasticsearch 常常熬夜到天明。除了数据重建、版本升级，总经理天天念叨什么上云、下云，跨云，反正头大。" 本次分享主要围绕上面运维同学的提到的头疼问题，给大家分享一下 Elasticsearch 如何进行数据迁移的那点事吧，希望大家早点下班，不用熬夜

随着 NLP 技术的持续发展以及对语义搜索越来越频繁的需求，在需要准确理解用户表达和需求的领域，如O2O搜索，舆情监控，用户喜好度分析，问答系统等，往往需要情感分析，命名实体识别，语义搜索，分类分析等自然语言处理技术与 Elasticsearch 一起提供技术支撑。而最近爆火的 chatGPT，则大大加速了用户使用习惯的转变，增强了用户对于NLP技术应用于企业搜索、应用搜索的期待。在AI革命的新时代，我们应该如何让搜索更懂我们的用户？本次分享，将介绍 Elasticsearch 上所集成的NLP能力，以帮助大家做好准备。

在这个主题里面我会把Elastic Stack 7和8版本的新功能进行系统性的梳理，按照基础架构、搜索、全观测、安全等类别介绍，从而让听众可以更高效地掌握这些新功能的设计目的和应用场景。

腾讯云大数据 Elasticsearch 服务于腾讯内外部广大的客户群体和业务场景。为了持续帮助客户降本增效，腾讯云ES基于云原生能力不断进行架构升级，重点研发了存算分离、索引自治、数据集成等核心特性，并进一步向完全无服务化的 Serverless 架构演进，用户无需感知底层集群和服务器，按量付费，帮助客户大幅降低软硬件成本和运维成本。

时序数据是ES可观察性很关键的一类场景，当前使用ES存储时序数据存在最佳实践使用门槛过高，存储容量过大，查询语句复杂等问题。阿里云联合 Elastic 社区共同打造的时序引擎，旨在降低用户的使用门槛，提供高性能、低成本的TSDB。本次分享会介绍ES最新的TSDB特性的设计和原理

刘凡将给大家分享Elastic Stack在k8s上的实战经验总结，更会进一步解析分布式数据引擎在k8s背后得到良好支撑的关键技术，例如：StatefuleSet、Operator等等。最后会给大家带来谷歌在基于容器平台的混合云尖端技术剖析，为大家部署、管理异地、多集群点亮一盏明灯。

ES在字节有着非常广泛的应用，不论是常规的全文检索和日志搜索，还是结构化搜索、POI搜索、向量检索均可看见ES的身影。但如何让业务用好ES，依然还是任重道远，本次分享主要介绍ByteES团队在服务全公司业务时所做的一些实践和探索。
分享内容:
ByteES 之应用
ByteES 之架构
ByteES 之生态
ByteES 之容器
ByteES 之未来

图片直播领域为了满足用户快速获取照片的需求，需要人脸搜索的需求。最初用第三方的付费接口，但是有诸多限制，比如人脸库有上限，单次搜索只能返回5个结果，一段时间后已经不满足业务需求。
1.前期考察技术可行性，es7.0已经提供dense_vector向量数据类型但是还没有提供搜索接口
2.用搜索脚本验证方案可行性，测试准确度，稳定性，关注最新future发布计划
3.根据业务计划，压测服务，得出技术指标，规划服务器规模
4.持续优化到支撑10亿人脸库搜索，怎么省钱
5.100亿人脸库搜索的下一步规划

Elasticsearch 海量运营，服务自治，运营效率提升秘籍：
1. 自治索引：用户零介入索引管理解决方案，生命周期全托管，全自动索引创建、滚动、分片调整、查询裁剪。
2. 智能诊断：智能排障系统，自发现，自定位，自恢复，降低MTTR，释放运营人力。
3. 自动扩缩容：集群自动弹性伸缩，向 serverless 迈进。

首先介绍 Elasticsearch 向 Serverless 方向演进的背景及落地进展，并围绕 Serverless 新产品形态展开系统架构及核心技术介绍，内容涉及系统整体架构、数据接入、集群负载均衡、数据链路切换、资源弹性、混合存储等，最后对腾讯云 Serverless Elasticsearch 进行总结展望。

企业在使用ELK在应对日志场景的需求时，在成本、日志容灾、冷热多级存储、横向扩展效率、并发性能及稳定性相关问题上，往往需要投入不少集成封装，机器冗余，运维相关的人和资源的投入。阿里云 Elasticsearch 通过 Serverless 的方式，充分利用云端的服务化产品能力的优势，帮助企业解决痛点问题，助力企业的数字化转型。

开源 Elasticsearch 在大规模日志检索应用中，往往面临日志流量吞吐大、存储配置复杂带来性能、成本、稳定性的多重局限。阿里云 Elasticsearch 作为首家提供 Elasticsearch Serverless 服务的云厂商，通过对最新云原生 Serverless 版本的产品及技术架构解读，结合其在阿里巴巴集团内人群平台日志可观测场景最佳实践，看 ES Serverles 服务化如何帮助用户减少技术使用成本，持续提升解决业务问题的能力。

作为行业领先的软件定义存储（SDS）厂商，XSKY星辰天合在产品中通过ES向客户提供了丰富的集群监控管理和数据管理功能。在面对海量数据时，如何提高查询效率，降低ES存储成本，ES如何适应混合云、跨地域部署的场景，XSKY星辰天合进行了思考和实践。XSKY星辰天合产品能很好的与ES联动，作为ES冷数据分层目标，再结合数据流动特性，进一步拓展ES分层及快照功能的应用场景。本演讲将介绍XSKY星辰天合产品中ES的使用场景，以及存储与ES联动进行数据存储优化和生命周期管理。

阿里云 Elasticsearch 始终秉承着"源于开源，又不止于开源"的产品理念，围绕 Elasticsearch 不断进行云原生技术能力升级。阿里云 Elasticsearch 面向日志分析检索场景，推出了云原生智能存储引擎 OpenStore，旨在利用云上存算分离的能力，为用户提供高性价比的日志存储服务。与用户自建冷热分离集群相比，查询性能提升数倍，总体部署成本降低70%以上。本次分享的主要内容涉及：
1. 云原生智能存储引擎 OpenStore 架构；
2. 存算分离和一写多读；
3. 查询和写入性能优化。

日志类数据的存储与分析是 Elasticsearch 最主流的应用场景，腾讯云提供一站式托管服务，并围绕"降低成本"与"性能加速"两大目标，在架构与内核上做了系统性优化，使得存储成本降低 50%-80%， 写入性能提升 50%+，查询性能提升数十倍。本次分享详细介绍相关优化，主要内容包括：
1. 自研云原生混合存储引擎；
2. Segment 级别数据复制协议；
3. Lucene 索引引擎压缩编码优化；
4. 查询性能深度优化。

1.vivo 搜索业务介绍及架构演进。
2.Elasticsearch 在 vivo 搜索中台的实践（Elasticsearch 文本召回,向量检索,精排实践）。
3.搜索中台业务应用总结。

腾讯问卷是腾讯CDC根据多年问卷调查研究经验自主开发的在线问卷调查平台，该平台前身是腾讯内部用户、市场、产品研究的重要工具，于2015年正式对外开放。Elasticsearch 支撑了腾讯问卷由 ES 2.0 开始至 5.x，6.x，7.x 版本，集群规模达1000亿数据，数十TB。支撑了腾讯问卷的日志监控告警、20亿数据自定义字段的搜索过滤、统计分析与交叉分析。

ES在字节跳动有着大规模的使用。为了应对实时数据的快速增长、提供极高的写入性能、降低读写资源竞争，我们基于Flink实现了在ES集群之外以mini batch的方式构建索引并传输至ES集群的方案，单节点写入速度达到每秒近百万；并通过拓展微批的语义、实现了流批融合的技术架构，在单一架构上同时支持离线、实时数据的导入。本方案相较于传统离线外部构建索引的方式，具有性能极致高效、稳定性高、轻依赖低耦合、流批一体、架构简洁等特点。本次分享将介绍期间遇到的主要困难，解决方案，以及详细的性能指标。

阿里 Elasticsearch 团队致力于提供高性能、低成本、高可用的搜索分析能力，服务于阿里云 Elasticsearch 产品云上用户以及阿里集团内部用户，现已稳定支持数万 Elasticsearch 集群和数十PB的海量数据，本次分享主要介绍阿里 Elasticsearch 在内核上的持续优化，包括
1. 日志增强版 serverless 化架构 （indexing service + openstore）
2. 索引压缩
3. 动态热点负载均衡
4. 多租户隔离与限流

很多时候大家都在关注ES的灵活性，功能，成本，性能。在金融领域，除了关心上面的技术外，会要求更高的可靠性，安全性。进一步，当数据达到PB级后，达成这些目标变得困难，本次分享尝试探讨下面内容：
1、在PB级数据场景下，针对 Elasticsearch 的安全性、可靠性所做的深入改进。
2、数据持续增长，无消亡，PB级集群的均衡。解决原生版本大集群数据倾斜问题。
3、不中断业务下的通讯加密切换。解决原生版本需要整体重启集群切换通讯加密的问题。
4、损失更小的跨城同步尝试。比同类方案数据同步延迟低28%(更低rpo)，cpu负载低57%(更高的业务上限)

1、集群管理面临的挑战
2、集群管理常用的工具
3、客户实际运维案例和经验分享
3.1、如何诊断集群问题
3.2、如何进行集群监控
3.3、如何进行灾备和恢复
4、根据实际项目经验得出一些最佳实践建议

主旨介绍如何将在线机器学习预测能力迁移到es内部,增强其排序能力；
借助es分布式能力可以使模型排序的深度轻松达到数千,实现一排到底,得益于模型种类扩充&计算深度增加,给业务带来新的增长点；
涉及模块: 文件分发系统,统一执行引擎,本地kkv系统,插件多层热加载,特征配置化等；

1、索引设计优化（小索引、大时间范围订单检索 等）
2、AWS EC2成本优化（机型的选择、hot-warm 等）

Elasticsearch 场景中数据量迅速增长，但存储容量、查询性能和维护成本之间的矛盾尤为突出。为了降低成本，越来越多的企业将温、冷数据迁移到云上的对象存储中。 但是，直接在对象存储上使用 Elasticsearch 会导致性能低下和兼容性问题。JuiceFS 是一款开源分布式文件系统，专为云环境设计，可适配所有对象存储。在对象存储上使用 JuiceFS 存储数据，可以有效解决 Elasticsearch 场景中的查询性能和兼容性问题。分享者将介绍 Elasticsearch 的数据分层设计，对象存储上使用 Elasticsearch 的挑战，JuiceFS 的架构设计及原理解析，以及如何在 Elasticsearch 上云中使用 JuiceFS。