首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

【腾讯ES】基于ES的游戏社区搜索服务实践

本文主要介绍基于腾讯ES如何从零搭建整套社区搜索服务。需求分析作为内容社区的相关产品,对应的搜索服务一般需要考虑实现的功能有:社区中各类内容项的搜索结果返回。...,转换数据,然后把数据发送到诸如Elasticsearch但不限于的ES的一些“存储库”中并且logstash的X-pack功能(高级功能特性,腾讯白金版支持)能够使该处理管道服务在Kibana中直接接入管理和监控...使用StatefulSet作为有状态服务的负载对象, 利用K8s的StorageClass动态创建对应的持久存储,腾讯容器提供了基于硬盘CBS动态创建的方式,具体可以见文档相关配置:https://...当前腾讯好像也提供关于logstash实例的管理和创建服务,可以直接使用。3. logstash数据同步配置实例如下配置示例将一个表的定时周期每2分钟同步一次到ES索引当中。...从零搭建一个社区搜索服务当中所涉及到的最基础的一些问题,实际上也仅仅是对ES搜索引擎最基础的应用实践,更多搜索效果的优化以及ES的相关应用还有待深入研究。

1.5K30

腾讯ES+SCF快速构建搜索服务

腾讯ES是基于Elasticsearch构建的高可用、可伸缩的云端托管Elasticsearch服务,对结构化和非结构化的数据都有良好的支持,同时还提供了简单易用的 RESTful API 和各种语言的客户端...本文将针对搜索场景,使用《腾讯ES官方文档》作为语料,介绍如何使用腾讯ES+SCF快速搭建搜索服务。先贴一个搜索服务界面: [image] 资源准备 只需要一个ES集群!...在腾讯购买一个ES集群,集群的规模根据搜索服务的QPS和存入的文档的数据量而定。...具体可以参考《节点类型存储配置建议》 部署搜索服务 我们使用腾讯免费的SCF工具部署搜索服务的前端界面和后台服务 1 在函数->函数服务界面左上角首先选择你购买ES集群的地域 [image] 2 新建一个函数服务...点击搜索框上方的文字,自动导入数据 [image] 9 至此,一个基于腾讯ES的简单的问答搜索服务后台就部署完成了。开始你的搜索之旅吧!

1.5K31
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    分钟级落地,基于腾讯ES Serverless的原生容器服务日志分析

    腾讯容器服务(TKE)是基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,本文将基于腾讯ES Serverless服务,构建TKE容器服务日志分析体系,实现分钟级落地...在计算的发展初期,侧重的是能够快速平滑迁移上,例如把IDC资源换成服务器以及硬盘等。...值得一提的是,在2023年3月29日召开的企业上暨算融合产业大会上,腾讯ES Serverless服务被评为「信通院 “2022 可信算力服务 · 领航者计划” 优秀案例奖」。...除了支持原生的ES API写入方式之外,控制台已支持服务器CVM、容器服务TKE、EMR、数据仓库TCHouse-C等产品的一站式数据采集分析,同时也支持通过Logstash、Flink以及Kafka...一站式日志分析入门到精通学习课程_ES Serverless一站式日志分析入门到精通视频教程-腾讯开发者社区如对该产品感兴趣,也可控制台扫码加入交流群,ES Serverless服务的产品小哥非常nice

    46630

    腾讯ES:一键配置,LDAP身份验证服务来了!

    轻量目录访问协议LDAP(英文:Lightweight Directory Access Protocol),是一个运行在 TCP/IP 上的目录访问协议,您可通过集成ES和LDAP身份验证,实现统一的认证管理...如需开启 LDAP 身份验证服务,可重新创建集群。 设置LDAP身份验证 登录腾讯Elasticsearch 控制台,单击集群名称访问目标集群,跳转至基础配置页面。...填写相关内容 url:LDAP服务器地址。ldap服务器地址,以“ldap://”开头,后面填写域名或者IP地址。请确保填写的URL可在您的VPC下内网访问,否则该配置将无法生效。...bind_password:LDAP服务器连接密码。支持大小写字母、数字及符号-!@#$%&^*+=_:;,.?的组合,长度为6~63个字符。...配置LDAP用户角色权限 设置了LDAP身份验证后,LDAP用户还没有被分配任何权限,无法使用LDAP方式访问ES集群/Kibana,需要在Kibana中对LDAP用户进行角色映射。

    2.2K20

    在线不停服迁移自建ES集群至腾讯ES

    背景 在之前的文章Elasticsearch跨集群数据迁移之离线迁移中,我们介绍了如何在离线场景下把自建的ES集群或者在其它厂商购买的ES集群迁移至腾讯ES, 但是如果在迁移过程中业务不能中断或者不能够暂停写操作...2020年5月份,腾讯ES上线的新版本中,对集群节点所在的网络进行了优化,使得集群节点能够反向访问到用户VPC下的ip,因此采用集群融合的方式可以实现在线不停服地迁移自建ES集群至腾讯ES。...整体方案 首先要确定腾讯上自建的ES集群节点所在的VPC,然后再腾讯官网购买一个相同VPC下的ES集群,通过修改新集群的配置把两个集群融合成一个集群,利用ES的rebalance能力把自建ES节点上的数据迁移至腾讯...实施步骤 购买腾讯ES 在腾讯官网控制台上购买ES, 需要特别注意以下几点: 选择和自建ES相同大版本的ES,高级特性根据需要可选基础版和开源版,注意白金版在当前场景下不可选,在完成迁移后可以在腾讯...后台对自建ES集群和腾讯ES集群进行融合的具体操作为: 融合前检查 检查自建ES集群是否开启security 检查在腾讯ES集群节点上是否可以访问通自建ES集群的节点endpoint 检查在自建ES

    4.4K82

    腾讯 ES Serverless 初体验

    市场上给我们的选择不多,虽然大多数厂商上也提供了号称兼容 Elasticsearch 的搜索服务,但大多数都是7.10之前的版本,或者是直接使用 Opensearch,两者之间的性能差别可参阅《Elasticsearch...而腾讯在2023年8月1号发布了 Elasticsearch Service Serverless 服务,本文我们将在选择其中一些重要角度对其进行评估,以帮助用户对其有更深入的了解,以在技术选型时进行更全面的决策...从导出的费用清单上看,ES Serverless 是按量计费小时结,截止本文的时间8月15日12:00,有数据的Serverless 索引的存储费用在23.6元之内 图1 按照腾讯 Elasticsearch...而在腾讯 Elasticsearch Service Serverless 服务,则是从资源创建到运维,都在尽量减轻用户的负担,为全托管的方向进化。...而自2023年8月1日起,开通 ES Serverless 服务的新用户,可免费领取50元代金券,抵扣使用 Serverless 服务产生的费用,有效期自领取之日起持续90天,超出的费用,将按照对应计费项定价进行扣费

    35520

    腾讯服务器配置及部署ES8.2.3 + Kibana8.2.3

    主要介绍:购买、连接、部署服务器部署、配置Elaticsearch,进行连通测试部署、配置Elaticsearch,进行连通测试其中,重点介绍不关闭ES8后自带的xpack.security.enabled...《Elasticsearch权威指南》 清华大学出版社注意此书基于ES7,部分配置内容和ES8有所出入,供参考。碎碎念不得不说,使用服务器,不同于我之前在本地安装。...因为ES本身封装的已经很好了,努力在做开箱即用的配置。我原以为服务器就是操作稍微麻烦,就是没想到有如此多大大小小的坑。...这台服务器主要在服务器运行ES系统,监控有关数据,向我发送信息,最基础配置已经满足我的需要。系统方面,我选用的系统是ubuntu,主要用起来比较熟。.../elasticsearch即可启动ES服务连通ES:方式一 curl命令使用curl命令(大括号不用输入)curl -k -i -XGET "https://{服务器公网ip}:9200" --user

    2.5K10

    腾讯 ES Serverless 初体验

    市场上给我们的选择不多,虽然大多数厂商上也提供了号称兼容 Elasticsearch 的搜索服务,但大多数都是7.10之前的版本,或者是直接使用 Opensearch,两者之间的性能差别可参阅《Elasticsearch...从导出的费用清单上看,ES Serverless 是按量计费小时结,截止本文的时间8月15日12:00,有数据的Serverless 索引的存储费用在23.6元之内 图片按照腾讯 Elasticsearch...而在腾讯 Elasticsearch Service Serverless 服务,则是从资源创建到运维,都在尽量减轻用户的负担,为全托管的方向进化。...而自2023年8月1日起,开通 ES Serverless 服务的新用户,可免费领取50元代金券,抵扣使用 Serverless 服务产生的费用,有效期自领取之日起持续90天,超出的费用,将按照对应计费项定价进行扣费...若是对本文中提到的 ES Serverless 服务感兴趣的同学,可先在此领取无门槛体验券,再到腾讯 ES Serverless 控制台创建服务并体验!

    1.9K41

    基于腾讯ES Serverless服务完成审计日志溯源

    为了给予用户更大的灵活性,例如产品快速验证、应对突发项目、灵活使用资源和按需付费等,腾讯Elasticsearch Service在PaaS模式的专有托管集群之外,推出了更接近SaaS服务的腾讯Elasticsearch...本篇文章将通过一个突发的安全合规审计需求案例,展示腾讯Elasticsearch Serverless服务与自建集群相比的优点,以帮助用户更好地理解和使用该服务。...这种情况下,在经过与腾讯架构师的快速沟通过程后,使用腾讯 Elasticsearch Serverless服务成为了目前情况下的最佳选择。...数据导入腾讯 Elasticsearch Serverless服务提供了多种数据导入方式,包括服务的数据直接导入、也可以用通过Oceanus、Beats、Logstash、API、SDK等。...from=22154&from_column=22154(复制链接到浏览器打开)如对该产品感兴趣,也可扫码加入交流群,ES Serverless服务的产品小哥非常nice~

    24121

    ES三周年】线下es环境数据迁移至腾讯ES实例实践

    线下es迁移至腾讯ES实践案例1、首先我们先要准备好node环境,简便部署满足使用即可1.1下载node应用包后在本地数据目录解压# xz -d node-v10.16.3-linux-x64.tar.xzcd.../bin/elasticdump --version6.14.13、准备导出本地es实例索引配置及数据3.1 使用导出本地文件的方式,同时也可以使用网络实时的迁移方式,需要依赖两端网络互通# ..../bin/elasticdump --input=http://源esIP地址:9200 --output=/data/es_dump_settings.json --type=settings #导出配置信息.../bin/elasticdump --input=http://源esIP地址:9200 --output=/data/es_dump_mapping.json --type=mapping #导出mapping...dump3.3 网络实时的迁移方式,需要依赖两端网络互通,腾讯es实例支持开通公网虚拟地址以便打通网络。.

    49120

    深耕零售场景,腾讯 ES 提升微盟云端商业服务价值

    “使用腾讯 Elasticsearch Service(ES服务,微盟能够快速构建日志分析、应用搜索、APM 追踪、异常监控、BI 分析等各类业务,提高云端商业服务的竞争力。”...微盟结合腾讯 Elasticsearch Service(ES) 服务,轻松应对日常运维和流量暴涨,保障在线服务的安全和可靠性,同时提升线上业务搜索的效果和灵活性,提高云端商业服务的价值和竞争力。...此外,上对机器之间的网络联通性有天然的保障,因此使用腾讯ES,整体的服务的可用性得到了大幅提升。...2.业务的安全性、高可用性获得有力保障 借助于腾讯 ES服务和白金版高级特性 X-Pack,业务的安全性、高可用性均获得了更有力的保障。...腾讯 ES 团队提供24小时专家服务,能够快速处理和定位问题,并且针对问题进行梳理和反馈,为企业带来线上服务保障和很多便利。

    71220

    腾讯大数据ES Serverless服务开启日志分析新体验

    腾讯大数据ES Serverless 服务重磅上线,以上问题通通消失!...除了支持原生的ES API写入方式之外,控制台已支持服务器CVM、容器服务TKE、数据仓库Clickhouse的一站式数据采集分析,同时也支持通过Logstash、Flink以及Kafka等将数据投到...注:在2023年3月29日信通院召开的企业上暨算融合产业大会上,腾讯大数据ES Serverless服务被评为“信通院 “2022 可信算力服务 · 领航者计划” 优秀案例奖“。...扫码领取 2 访问ES Serverless服务 ···· ···· 前往腾讯官网Elasticsearch产品主页或产品控制台,进入ES Serverless服务。...推荐阅读 关注腾讯大数据公众号 邀您探索数据的无限可能 点击阅读原文 前往腾讯官网Elasticsearch产品主页或产品控制台,进入ES Serverless服务! ↓↓↓

    23020

    自建ES集群迁移至腾讯ES的几种方案介绍

    随着腾讯Elasticsearch产品功能越来越丰富、产品体验越来越好。越来越多的客户将自建的ES集群或者部署在其他厂商的 ES 集群迁移到腾讯上来。...在腾讯ES集群上创建快照仓库 5....迁移原理:将腾讯ES集群于客户自建ES集群进行融合,构建成一个更大的ES集群,然后通过设置集群的settings配置,将客户ES集群上的索引数据平滑迁移到腾讯ES的各个节点上,最后再将客户的ES集群节点下线...迁移步骤: 1)客户在腾讯ES控制台购买ES集群,指定集群的配置名称为自建ES集群的名称(客户操作) 需要特别注意的地方: 腾讯ES版本需要大于等于客户自建ES集群的版本。...但是在迁移过程中迁移工具退出或者执行迁移的服务器宕机,则会从头开始迁移,因此需要先将已经迁移的部分数据清空。

    4.1K74

    记一次公有ES通过配置CCR访问私有ES的实践过程

    一、前言 某大客户需求: 想要将不同VPC下的私有ES集群通过CCR的方式远程拷贝到ES集群; 客观条件: 不同VPC网络底层网络已经打通,在各自VPC下能...基于此,我们自己走一波测试,看能否复现客户问题,具体如下图: image.png 准备条件: 私有ES 7.2 集群 基础版 公有ES 7.5.1 白金版 我们知道...随后,相关检查展开,包括从私有 telnet 公有 transport 端口、安全组设置等,仍无法通信。那么我们去查看ES集群的日志,看看是否有发现呢?...因为通信加密的原因,所以只有上的集群可以互联不通。 结论:目前腾讯ES白金版无法通过设置远程集群的方式配置CCR实现私有到公有的数据同步。...五,总结 本节基于大客户需求作了一定的测试,并就相关问题提出了解决方案并给出了验证,总结一下: 1,CCR是白金版功能,白金版ES集群不支持与自建集群建立通信; 2 ,上集群要建立远程通信,也需要条件一致

    1.9K180

    腾讯大数据 ES Serverless 体验

    2.ES Serverless 的基本概念及原理ES Serverless 是腾讯推出的一种新型大数据服务,它基于无服务器计算模型,将大数据处理过程和资源以服务的形式提供给用户。...ES Serverless 的基本概念是,将大数据处理过程中的资源、存储、计算等环节都封装成服务,用户只需通过服务API调用所需的功能,无需关注底层实现细节。...这种服务模式与传统的ES(Elasticsearch)相比,大大降低了用户在维护和管理服务器方面的成本。ES Serverless 的原理是基于计算的弹性伸缩和按需付费原则。...ES Serverless 是一种基于无服务器计算模型的大数据服务,它将大数据处理过程中的各个环节都封装成服务,用户只需关注业务逻辑和数据处理流程,无需维护和管理底层服务器。...3.ES Serverless 的核心功能与特性ES Serverless 是腾讯推出的一种基于无服务器计算模型的大数据服务,它的核心功能和特性包括以下几个方面:自动弹性伸缩:ES Serverless

    30220

    腾讯ES分批融合迁移方案

    说明 本文描述问题及解决方法同样适用于 腾讯 Elasticsearch Service(ES)。...方案名称 ES多轮分批融合迁移方案(ES索引级别融合迁移方案) 图片 方案风险 集群融合期间,上集群不可进行变更,比如升降配置、版本升级,否则会有集群不可用的风险; 集群融合期间,不可新建索引,否则分片会被分配到上...环境配置 自建ES环境 ● 版本 Elasticsearch版本:7.7.0 ● 配置 节点数量:3 内存:4G 硬盘:高性能盘 50G CPU核心数:2 ES环境 ● 版本 Elasticsearch...通过快照迁移数据 二次融合迁移之后,数据迁移到了上新建的小集群里,但由于数据还需要整合到上主集群,所以还有一步快照迁移的操作。...-15,es_index-16,es_index-17,es_index-18,es_index-19" } 图片 备份成功: 图片 3、在上主集群创建快照仓库 图片 4、发起快照恢复 POST _snapshot

    733137
    领券