昱唯商城

产品分类
  • 腾讯
    腾讯云
    计算
    存储
    网络
    CDN与加速
    数据库
    视频服务
    云通信
    Serverless
    移动开发
    中间件
    数据处理
    量子技术
    网络安全
    终端安全
    应用安全
    业务安全
    安全管理
    数据安全
    安全服务
    云智大数据平台
    云智大数据可视化
    云智大数据应用
    人脸识别
    人脸特效
    人体识别
    文宇识别
    图像识别
    语音技术
    AI 平台服务
    自然语言处理
    智能机器人
    域名与网站
    物联网
    区块链
    企业应用
    企业通信
    办公协同
    金融服务
    教育服务
    游戏服务
    零售服务
    移动服务
    建筑服务
    政务服务
    汽车服务
    云资源管理
    开发者工具
    监控与运维
    管理与审计
    通用解决方案
    行业解决方案
    云智大数据与AI解决方案
    微信解决方案
    教育解决方案
    音视频解决方案
    物联网解决方案
    安全与运维解决方案
    极光产品
    开发者工具
    腾讯企业邮
    腾讯企业邮箱
    企业微信
    企业微信
    腾讯广告
    微信广告
    QQ广告
    腾讯视频广告
    腾讯新闻广告
    腾讯信息流广告
    优量广告
    腾讯音乐广告
    腾讯企点
    企业QQ
    企点客服
    企点营销
    企点电话
    腾讯安全
    终端安全
    主机安全
    安全管理
    数据安全
    数据安全
    网络安全
    金融风控
    内容安全
    业务安全
    营销风控
    安全组件
    应用安全
  • 知道创宇
    技术安全
    抗D保-DDoS流量清洗服务
    游戏高防
    创宇盾 - Web应用防火墙
    加速乐(CDN内容分发)
    漏洞扫描
    创宇监控 · 智能云监控服务
    猎风 - 威胁感知系统
    业务安全
    羊毛盾-知道创宇业务反欺诈
    数据盾(机器流量管控)
    海外CN2专线防护
    IPv6安全改造
    业务安全舆情监测服务
    云防御态势感知指挥平台
    商业安全
    创宇信用
    SSL证书
    盾牌座
    安全服务
    渗透测试
    代码审计
    风险评估
    应急响应
    信息安全对抗演习服务
    网络信息安全意识培训服务
    黑客入侵救援
    等级保护2.0安全解决方案
    安全定制
    区块链定制安全研发
    云计算产品
    御点终端安全管理系统
    网络资产普查和风险感知系统
    浑天智鉴
    创宇鹰眼 - 知道创宇反电话诈骗系统
    创宇监控-关键字监控做您的“第三只眼”
    服务
    智能设备安全检测
    区块链安全
    智能合约审计
    公链安全审计
    钱包安全审计
    安全产品
    ZoomEye网络空间雷达系统
    在线漏洞扫描
    ScanV安全检测管理平台
    威胁和日志管理系统
    安全事件监控
    政务云防御平台
    御点终端安全管理系统
    ZoomEye BE 网络空间资产安全管理系统
    技术安全
    解决方案
    政府行业解决方案
    金融行业解决方案
    电信行业解决方案
    大型企业集团行业解决方案
    中小企业行业解决方案
    电商行业安全解决方案
    棋牌游戏解决方案
    直播行业安全解决方案
    大数据反诈骗解决方案
    Web系统远程监控解决方案
    全网态势感知解决方案
    全网资源侦测解决方案
    云安全解决方案
    金融安全解决方案
    区块链安全解决方案
    教育类网站安全解决方案
    公安机关互联网安全监督检查规定解决方案
    创宇信用
    内容安全
    创宇大数据
    SSL证书
    短视频运营
    秘信聊
    实名认证
    行业认证
    搜狗认证
    官网认证
    权威认证
    品牌宝
    短视频运营
  • 昱唯系列
    昱唯云建站
    昱唯网站设计
    昱唯网站优化
    昱唯企业邮箱
    昱唯微传单
    昱唯公众号助手
    昱唯门店系统
    昱唯游戏营销
    昱唯销售系统
    昱唯小程序
    昱唯商城
    昱唯建站
    昱唯400
    昱唯ABC
    昱唯ABC企业邮箱
    APP开发
    昱唯小票打印机
  • 得力
  • 企信认证
    APP安全可信认证
    品牌官网实名验证
    诚信经营示范网站
    诚信经营示范单位
    诚信经营龙头单位
    网上315金牌认证
    诚信经营金牌认证
    教育行业金牌认证
    金融行业诚企认证
    可信网站安全验证
    企信认证
    医疗行业认证
    AAA级信用企业
    金盾官网认证
    AISIT网信APP安全认证
    诚信示范网店
    互联网3.15金盾认证
    AISIT网信认证
    移动APP安全检测
    企业诚信示范网站(单位)
    诚信经营行业龙头示范单位
    网上交易3.15金牌认证
    医疗行业诚信经营示范单位
    金融行业诚信示范网站(单位)
  • 法大大
    电子合同
ElasticsearchService
ElasticsearchService 
价格:
550.00~1642.00
版本:
购买数量:
快递: 包邮
产品保证
官方授权代理商
可开具专票和普票
24小时售后服务支持
产品详情

腾讯云 Elasticsearch Service(ES)是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务,包含 Kibana 及常用插件,并集成了安全、SQL、机器学习、告警、监控等高级特性(X-Pack)。使用腾讯云 ES,您可以快速部署、轻松管理、按需扩展您的集群,简化复杂运维操作,快速构建日志分析、异常监控、网站搜索、企业搜索、BI 分析等各类业务。


腾讯云 Elasticsearch Service(ES)是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务,包含 Kibana 及常用插件,并集成了安全、数据告警、SQL、机器学习等高级特性(X-Pack)。使用腾讯云 ES,您可以快速部署、轻松管理、按需扩展您的集群,简化复杂运维操作,快速构建日志分析、异常监控、网站搜索、企业搜索、BI 分析等各类业务。   

功能

腾讯云 ES 包含 Elasticsearch 和 Kibana 两个组件,您可以通过腾讯云 ES 快速搭建 ES 集群,构建日志分析、数据搜索服务。

数据采集与同步

您可以通过 Elastic 相关数据采集传输工具如: Beats、Logstash等,将 CVM、CDB、容器等其他云产品实时日志,或业务的存量及增量业务数据,汇聚传输到腾讯云 ES 集群,进行数据的分布式存储、查询分析。

数据存储

腾讯云 ES 提供了多种规格的节点机型、高性能 SSD 磁盘,可以有效保障数据的读写性能;支持弹性扩展到上百个节点、PB 级数据的存储,满足用户不同类型的业务场景;支持故障节点探测及替换,保障集群高可用。

数据搜索和数据分析可视化

腾讯云 ES 包含的 Elasticsearch 拥有全文检索,结构化查询、数据统计分析功能,用户可以通过 REST API,方便地构建自己的搜索服务。通过腾讯云 ES 提供的 Kibana,用户可以在浏览器里方便地进行数据分析和可视化。

主要组件

  • Elasticsearch
    分布式搜索引擎,可以对海量数据进行存储、全文检索、统计分析等,提供了 RESTful API 以及各类语言客户端,可以灵活地安装业务需求进行开发。

  • Kibana
    数据可视化工具,可以方便地对存入 Elasticsearch 集群的数据进行查询和分析。

  • 高级特性(X-Pack)
    Elasticsearch 官方高级商业插件,提供了多项高级功能,包括数据权限管控,可以配置字段级别的权限控制;SQL、JDBC 的连接方式,可以很方便地同原有的业务系统进行集成;机器学习和告警,可以针对存入集群的数据,进行分析和波动趋势的学习,预测数据变化趋势,并在数据出现大的波动时进行告警。

用户可以将 CVM、TencentDB、容器服务等其他云产品的实时日志或业务的存量及增量业务数据,汇聚传输到 ES 集群,进行数据的分布式存储、查询分析。

数据采集与同步

  • 用户通过 Elasticsearch 中的 Beats 功能,可以把数据传输到 Elasticsearch 中进行存储,也可以传输到 Logstash 中进行自定义转换和解析后,再传输到 Elasticsearch 中。

  • Elasticsearch 提供了易用的 RESTful API,用户可以自行开发客户端,调用数据存储 API,存储数据到 Elasticsearch 集群中。

  • ES 构建在 VPC 内,用户可以非常方便地使用各种数据同步插件,将已有云产品的数据,同步到 ES 集群中。

数据存储

  • 腾讯云 ES 提供了多种规格的节点类型和高性能 SSD 磁盘,有效保障数据的读写性能。

  • 支持弹性扩展到上百个节点,能达到 PB 级数据的存储,满足用户不同类型的业务场景。

  • 支持故障节点探测及替换,保障集群高可用性。

  • 具备全文检索功能。

数据查询分析可视化

  • Elasticsearch 拥有全文检索、结构化搜索、数据过滤和指标统计等搜索功能,可以应用于信息搜索和数据分析等多种场景。

  • Elasticsearch 提供了简单易用的 RESTful API 以及各种语言的客户端,用户可以很方便地构建自己的搜索服务。

  • 使用 Kibana,用户可以方便地在浏览器里对集群的数据进行搜索和统计分析。

使用 Elasticsearch 官方提供的 rally 压测工具和 geonames 数据集(大小3.2G,共11523468个文档),对腾讯云 Elasticsearch Service 构建的两种规格的 ES 集群进行压测,性能结果如下:

2核8G 3个节点:

MetricTaskValueUnit
Total indexing time-18.5837min
Min indexing time per shard-0.000533333min
Median indexing time per shard-3.4134min
Max indexing time per shard-4.21195min
Total refresh time-2.40147min
Min refresh time per shard-0.0009min
Median refresh time per shard-0.45715min
Max refresh time per shard-0.5655min
Total flush time-0.328317min
Min flush time per shard-0.0004min
Median flush time per shard-0.0643583min
Max flush time per shard-0.0972167min
Total Young Gen GC-127.992s
Total Old Gen GC-1.327s
Store size-3.22145GB
Translog size-2.80E-07GB
Heap used for segments-10.8161MB
Heap used for doc values-0.0831299MB
Heap used for terms-9.62618MB
Heap used for norms-0.0795288MB
Heap used for points-0.217488MB
Heap used for stored fields-0.809799MB
Segment count-102-
Min Throughputindex-append41895.6docs/s
Median Throughputindex-append42562docs/s
Max Throughputindex-append43352docs/s
50th percentile latencyindex-append757.636ms
90th percentile latencyindex-append1388.11ms
99th percentile latencyindex-append2650.44ms
99.9th percentile latencyindex-append5270.13ms
100th percentile latencyindex-append6535.29ms
50th percentile service timeindex-append757.636ms
90th percentile service timeindex-append1388.11ms
99th percentile service timeindex-append2650.44ms
99.9th percentile service timeindex-append5270.13ms
100th percentile service timeindex-append6535.29ms
error rateindex-append0%
Min Throughputindex-stats99.99ops/s
Median Throughputindex-stats100.04ops/s
Max Throughputindex-stats100.06ops/s
50th percentile latencyindex-stats6.04131ms
90th percentile latencyindex-stats6.56561ms
99th percentile latencyindex-stats10.7941ms
99.9th percentile latencyindex-stats22.6768ms
100th percentile latencyindex-stats24.5623ms
50th percentile service timeindex-stats5.9341ms
90th percentile service timeindex-stats6.42644ms
99th percentile service timeindex-stats7.56809ms
99.9th percentile service timeindex-stats22.5948ms
100th percentile service timeindex-stats24.4467ms
error rateindex-stats0%
Min Throughputnode-stats99.93ops/s
Median Throughputnode-stats100.06ops/s
Max Throughputnode-stats100.33ops/s
50th percentile latencynode-stats6.74088ms
90th percentile latencynode-stats7.28822ms
99th percentile latencynode-stats8.62256ms
99.9th percentile latencynode-stats13.271ms
100th percentile latencynode-stats13.9379ms
50th percentile service timenode-stats6.64634ms
90th percentile service timenode-stats7.18403ms
99th percentile service timenode-stats8.34209ms
99.9th percentile service timenode-stats13.1784ms
100th percentile service timenode-stats13.8411ms
error ratenode-stats0%
Min Throughputdefault46.85ops/s
Median Throughputdefault47.58ops/s
Max Throughputdefault47.7ops/s
50th percentile latencydefault1023.59ms
90th percentile latencydefault1890.67ms
99th percentile latencydefault2017.58ms
99.9th percentile latencydefault2026.21ms
100th percentile latencydefault2026.21ms
50th percentile service timedefault20.2853ms
90th percentile service timedefault24.3425ms
99th percentile service timedefault33.3526ms
99.9th percentile service timedefault54.702ms
100th percentile service timedefault74.2832ms
error ratedefault0%
Min Throughputterm199.82ops/s
Median Throughputterm200.02ops/s
Max Throughputterm200.05ops/s
50th percentile latencyterm4.54844ms
90th percentile latencyterm9.97587ms
99th percentile latencyterm18.3546ms
99.9th percentile latencyterm21.2112ms
100th percentile latencyterm21.5267ms
50th percentile service timeterm4.39147ms
90th percentile service timeterm4.84527ms
99th percentile service timeterm6.62189ms
99.9th percentile service timeterm19.4932ms
100th percentile service timeterm21.4435ms
error rateterm0%
Min Throughputphrase199.68ops/s
Median Throughputphrase200.03ops/s
Max Throughputphrase200.11ops/s
50th percentile latencyphrase3.57488ms
90th percentile latencyphrase4.62139ms
99th percentile latencyphrase19.6935ms
99.9th percentile latencyphrase24.9076ms
100th percentile latencyphrase25.0486ms
50th percentile service timephrase3.4742ms
90th percentile service timephrase4.0265ms
99th percentile service timephrase7.57333ms
99.9th percentile service timephrase18.9011ms
100th percentile service timephrase23.8045ms
error ratephrase0%
Min Throughputcountry_agg_uncached4.99ops/s
Median Throughputcountry_agg_uncached5ops/s
Max Throughputcountry_agg_uncached5ops/s
50th percentile latencycountry_agg_uncached197.534ms
90th percentile latencycountry_agg_uncached217.842ms
99th percentile latencycountry_agg_uncached271.988ms
100th percentile latencycountry_agg_uncached275.963ms
50th percentile service timecountry_agg_uncached194.061ms
90th percentile service timecountry_agg_uncached209.086ms
99th percentile service timecountry_agg_uncached216.432ms
100th percentile service timecountry_agg_uncached217.275ms
error ratecountry_agg_uncached0%
Min Throughputcountry_agg_cached99.97ops/s
Median Throughputcountry_agg_cached100.05ops/s
Max Throughputcountry_agg_cached100.08ops/s
50th percentile latencycountry_agg_cached4.9212ms
90th percentile latencycountry_agg_cached5.44065ms
99th percentile latencycountry_agg_cached7.15509ms
99.9th percentile latencycountry_agg_cached16.9407ms
100th percentile latencycountry_agg_cached17.8111ms
50th percentile service timecountry_agg_cached4.81515ms
90th percentile service timecountry_agg_cached5.29377ms
99th percentile service timecountry_agg_cached6.38482ms
99.9th percentile service timecountry_agg_cached16.8318ms
100th percentile service timecountry_agg_cached17.7311ms
error ratecountry_agg_cached0%
Min Throughputscroll25.02pages/s
Median Throughputscroll25.02pages/s
Max Throughputscroll25.03pages/s
50th percentile latencyscroll760.634ms
90th percentile latencyscroll794.699ms
99th percentile latencyscroll864.897ms
100th percentile latencyscroll874.768ms
50th percentile service timescroll760.32ms
90th percentile service timescroll794.397ms
99th percentile service timescroll864.658ms
100th percentile service timescroll874.556ms
error ratescroll0%
Min Throughputexpression2ops/s
Median Throughputexpression2ops/s
Max Throughputexpression2ops/s
50th percentile latencyexpression382.483ms
90th percentile latencyexpression414.775ms
99th percentile latencyexpression455.236ms
100th percentile latencyexpression473.181ms
50th percentile service timeexpression382.298ms
90th percentile service timeexpression414.577ms
99th percentile service timeexpression455.11ms
100th percentile service timeexpression472.998ms
error rateexpression0%
Min Throughputpainless_static1.5ops/s
Median Throughputpainless_static1.5ops/s
Max Throughputpainless_static1.5ops/s
50th percentile latencypainless_static480.188ms
90th percentile latencypainless_static505.003ms
99th percentile latencypainless_static529.066ms
100th percentile latencypainless_static547.199ms
50th percentile service timepainless_static479.938ms
90th percentile service timepainless_static504.731ms
99th percentile service timepainless_static528.857ms
100th percentile service timepainless_static546.954ms
error ratepainless_static0%
Min Throughputpainless_dynamic1.5ops/s
Median Throughputpainless_dynamic1.5ops/s
Max Throughputpainless_dynamic1.5ops/s
50th percentile latencypainless_dynamic469.434ms
90th percentile latencypainless_dynamic508.615ms
99th percentile latencypainless_dynamic581.127ms
100th percentile latencypainless_dynamic621.998ms
50th percentile service timepainless_dynamic469.178ms
90th percentile service timepainless_dynamic508.349ms
99th percentile service timepainless_dynamic580.819ms
100th percentile service timepainless_dynamic621.799ms
error ratepainless_dynamic0%
error ratelarge_terms0%
Min Throughputlarge_filtered_terms1.52ops/s
Median Throughputlarge_filtered_terms1.52ops/s
Max Throughputlarge_filtered_terms1.52ops/s
50th percentile latencylarge_filtered_terms39664.6ms
90th percentile latencylarge_filtered_terms46001.3ms
99th percentile latencylarge_filtered_terms47328ms
100th percentile latencylarge_filtered_terms47488.6ms
50th percentile service timelarge_filtered_terms651.731ms
90th percentile service timelarge_filtered_terms673.319ms
99th percentile service timelarge_filtered_terms715.941ms
100th percentile service timelarge_filtered_terms723.06ms
error ratelarge_filtered_terms0%
Min Throughputlarge_prohibited_terms1.55ops/s
Median Throughputlarge_prohibited_terms1.56ops/s
Max Throughputlarge_prohibited_terms1.57ops/s
50th percentile latencylarge_prohibited_terms35606.8ms
90th percentile latencylarge_prohibited_terms40847.6ms
99th percentile latencylarge_prohibited_terms42170.5ms
100th percentile latencylarge_prohibited_terms42329.2ms
50th percentile service timelarge_prohibited_terms648.82ms
90th percentile service timelarge_prohibited_terms672.114ms
99th percentile service timelarge_prohibited_terms722.666ms
100th percentile service timelarge_prohibited_terms733.307ms
error ratelarge_prohibited_terms0%

4核16G 3个节点:

MetricTaskValueUnit
Total indexing time-20.1957min
Min indexing time per shard-0.000733333min
Median indexing time per shard-3.77953min
Max indexing time per shard-4.63752min
Total merge time-1.57487min
Min merge time per shard-0min
Median merge time per shard-0.176658min
Max merge time per shard-0.634067min
Total merge throttle time-0.55105min
Min merge throttle time per shard-0min
Median merge throttle time per shard-0.065min
Max merge throttle time per shard-0.217033min
Total refresh time-1.41135min
Min refresh time per shard-0.00106667min
Median refresh time per shard-0.269958min
Max refresh time per shard-0.345733min
Total flush time-0.533133min
Min flush time per shard-0.000566667min
Median flush time per shard-0.115592min
Max flush time per shard-0.136683min
Total Young Gen GC-70.747s
Total Old Gen GC-0.92s
Store size-3.31581GB
Translog size-2.80E-07GB
Heap used for segments-11.0486MB
Heap used for doc values-0.100529MB
Heap used for terms-9.84413MB
Heap used for norms-0.0755005MB
Heap used for points-0.216421MB
Heap used for stored fields-0.811981MB
Segment count-97-
Min Throughputindex-append74421.1docs/s
Median Throughputindex-append75636.9docs/s
Max Throughputindex-append76877.4docs/s
50th percentile latencyindex-append377.922ms
90th percentile latencyindex-append663.055ms
99th percentile latencyindex-append3068.99ms
100th percentile latencyindex-append5554.97ms
50th percentile service timeindex-append377.922ms
90th percentile service timeindex-append663.055ms
99th percentile service timeindex-append3068.99ms
100th percentile service timeindex-append5554.97ms
error rateindex-append0%
Min Throughputindex-stats99.93ops/s
Median Throughputindex-stats100.04ops/s
Max Throughputindex-stats100.06ops/s
50th percentile latencyindex-stats6.62305ms
90th percentile latencyindex-stats7.35102ms
99th percentile latencyindex-stats18.0909ms
99.9th percentile latencyindex-stats24.5381ms
100th percentile latencyindex-stats24.7431ms
50th percentile service timeindex-stats6.50957ms
90th percentile service timeindex-stats7.18652ms
99th percentile service timeindex-stats9.38455ms
99.9th percentile service timeindex-stats24.4424ms
100th percentile service timeindex-stats24.6576ms
error rateindex-stats0%
Min Throughputnode-stats99.92ops/s
Median Throughputnode-stats100.04ops/s
Max Throughputnode-stats100.25ops/s
50th percentile latencynode-stats7.15655ms
90th percentile latencynode-stats7.96104ms
99th percentile latencynode-stats10.2362ms
99.9th percentile latencynode-stats25.7397ms
100th percentile latencynode-stats29.1573ms
50th percentile service timenode-stats7.04389ms
90th percentile service timenode-stats7.84655ms
99th percentile service timenode-stats9.13249ms
99.9th percentile service timenode-stats10.7357ms
100th percentile service timenode-stats29.072ms
error ratenode-stats0%
Min Throughputdefault41.88ops/s
Median Throughputdefault42.18ops/s
Max Throughputdefault42.52ops/s
50th percentile latencydefault3789.31ms
90th percentile latencydefault5170.79ms
99th percentile latencydefault5582.03ms
99.9th percentile latencydefault5610.7ms
100th percentile latencydefault5618.05ms
50th percentile service timedefault23.1496ms
90th percentile service timedefault25.8865ms
99th percentile service timedefault33.249ms
99.9th percentile service timedefault45.493ms
100th percentile service timedefault62.4174ms
error ratedefault0%
Min Throughputterm199.08ops/s
Median Throughputterm200ops/s
Max Throughputterm200.03ops/s
50th percentile latencyterm5.02391ms
90th percentile latencyterm21.18ms
99th percentile latencyterm35.2251ms
99.9th percentile latencyterm37.4827ms
100th percentile latencyterm37.6907ms
50th percentile service timeterm4.61812ms
90th percentile service timeterm5.10619ms
99th percentile service timeterm6.8135ms
99.9th percentile service timeterm22.1183ms
100th percentile service timeterm25.0033ms
error rateterm0%
Min Throughputphrase199.61ops/s
Median Throughputphrase200.04ops/s
Max Throughputphrase200.8ops/s
50th percentile latencyphrase3.86572ms
90th percentile latencyphrase4.96583ms
99th percentile latencyphrase22.5681ms
99.9th percentile latencyphrase33.5684ms
100th percentile latencyphrase28.2658ms
50th percentile service timephrase3.5689ms
90th percentile service timephrase4.2535ms
99th percentile service timephrase8.6957ms
99.9th percentile service timephrase24.5685ms
100th percentile service timephrase27.6584ms
error ratephrase0%
Min Throughputcountry_agg_uncached4.99ops/s
Median Throughputcountry_agg_uncached5ops/s
Max Throughputcountry_agg_uncached5ops/s
50th percentile latencycountry_agg_uncached182.291ms
90th percentile latencycountry_agg_uncached201.585ms
99th percentile latencycountry_agg_uncached257.343ms
100th percentile latencycountry_agg_uncached267.904ms
50th percentile service timecountry_agg_uncached181.161ms
90th percentile service timecountry_agg_uncached196.189ms
99th percentile service timecountry_agg_uncached216.762ms
100th percentile service timecountry_agg_uncached267.778ms
error ratecountry_agg_uncached0%
Min Throughputcountry_agg_cached99.95ops/s
Median Throughputcountry_agg_cached100.05ops/s
Max Throughputcountry_agg_cached100.07ops/s
50th percentile latencycountry_agg_cached5.57249ms
90th percentile latencycountry_agg_cached6.47982ms
99th percentile latencycountry_agg_cached9.33674ms
99.9th percentile latencycountry_agg_cached27.5319ms
100th percentile latencycountry_agg_cached32.0567ms
50th percentile service timecountry_agg_cached5.4601ms
90th percentile service timecountry_agg_cached6.25153ms
99th percentile service timecountry_agg_cached7.83564ms
99.9th percentile service timecountry_agg_cached13.6439ms
100th percentile service timecountry_agg_cached31.9487ms
error ratecountry_agg_cached0%
Min Throughputscroll25.01pages/s
Median Throughputscroll25.03pages/s

简介

高级特性,是指 Elasticsearch 官方商业特性(原 X-Pack 商业版插件包含的特性),包含了安全(Security)、SQL、机器学习(Machine Learning)、监控(Monitor)等高级功能,可以为 Elasticsearch 服务的的应用开发和运维管理,提供更有力的帮助。腾讯云 ES 已提供了包含高级特性的版本,您可以在创建购买集群时选择,下文介绍各版本详细功能。

购买指引


如上图所示,在腾讯云 ES 创建购买页,有高级特性版本选项。腾讯云 ES 提供了3种可选的高级特性版本,版本说明如下:

对比项基础版白金版开源版
是否包含 X-Pack
X-Pack 功能完整度部分全部

购买推荐
为了能够使用腾讯云 Elasticsearch 更多高级功能,我们建议您在创建购买集群时,选择白金版,各版本具体功能介绍及区别见下文,产品的定价信息详见 定价

高级特性介绍

本文对部分常用高级特性进行了说明,完整的高级特性及说明,可查看官方说明 Elastic StackAPI 文档

注意:


  • 部分功能在不同的高级特性版本(基础、白金、开源)间有区别,请注意查看本文的说明。

  • 安全、告警、机器学习白金版特有,开源和基础版不包含。

  • 安全(Security)
    支持索引和字段级别,读写等细分权限的控制管理,实现数据安全防护、业务访问隔离,向正确的人员授予访问权限,阻止恶意破坏和数据泄露,有效地保障数据安全。

  • 机器学习(Machine Learning)
    在自定义数据告警的应用场景中,有时候不容易设置规则和阈值来定义的变化,这种情况下,就可以通过结合非监督型机器学习来预测数据的变化趋势和合理的波动范围,在数据偏离正常变化趋势时,发出告警通知。

    注意:

    监控、SQL,白金版、基础版包含,开源版不包含。不过,SQL 支持方面,开源版集成了其他的 SQL 插件,详细了解和使用,可查看 elasticsearch-sql

  • 监控
    集群、节点、索引多个维度,全方位监控,实时了解集群运行情况,辅助应用开发及运维。

  • SQL
    提供了通过传统数据库 SQL 工具 ,实现对 Elasticsearch 数据进行全文本检索、数据统计分析功能,支持 CLI、REST 等接入方式,白金版还支持 JDBC 连接。可以实现同原有业务系统的无缝对接,降低新技术学习成本。

高级特性版本功能详细对比

本章节对各版本的部分重点功能进行了对比说明,完整的功能对比,可查看官方介绍 Elastic 各版本功能说明

说明:

下表中全部部分不包含用于表示对应特性的功能完整度,全部:包含全部功能;部分:包含部分功能;不包含:不包含。

模块特性开源版基础版白金版
Elasticsearch可扩展性和弹性包含部分包含部分包含全部
查询和分析包含部分包含部分包含全部
数据扩充包含全部包含全部包含全部
管理和工具包含部分包含部分包含全部
Security不包含不包含包含全部
Machine Learning不包含不包含包含全部
Kibana探索和可视化包含部分包含部分包含全部
堆栈管理和工具包含部分包含部分包含全部
堆栈监测不包含包含部分包含全部
分享与合作包含部分包含部分包含全部
Security不包含不包含包含全部
Machine Learning不包含不包含包含全部
Beats数据收集包含部分包含部分包含全部
数据传输包含部分包含部分包含全部
模块包含部分包含部分包含全部
监测和管理不包含包含部分包含全部
Logstash数据收集包含全部包含全部包含全部
数据扩充包含全部包含全部包含全部
数据传输包含全部包含全部包含全部
模块包含部分包含全部包含全部
监测和管理不包含包含部分包含全部
ELASTIC APMAPM 服务器包含全部包含全部包含全部
APM 代理包含全部包含全部包含全部
Kibana 中的 APM 仪表板包含全部包含全部包含全部
APM UI不包含包含全部包含全部
分布式追踪不包含包含全部包含全部
Machine Learning 整合不包含不包含包含全部
ELASTIC 日志日志采集器(Filebeat)包含全部包含全部包含全部
常用数据源的仪表板包含全部包含全部包含全部
Logs UI不包含包含全部包含全部
ELASTIC 基础设施指标采集器(Metricbeat)包含全部包含全部包含全部
常用数据源的仪表板包含全部包含全部包含全部
Infrastructure UI不包含包含全部包含全部
ELASTIC 运行状态监控运行状态监测(Heartbeat)包含全部包含全部包含全部
Kibana 里的运行状态仪表板包含全部包含全部包含全部
运行状态监测 UI不包含包含全部包含全部

Elasticsearch 部分功能详细说明:

说明:

下表中 ✓ 用于表示是否拥有对应特性的功能,✓:表示具备;-:表示不具备。

Elasticsearch功能模块细项开源版基础版白金版
管理和工具REST API
语言客户端
快照/恢复
_仅源快照-
SQL 解释器 CLI-
数据汇总-
索引生命周期管理-
冻结索引-
升级助手 API-
JDBC 客户端--
ODBC 客户端--
Security加密通信-
基于角色的访问控制-
文件和原生身份验证-
审核日志--
基于属性的权限控制--
字段和文档级别安全性--
机器学习时序型异常监测--
输入/实体分析--
日志消息分类--
根本原因指示--
异常情况警报--
时序型预测--

腾讯云 ES 提供了云端托管的服务,您可容易地创建和管理 Elasticsearch 集群,并且能够保障生产环境中的高可用性。下文是对产品核心优势的介绍:

易于部署和管理

您只需通过简单的操作,即可在几分钟内创建一个 ES 集群,免去软硬件部署调试的复杂流程。此外,ES 还提供了便捷的集群运营管理工具、Kibana 页面以及完善的集群监控和告警系统,以满足客户日常的集群运营管理需求。

弹性扩缩容

ES 提供了多种类型的节点规格和存储介质,您可以根据业务需要进行选择。随着业务的发展,您可以动态调整集群的配置扩容或缩容,实时保障业务的发展需要并有效控制成本。

Elasticsearch 高级特性(X-Pack)

集成 Security、SQL、Machine Learning 等 Elasticsearch 高级特性(X-Pack),提升了 Elasticsearch 集群的安全管控、操作使用和运维管理效率。

高可用

ES 提供了多可用区部署方案,可保证在单可用区网络、电力等不可抗力故障下不停服。COS 数据备份策略可以定时备份数据,保障数据在意外情况下丢失时快速恢复。此外还有为保障集群稳定而进行的内核优化等策略,可以全方位地保障数据的安全和服务的稳定。

安全加固

通过部署在逻辑隔离的私有网络 VPC,客户可以完全掌控自己的环境配置,自定义网络访问控制列表(Access Control List)和安全组,提供了 Kibana 访问和 IP 访问黑白名单机制,高级特性(X-Pack)的 Security 能力提供了字段级的权限控制,切实保证您云上资源的安全性。

开放与服务集成

支持完整的 ELK 产品体系,兼容标准的开源 RESTful API 和生态组件,可以与对象存储 COS、网络流日志、消息队列、云数据库 CDB 等腾讯云产品集成,为用户提供数据传输和备份能力,以满足不同业务场景需要。

日志分析

网站服务器、移动设备、IOT 传感器等设备产生的日志都存在节点分散、种类多样、规模庞大等问题,这对需要通过日志搜索进行异常问题定位和业务分析等工作造成了很大的挑战。ES 提供了弹性可扩展、实时的集中式存储方案以及全文搜索功能,方便日志的统一管理和查询,帮助用户快速定位和发现问题,提高解决问题的效率。

全文检索

电商商品搜索、移动应用搜索、企业内部信息搜索等海量数据下的站内搜索服务是高效获取信息的必要途径,ES 拥有全文检索功能,对结构化和非结构化数据都有良好的支持,同时还提供了简单易用的 RESTful API 和各种语言的客户端,方便用户快速搭建稳定的搜索服务,整合到已有到业务框架中。

商业智能 BI

在数据驱动运营的行业背景下,电子商务、移动应用、广告媒体等业务都需要借助数据分析和数据挖掘来辅助商业决策,而规模庞大的业务数据对数据的统计分析造成了很大的挑战。ES 拥有结构化查询的能力,支持复杂的过滤和聚合统计功能,帮助客户对海量数据进行高效地个性化统计分析、发现问题与机会、辅助商业决策,让数据产生真正地价值。

腾讯云 ES 是基于开源软件 Elasticsearch 开发的云上 PaaS 服务。通过腾讯云 ES 您可以快速搭建 Elasticsearch 集群服务,开发日志分析、数据搜索等应用。下面介绍产品能力和使用限制。

产品构成

腾讯云 ES 包含核心部件 Elasticsearch 集群和数据可视化分析工具 Kibana 两部分。数据采集和传输到 ES 集群的部分,您可以根据自己的业务需要,部署数据采集工具如 Beats、Logstash 或开发应用程序,将数据写入 ES 集群。

可选配置

节点规格

参数名称CPU 核数内存
ES.S1.SMALL212G
ES.S1.MEDIUM424G
ES.S1.MEDIUM828G
ES.S1.LARGE16416G
ES.S1.2XLARGE32832G
ES.S1.4XLARGE321632G
ES.S1.4XLARGE641664G

其中1核2G仅为测试用,不建议用于生产环境。

存储
SSD 云盘,单个节点,磁盘大小限制为100GB - 2TB。

节点个数
节点个数限制为2 - 50。由于 ES 集群常以分布式多节点的形式构成,因此需要有主节点对集群进行统一的管理。为了防止可能的节点故障导致脑裂问题,建议您至少选择3个节点构建集群。

配置选择
可参考最佳实践文档的 节点类型存储配置建议

网络访问

VPC 内网访问
为了保证数据的安全,腾讯云 ES 构建在用户 VPC 内,也只能通过 VPC 访问集群进行数据的写入和查询。如果您需要通过公网访问 ES 集群,进行开发调试,可以通过 VPN 的方式,打通本地 IDC 和云上 VPC,或通过 外网代理的形式。同时也提醒您做好数据安全防护。

Kibana 页面
支持通过公网访问 Kibana 页面,为了保证数据安全,Kibana 页面需要设置密码和访问 IP 黑白名单。

VPC 网络选择
腾讯云 ES 创建完成后,不支持切换 VPC 网络,请在创建集群时,提前规划业务部署。

Elasticsearch 集群一般是由多个节点共同组成的分布式集群,节点之间互通,彼此配合,共同对外提供搜索和索引服务(节点之间能够将客户端请求转向到合适的节点)。不同的节点会负责不同的角色,有的负责一个,有的可能负责多个。Elasticsearch 中有多个节点角色,其中有两个比较主要的是数据节点和主节点。

数据节点(Data Node)

主要承担了数据存储和数据处理的工作,保存索引分片,处理与数据相关的操作,例如 CRUD、搜索、聚合等各种 I/O、内存和 CPU 密集型操作。集群使用过程中,需要注意监控数据节点的资源使用率,并在服务过载时通过添加更多的数据节点,进行集群扩容,以保障集群的稳定性。

主节点(Master Node)

负责轻量化整个集群范围内的操作,例如创建或删除索引、跟踪哪些节点是集群的一部分以及决定将哪些分片分配给哪些节点。对于集群健康来说,拥有一个稳定的主节点非常重要。

备选主节点(Master-eligible node)

指有资格被选为主节点的节点,任何符合主节点条件的节点(默认情况下为所有节点)都可以通过主选择过程被选为主节点。

默认情况下,所有节点都是数据节点,也都是备选主节点,这对于小型集群来说非常方便。由于数据节点处理索引和搜索数据的请求都是 I/O、内存和 CPU 密集型工作,可能对节点的资源造成压力。随着集群的增长,为了确保主节点稳定且不受压力,保障集群的稳定,需将主节点和数据节点分离。

专用主节点(Dedicated Master Node)

指 Elasticsearch 集群中,设置了只能作为主节点的节点。

专用主节点配置建议

设置专用主节点主要是为保障集群增大时的稳定性,建议专用主节点个数至少为3个。

  • 专用主节点个数为1:只有1个备选主节点,discovery.zen.minimum_master_nodes 设置为1,网络发生故障时缺少备份。

  • 专用主节点个数为2:有2个备选主节点,minimum_master_nodes 设置为1,有备份节点,但网络发生故障,在重新选主时,有发生脑裂的风险(每个备选主节点都将自己设置为主节点);minimum_master_nodes 设置为2,发生故障时,可选主节点个数达不到要求,不能选出主节点。

  • 专用主节点个数为3:有3个备选主节点,discovery.zen.minimum_master_nodes 设置为2,网络发生故障时,丢失一个可选主节点,在重新选主时,能有效选出主节点。


腾讯云授权.jpg1.png2.png6.png3.png7.png4.png8.png5.png

什么是 Elasticsearch?

Elasticsearch 是分布式、可扩展、实时的搜索与数据分析引擎,建立在全文搜索引擎库 Apache Lucene™ 基础之上,支持从单个节点到上百个节点的任意扩展,并支持多达 PB 级别的结构化或者非结构化数据存储和查询。

ES 适用于哪些业务场景?

腾讯云 ES 完全保持了 Elasticsearch 在海量数据检索方面的特性,拥有全文检索、准实时搜索、结构化搜索等能力,广泛应用于日志分析、站内搜索等业务场景。使用腾讯云 ES,用户可以构建其他在用云产品(如 CVM、容器等)的日志服务系统,也可以集成搜索服务到现有的业务服务框架中。

什么是 Elasticsearch Service(ES)?

腾讯云 ES 是基于开源搜索引擎 Elasticsearch 构建的云端托管 Elasticsearch 集群服务,完全保持了 Elasticsearch 本身的开放、兼容和易用特性,并提供了充足的硬件资源,便捷的图形化创建和管理工具,以及技术支持和运维支持。

按量转包年包月之后多久按包年包月计费?

支付成功后,即时生效。

有未支付的转换订单,升级了集群的配置,转换订单还有效吗?

无效,因为按量付费转换包年包月时会生成一个新购订单,如果您在订单未支付前变更了集群的配置,新购订单金额与集群不匹配,未支付订单会被禁止支付。
如果您仍然需要转换集群的付费方式,需要先在 订单中心 取消当前未支付订单,再执行新的转换操作。

问题现象

集群在某些情况下会出现写入拒绝率增大(bulk reject)的现象,具体表现为,bulk 写入的时候,会有以下类似报错:

[2019-03-01 10:09:58][ERROR]rspItemError: {"reason":"rejected execution of org.elasticsearch.transport.TransportService$7@5436e129 on EsThreadPoolExecutor[bulk, queue capacity = 1024, org.elasticsearch.common.util.concurrent.EsThreadPoolExecutor@6bd77359[Running, pool size = 12, active threads = 12, queued tasks = 2390, completed tasks = 20018208656]]","type":"es_rejected_execution_exception"}
  • 可在云监控看到集群写入拒绝率增大。

  • 也可在 kibana 控制台,通过命令查看正在拒绝或者历史拒绝的个数。

    GET _cat/thread_pool/bulk?s=queue:desc&v
    一般默认队列是1024,如果 queue 下有1024,说明这个节点有 reject 的现象。


问题定位

引起 bulk reject 的大多原因是 shard 容量过大或 shard 分配不均,具体可通过以下方法进行定位分析。

1. 检查分片(shard)数据量是否过大

分片数据量过大,有可能引起 Bulk Reject,建议单个分片大小控制在20GB - 50GB左右。可在 kibana 控制台,通过命令查看索引各个分片的大小。

GET _cat/shards?index=index_name&v

2. 检查分片数是否分布不均匀

集群中的节点分片分布不均匀,有的节点分配的 shard 过多,有的分配的 shard 少。

  • 可在 ES 控制台集群详情页的【集群监控】>【节点状态】查看,具体操作可参见 查看监控

  • 也可通过 curl 客户端,查看集群各个节点的分片个数。

    curl "$p:$port/_cat/shards?index={index_name}&s=node,store:desc" | awk '{print $8}' | sort | uniq -c | sort
    结果如下图(第一列为分片个数,第二列为节点 ID),有的节点分片为1,有的为8,分布极不均匀。


解决方案

1. 设置分片大小

分片大小可以通过 index 模版下的 number_of_shards 参数进行配置(模板创建完成后,再次新创建索引时生效,老的索引不能调整)。

2. 调整分片数据不均匀

  • 临时解决方案:
    如果发现集群有分片分配不均的现象,可以通过设置 routing.allocation.total_shards_per_node 参数,动态调整某个 index 解决,参考地址

    注意:

    total_shards_per_node 要留有一定的 buffer,防止机器故障导致分片无法分配(例如10台机器,索引有20个分片,则 total_shards_per_node 设置要大于2,可以取3)。

    参考命令:
    PUT {index_name}/_settings{   "settings": {    "index": {      "routing": {        "allocation": {          "total_shards_per_node": "3"        }      }    }   }}


  • 索引生产前设置:
    通过索引模板,设置其在每个节点上的分片个数。

    PUT _template/{template_name}{   "order": 0,   "template": "{index_prefix@}*",   //要调整的index前缀"settings": {    "index": {      "number_of_shards": "30",   //指定index分配的shard数,可以根据一个shard 30GB左右的空间来分配"routing.allocation.total_shards_per_node":3//指定一个节点最多容纳的shards数    }   },   "aliases": {}}


Elasticsearch 5.6.4版本没有磁盘容量阈值以防止磁盘被写满,因此,如果您使用 Elasticsearch 5.6.4版本请关注磁盘使用量情况,及时删除无用索引或扩容磁盘。

Elasticsearch 6.4.3版本设置了磁盘水位(watermark)阈值,当磁盘使用率到达99%时,在该磁盘上有分片的索引将变为 readonly 状态,此时无法向这些索引写入数据。因此,我们建议当您发现磁盘使用率较高的时候就及时地清理索引或扩容磁盘。

问题现象

创建 index pattern 超时

当您的集群磁盘状态变为 readonly 时,将无法在 kibana 上创建 index pattern。这是因为当集群磁盘写满时,ES 会自动把索引设置的 block 级别设为 readonly_allow_delete 状态。

写入索引出错

当您的集群磁盘状态变为 readonly 时,清理索引或扩容磁盘仍无法将数据写入索引,错误如下:

  • 索引只读错误:

    Elasticsearch exception [   type=cluster_block_exception,   reason=blocked by: [FORBIDDEN/12/indexread-only / allow delete (api)];]
  • 集群只读错误:

    Elasticsearch exception [   type=cluster_block_exception,   reason=blocked by: [FORBIDDEN/13/cluster read-only / allow delete (api)];]

问题解决

您需要先清理无用索引释放空间或扩容磁盘,然后在 Kibana 界面的【Dev Tools】中使用如下命令:

  • 关闭索引只读状态:

    PUT _all/_settings{"index.blocks.read_only_allow_delete": null}
  • 关闭集群只读状态:

    PUT _cluster/settings{"persistent": {   "index.blocks.read_only_allow_delete": null}}

Elasticsearch 提供了多种官方的熔断器(circuit breaker),用于防止内存使用过高导致 ES 集群因为 OutOfMemoryError 而出现问题。Elasticsearch 设置有各种类型的子熔断器,负责特定请求处理的内存限制。此外,还有一个父熔断器,用于限制所有子熔断器上使用的内存总量。

腾讯云 ES 自研熔断器

官方熔断机制的一个不足是仅跟踪那些经常会出问题的请求来预估内存的使用,而无法根据当前节点的实际内存使用状态,来限制请求的内存使用或触发熔断。在腾讯云 ES 中,开发了针对 JVM OLD 区内存使用率的自研熔断器来解决这个问题。

腾讯云 ES 的自研熔断器监控 JVM OLD 区的使用率,当使用率超过85%时开始拒绝写入请求,若 GC 仍无法回收 JVM OLD 区中的内存,在使用率到达90%时将拒绝查询请求。当请求被拒绝时,客户端将收到如下的响应:

{    "status": 403,    "error": {        "root_cause": [{            "reason": "pressure too high, (smooth) bulk request circuit break",            "type": "status_exception"        }],        "type": "status_exception",        "reason": "pressure too high, (smooth) bulk request circuit break"    }}

上面的错误提示表明当前 JVM OLD 区负载较高,需要清理 JVM 中部分内存后重试。

常用清理内存的方法

  • 清理 fielddata cache:在 text 类型的字段上进行聚合和排序时会使用 fileddata 数据结构,可能占用较大内存。可以在 Kibana 界面的【Dev Tools】中使用如下命令查看索引的 fielddata 内存占用:

       GET /_cat/indices?v&h=index,fielddata.memory_size&s=fielddata.memory_size:desc

    若 fielddata 占用内存过高,可以在 Kibana 界面的【Dev Tools】中使用如下命令清理 fielddata:

    POST /${fielddata占用内存较高的索引}/_cache/clear?fielddata=true
  • 清理 segment:每个 segment 的 FST 结构都会被加载到内存中,并且这些内存是不会被 GC 回收的。因此如果索引的 segment 数量过大,也会导致内存使用率较高。可以在 Kibana 界面的【Dev Tools】中使用如下命令查看各节点的 segment 数量和占用内存大小:

       GET /_cat/nodes?v&h=segments.count,segments.memory&s=segments.memory:desc

    若 segment 占用内存过高,可以通过删除部分不用的索引,关闭索引,或定期合并不再更新的索引等方式缓解。

  • 扩容集群:如果您清理内存后,仍频繁触发熔断,说明您的集群规模已经不匹配于您的业务负载,最好的方式是扩大集群规模,您可以参考 扩容集群


品质认证
全国包邮
官方授权代理商
24小时售后服务
企业专属特权
服务保障
正品保证
官方授权代理商
24小时售后
关于我们
支付方式
公司转账
对私付款
支付宝付款
微信支付
商家服务
商家服务
培训中心
广告服务
服务市场
物流配送
免运费
海外配送
京东快递
211限时达
website qrcode

扫描查看手机版网站

会员登录
登录
其他帐号登录:
我的资料
购物车
0
留言
回到顶部