昱唯商城

产品分类
  • 腾讯
    腾讯云
    计算
    存储
    网络
    CDN与加速
    数据库
    视频服务
    云通信
    Serverless
    移动开发
    中间件
    数据处理
    量子技术
    网络安全
    终端安全
    应用安全
    业务安全
    安全管理
    数据安全
    安全服务
    云智大数据平台
    云智大数据可视化
    云智大数据应用
    人脸识别
    人脸特效
    人体识别
    文宇识别
    图像识别
    语音技术
    AI 平台服务
    自然语言处理
    智能机器人
    域名与网站
    物联网
    区块链
    企业应用
    企业通信
    办公协同
    金融服务
    教育服务
    游戏服务
    零售服务
    移动服务
    建筑服务
    政务服务
    汽车服务
    云资源管理
    开发者工具
    监控与运维
    管理与审计
    通用解决方案
    行业解决方案
    云智大数据与AI解决方案
    微信解决方案
    教育解决方案
    音视频解决方案
    物联网解决方案
    安全与运维解决方案
    极光产品
    开发者工具
    腾讯企业邮
    腾讯企业邮箱
    企业微信
    企业微信
    腾讯广告
    微信广告
    QQ广告
    腾讯视频广告
    腾讯新闻广告
    腾讯信息流广告
    优量广告
    腾讯音乐广告
    腾讯企点
    企业QQ
    企点客服
    企点营销
    企点电话
    腾讯安全
    终端安全
    主机安全
    安全管理
    数据安全
    数据安全
    网络安全
    金融风控
    内容安全
    业务安全
    营销风控
    安全组件
    应用安全
  • 知道创宇
    技术安全
    抗D保-DDoS流量清洗服务
    游戏高防
    创宇盾 - Web应用防火墙
    加速乐(CDN内容分发)
    漏洞扫描
    创宇监控 · 智能云监控服务
    猎风 - 威胁感知系统
    业务安全
    羊毛盾-知道创宇业务反欺诈
    数据盾(机器流量管控)
    海外CN2专线防护
    IPv6安全改造
    业务安全舆情监测服务
    云防御态势感知指挥平台
    商业安全
    创宇信用
    SSL证书
    盾牌座
    安全服务
    渗透测试
    代码审计
    风险评估
    应急响应
    信息安全对抗演习服务
    网络信息安全意识培训服务
    黑客入侵救援
    等级保护2.0安全解决方案
    安全定制
    区块链定制安全研发
    云计算产品
    御点终端安全管理系统
    网络资产普查和风险感知系统
    浑天智鉴
    创宇鹰眼 - 知道创宇反电话诈骗系统
    创宇监控-关键字监控做您的“第三只眼”
    服务
    智能设备安全检测
    区块链安全
    智能合约审计
    公链安全审计
    钱包安全审计
    安全产品
    ZoomEye网络空间雷达系统
    在线漏洞扫描
    ScanV安全检测管理平台
    威胁和日志管理系统
    安全事件监控
    政务云防御平台
    御点终端安全管理系统
    ZoomEye BE 网络空间资产安全管理系统
    技术安全
    解决方案
    政府行业解决方案
    金融行业解决方案
    电信行业解决方案
    大型企业集团行业解决方案
    中小企业行业解决方案
    电商行业安全解决方案
    棋牌游戏解决方案
    直播行业安全解决方案
    大数据反诈骗解决方案
    Web系统远程监控解决方案
    全网态势感知解决方案
    全网资源侦测解决方案
    云安全解决方案
    金融安全解决方案
    区块链安全解决方案
    教育类网站安全解决方案
    公安机关互联网安全监督检查规定解决方案
    创宇信用
    内容安全
    创宇大数据
    SSL证书
    短视频运营
    秘信聊
    实名认证
    行业认证
    搜狗认证
    官网认证
    权威认证
    品牌宝
    短视频运营
  • 昱唯系列
    昱唯云建站
    昱唯网站设计
    昱唯网站优化
    昱唯企业邮箱
    昱唯微传单
    昱唯公众号助手
    昱唯门店系统
    昱唯游戏营销
    昱唯销售系统
    昱唯小程序
    昱唯商城
    昱唯建站
    昱唯400
  • 得力
  • 企信认证
    APP安全可信认证
    品牌官网实名验证
    诚信经营示范网站
    诚信经营示范单位
    诚信经营龙头单位
    网上315金牌认证
    诚信经营金牌认证
    教育行业金牌认证
    金融行业诚企认证
    可信网站安全验证
    企信认证
    医疗行业认证
    AAA级信用企业
    金盾官网认证
    AISIT网信APP安全认证
    诚信示范网店
    互联网3.15金盾认证
    AISIT网信认证
    移动APP安全检测
    企业诚信示范网站(单位)
    诚信经营行业龙头示范单位
    网上交易3.15金牌认证
    医疗行业诚信经营示范单位
    金融行业诚信示范网站(单位)
  • 法大大
    电子合同
弹性MapReduce
弹性MapReduce 
价格:
38.85~2320.50
版本:
购买数量:
快递: 包邮
产品保证
官方授权代理商
可开具专票和普票
24小时售后服务支持
产品详情

弹性 MapReduce(EMR)结合云技术和 Hadoop、Hive、Spark、Hbase、Presto、Storm 等社区开源技术,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您可以在数分钟内创建安全可靠的专属 Hadoop 集群,以分析位于集群内数据节点或对象存储 COS 上的 PB 级海量数据。


弹性 MapReduce 在云上提供了弹性的大数据 Hadoop 托管服务,您可以将自建的 Hadoop 集群平滑的迁移至云上,并享受到云上弹性能力带来的资源利用率提升的便利。您也可以借助弹性 MapReduce 将传统的大数据集群模式升级成为计算存储分离的大数据集群,利用云端提供的高持久的对象存储进行数据存储,利用托管的 Hadoop 框架对对象存储中的数据进行按需计算。   

功能

快速部署

通过控制台点选的方式,只需三步即可获得独立专属的大数据集群。弹性 MapReduce 提供了多种大数据开源组件,您可以在创建时自由组合勾选,包括但不限于 Hive、Spark、Hbase、Presto、Flink、Storm 等,提供安全、低成本、高可靠、可弹性伸缩的云端托管 Hadoop 服务。您也可以通过 API 的方式,保留创建参数,即可反复的创建并销毁集群。

弹性 MapReduce 支持多种机型部署集群,您可以根据不同业务场景来配置集群的 CPU、内存、存储的类型和数量。

弹性

通过控制台页面或 API 的方式,轻松的操作集群规模,只需要数分钟,即可将新的节点添加进集群中,以适应业务的快速变化。新扩容的节点将对集群组件进行自动部署,组件的配置将自动同步。弹性 MapReduce 提供了只用于计算不存储数据的 Task 节点类型,利用该节点对集群的规模进行快速缩容,而无需担心数据丢失的风险隐患。

全新的自动扩缩容功能即将上线,可以大幅降低您的运维成本,集群将根据监控数据进行自动的扩容与缩容,时刻保证集群资源利用率最大化。

计算存储分离

结合腾讯云提供的高持久的对象存储 COS 服务,弹性 MapReduce 让您的大数据存储成本降低高达85%。开启对象存储访问后,弹性 MapReduce 将自动适配 COS 的文件系统,您可以像操作 HDFS 一样,操作 COS 中的数据,而无需花费大量的精力来适应这种转变。由于计算存储的分离实现了数据与集群的生命周期解耦,您可以在需要计算任务时再创建弹性 MapReduce 集群,在计算完成时完全销毁集群,在此期间只需要按照使用时长付费。

集群管控

弹性 MapReduce 已对开源 Hadoop 及组件进行了针对性优化,这将减少您用于监控运维集群的时间。同时我们提供了丰富的集群管控工具,您可以在弹性 MapReduce 的控制台可视化地进行监控的查看、告警的设置、组件进程的重启或维护、参数配置修改等操作。您也可以使用我们提供的高级管理工具,自由度更高的管理您的集群。

功能特性

  • 弹性 MapReduce 的软件完全源于开源社区中的 Hadoop 软件,您可以将现有的大数据集群无缝平滑迁移至腾讯云上。弹性 MapReduce 产品中集成了社区中常见的热门组件,包括但不限于 Hive、Hbase、Spark、Presto、Sqoop、Hue 等,可以满足您对大数据的离线处理、流式计算等全方位需求。

  • 弹性 MapReduce 无缝集成了腾讯云对象存储(COS)服务,您可将原本存储于 HDFS 中的文件放置在可无限扩展、存储成本低且高可靠的 COS 中,实现计算存储分离。依托于 COS,您可以在需要的时候创建集群,并在任务完成后销毁集群。与此同时,您无需担心数据的丢失。按需创建的集群,可以大幅度降低您的大数据处理成本。

  • 弹性 MapReduce 采用了5种节点类型:Master 节点、Core 节点、Task 节点、Router 节点和 Common 节点。各类型节点作用,请参见 节点类型说明

  • 弹性 MapReduce 目前支持了众多资源规格,您可以采用 EMR 标准型、内存型、高 IO、计算型及大数据机型实例作为计算资源。若您需要在黑石物理主机上部署 Hadoop 集群,请 提交工单 联系我们。

与自建 Hadoop 相比,弹性 MapReduce 能提供更方便、更安全、更可靠的云端 Hadoop 服务。

灵活

  • 只需几分钟即可获得一个安全可靠的 Hadoop 集群,以运行 Hive、Spark、Presto 等主流开源大数据计算框架。

  • 可对一个已有的弹性 MapReduce 集群进行快速的弹性伸缩,以在变动的业务部门数据分析需求与高昂 IT 硬件成本之间快速获得平衡点。

可靠

  • Master 节点容灾设计,备节点秒级拉起,保障大数据服务可用性。

  • 完善的监控体系建设,您可以通过短信渠道秒级感知集群组件及任务的运行异常状况。

  • 支持将 Hive 元数据存放于 TencentDB,元数据可靠性达99.9996%。

  • 支持分析存放于 COS 的高存储耐久性的 PB 级数据。

  • 集群默认开启回收站功能。

安全

  • 可通过便捷的 VPC 网络安全隔离手段规划托管 Hadoop 集群网络策略,支持网络 ACL 和安全组,可从子网和主机维度筛选流量,全方位满足网络安全需求。

  • 腾讯云品质的安全加固服务为 EMR 集群提供一体化的安全服务,涵盖网络防护、入侵检测、漏洞防护等。

易用

  • 可以响应业务需求创建不同版本的集群分析 COS 上的同一份数据。

  • 可以借助开箱即用的 Hue、Oozie 等社区组件随心分析位于数据节点或 COS 上的 PB 级数据,无需担心产生任何知识迁移成本。

节约成本

  • 通过 EMR 服务,可以按业务曲线随心伸缩托管 Hadoop 集群,缩减高昂的硬件成本。

  • 丰富的运维工具支持,大幅提升运维工作效率,让工程师更专注于业务本身的商业价值,摆脱重复搭建监控、安全、运维工具等基础设施。

弹性 MapReduce 结合云技术和 Hadoop、Hive、Spark、Storm 等社区开源技术,为您提供安全、低成本、高可靠、可弹性伸缩的云端 Hadoop 服务。其主要功能体现在以下方面:

弹性伸缩

分钟级集群创建
通过控制台数分钟就可创建一个安全、稳定的云端托管 Hadoop 集群。

分钟级集群扩缩容
仅需数分钟即可对现有 EMR 集群进行平滑扩缩容,以适应互联网业务需求的快速变化。

API 支持
支持通过 API 方式便捷的在程序中创建、扩缩容、销毁 EMR 集群。

存储计算分离

集群内存储计算分离
集群内支持按照存储节点、计算节点的模式来规划云端 Hadoop 集群,以支持客户对计算节点的随意伸缩来降低硬件成本。

基于 COS 的存储计算分离
支持把待分析海量数据存放于 COS,在通过 COS 规模化效应降低存储成本的同时,您还可以创建不同 EMR 版本分析同一份数据,这将为您带来极度的架构灵活性。

运维支撑

监控与多渠道告警
提供完善的监控运维体系,对包含 Spark、Hive、Presto 等在内的组件异常和任务异常的秒级感知,以保障大数据集群的稳健运行。

技术服务支持
在提供完善技术文档之外,还支持包含邮件、QQ、微信等渠道在内的技术服务体系,为客户提供完备的技术支持。

安全

EMR 创建的 CVM 子机同时会创建安全组来限制外网访问。各组件 Web UI 均通过其中一台有外网 IP 的子机进行访问,并且通过用户名和密码进行验证,有外网 IP 的子机安全组只开放 SSH 端口和代理访问端口。

注意:

CVM 子机如果更换项目会导致 CVM 安全组丢失。

弹性 MapReduce(EMR)集群应用场景很多,Hadoop 和 Spark 能够支持的场景 EMR 都可以支持,因为 EMR 本质就是 Hadoop 和 Spark 的集群服务。以下为 EMR 应用的经典场景。

离线数据分析

把游戏、WEB 应用、手机 App 等业务服务器上的海量日志同步到 EMR 的数据节点或 COS 后,可借助于 Hue 等工具使用 Hive、Spark、Presto 等主流计算框架快速获取数据洞察力。可使用 Sqoop 等工具加载分散于各 TencentDB 或其他存储引擎的数据,并把分析后的数据同步到 TencentDB,为 RayData 这样的数据可视化产品提供数据支撑。

流式数据处理

在程序/工具中通过 API、SDK 把位于业务服务器上实时产生的数据 Push 到 CMQ 消息中间件之后,可在 EMR 产品中选择合适的流式数据处理引擎来分析数据,以实现对业务变动的实时告警;还可以把分析结果实时同步到 TencentDB 等存储引擎,以便于通过 RayData 等数据可视化产品对业务状态进行实时可视化检测。

分析 COS 数据

可通过 EMR 产品快速分析存储于 COS 上的海量数据,以实现彻底的存储计算分离。通过这样的设计,可充分利用 COS 提供的丰富数据同步工具,同时还可以让多个不同版本 Hadoop 集群分析同一份数据,以满足数据一致性及历史原因导致的多版本 Hadoop 集群共存的问题。

EMR 提供了5种节点类型,您可以根据自身需求进行选择:

节点类型说明HA(高可用)数量非 HA 数量
主节点(Master)部署 NameNode、ResourceManager、HMaster 等进程。21
核心节点(Core)部署 DataNode、NodeManager、RegionServer 等进程。≥ 3≥ 2
计算节点(Task)部署 NodeManger、PrestoWork 等进程。可随时更改 Task 节点数,实现集群弹性伸缩,最小值为0。
通用节点(Common)部署分布式协调器组件,如 ZooKeeper、JournalNode 等节点。≥ 30
路由节点(Router)部署 Hadoop 软件包,可选择部署 Hive、Hue、Spark 等软件和进程。可随时更改 Router 节点数,最小值为0。
  • Master 节点为管理节点,保证集群的调度正常进行。

  • Core 节点为计算及存储节点,您在 HDFS 中的数据全部存储于 Core 节点中,因此为了保证数据安全,扩容 Core 节点后不允许缩容。

  • Task 节点为纯计算节点,不存储数据,被计算的数据来自 Core 节点及 COS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容。

  • Common 节点为 HA 集群 Master 节点提供数据共享同步以及高可用容错服务。

  • Router 节点用以分担 Master 节点的负载或者作为集群的任务提交机,可以随时扩容和缩容。

腾讯云弹性 MapReduce 由一系列大数据生态的开源应用程序组成。每个弹性 MapReduce 的版本,包含了一组特定版本的开源程序。当您在创建集群时,可以选择对应的 EMR 版本,以满足您对其中包含的开源组件的版本需求。

注意:


  • EMR 版本会定期升级,类似 EMR-V1.3.1、EMR-V2.0.1、EMR-V2.1.0。

  • 每一个版本上捆绑的组件和组件的版本都是固定的。目前还不支持组件的多个不同版本的选择,也不支持用户自行更改组件的版本。例如在 EMR-V2.0.1 中内置的是 Hadoop 2.7.3、Spark 2.2.1 等。

  • 一旦选择了 EMR 某个版本创建集群,该集群使用的 EMR 版本和组件版本不会自动升级,例如选 EMR-V2.0.1 版本,那么 Hadoop 就一直保持在2.7.3,Spark 就一直保持在2.2.1。后续如果版本升级到了 EMR-V2.1.0,Hadoop 到了2.8.4,Spark 到了2.3.2也不会影响到已经创建出来的集群。只有新的集群才会使用新的镜像。

  • 当您通过数据迁移的方式升级集群版本的时候,例如从 EMR-V2.0.1 升级到 EMR-V2.1.0,为防止一些升级不兼容,环境变化等,请务必测试需要迁移的任务,保证在新的软件环境中能正常运行。

各 EMR 版本包含的组件及组件版本如下:

组件名称EMR-V1.3.1EMR-V2.0.1EMR-V2.1.0
发布时间--2019.05
Flink1.2.01.2.01.4.2
Ganglia3.7.23.7.23.7.2
Hadoop2.7.32.7.32.8.4
Hbase1.2.41.3.11.3.1
Hive2.1.12.3.22.3.3
Hue3.12.03.12.04.4.0
Ooize4.3.14.3.14.3.1
Presto0.1610.1880.215
Ranger-0.7.10.7.1
Spark2.0.22.2.12.3.2
Sqoop1.4.61.4.61.4.7
Storm1.1.01.1.01.1.0
Tez0.8.50.8.50.8.5
Zookeeper3.4.93.4.93.4.9
Flume--1.8.0
Alluxio--1.8.1
Knox1.2.01.2.0-

2019.08.07

【新功能】
新增 软件配置 功能支持自定义组件参数创建集群,同时兼容访问外部集群功能。
新购集群过程中支持自主开启/关闭远程登录端口。

2019.08.01

【新功能】
新购集群支持多云盘挂载。
支持指定组件扩容。
新增 Spark、Hive、Presto、Zookeeper 组件监控指标。

2019.07.05

【新功能】
支持 Hbase 表级监控。

【新地域/新机型】
支持新加坡、孟买、成都地域。
新增机型标准型 S4、标准网络优化 SN3ne。

【优化】
监控页面交互优化,并新增部分监控指标。
WebUI 代理地址优化。

2019.06.18

【新功能】
支持访问外部集群功能。
支持设置引导操作功能。
组件参数配置下发支持到节点维度。
支持参数配置回滚。

2019.05.17

【新版本/新规格】
新增 EMR 2.1.0 版本,升级了主要 组件版本

【新功能】
支持 Kerberos 安全集群。

【优化】
主机、HDFS、Yarn、Hbase 监控指标
控制台样式升级,提升交互体验。
CVM 与 TencentDB 命名带 EMR 集群序列号,以便对应集群信息。

2019.05.07

【新功能】
Master 节点外网 IP 改为可选。
Common 节点数量可按需调节。

2019.03.29

【新版本/新规格】
北上广地域支持 I3 机型,I3 机型是 CVM 白名单机型,需要相关账户为 I3 机型白名单才可购买。

【新地域/可用区】
开放硅谷地区售卖。

2019.03.04

【新功能】
支持 Router 节点,主要用于缓解主节点负载和用作任务提交机。
支持 节点的变配(更高配置)。

2019.01.15

【新功能】
支持对已有集群 添加新组件


腾讯云授权.jpg1.png2.png7.png3.png8.png4.png9.png5.png10.png6.png

如何查看任务日志?

您可以登录任意一台 EMR 服务器执行以下命令查看任务日志:

yarn logs -applicationId application_1507732460084_0057
注意:


  • 需以 Hadoop 用户身份执行该命令。

  • 如果是其他用户的任务可以添加参数 -appOwner username。

如需查看任务异常原因可通过以下命令实现:

yarn logs -applicationId application_1507732460084_0057|grep -A20 Exception

如何调整集群计算资源?

集群计算资源由 yarn-site.xml 中的以下两项配置决定:

<property><name>yarn.nodemanager.resource.cpu-vcores</name><value>4</value></property><property><name>yarn.nodemanager.resource.memory-mb</name><value>14745</value></property>

默认情况下 cpu-vcores 等于机器的 CPU 核数,memory-mb 等于机器内存的91%,可以根据实际情况作出调整,如果设置太大则存在机器宕机的风险。

如何处理任务执行时内存溢出?

提交 MR 任务或者通过 Hive 执行 SQL 脚本时发生内存溢出可以通过设置以下参数处理:

  • set mapreduce.map.java.opts=-Xmx4096m;

  • set mapreduce.reduce.java.opts=-Xmx4096m;

可以根据计算需要调整内存参数,如果是 Hive 也可写在 ~/.hiverc 文件下,提交的时候会自动执行。

如何预估集群规模?

假设您的一次运算以 SQL 执行为例,如果想要在确定的时间里查询到结果需要的 vcore 为64个,内存为128GB,业务要求一次要支持10个并发,那么需要的资源为 vcore 640个,内存1280GB,假设采用24核48GB的设备,那么需要的计算设备量为:1280 / 48约等于40台。

如何设置 Hive 的 fetch 查询?

Hive 默认查询如下:

select * from tablename where a=’1limit10;

默认查询不会启动计算任务,您可以通过添加 set hive.fetch.task.conversion=none 参数开启分布式查询。

如何选择集群存储介质?

EMR 集群支持如下存储介质,普通本地盘、SSD 本地盘、普通云硬盘,SSD 云硬盘以及对象存储 COS,您可以根据实际需要来选择存储介质:

  • 如果您的应用场景是大规模数据仓库分析,对时延不是那么敏感,建议您使用 COS 作为底层存储。

  • 如果您非常熟悉 HDFS 而且使用 COS 迁移成本过高,您也可以使用普通云盘。

  • 如果您的应用是海量列式数据库 Hbase,需要高效写入和查询,建议您使用本地 SSD 盘或者 SSD 云硬盘。


品质认证
全国包邮
官方授权代理商
24小时售后服务
企业专属特权
服务保障
正品保证
官方授权代理商
24小时售后
关于我们
支付方式
公司转账
对私付款
支付宝付款
微信支付
商家服务
商家服务
培训中心
广告服务
服务市场
物流配送
免运费
海外配送
京东快递
211限时达
website qrcode

扫描查看手机版网站

会员登录
登录
其他帐号登录:
我的资料
购物车
0
留言
回到顶部