使用Spark Sql进行ETL数据抽取时如何保证Spark集群的高可用性?

如题,数据仓库建设中,大仓使用mpp架构,集市使用大数据hadoop架构,集市使用spark sql进行etl数据抽取,spark集群如何做高可用。显示全部

如题,数据仓库建设中,大仓使用mpp架构,集市使用大数据hadoop架构,集市使用spark sql进行etl数据抽取,spark集群如何做高可用。

收起
参与5

返回lxcorange的回答

lxcorangelxcorange软件架构设计师某券商

spark分布式搭建方式大致分为三种:standalone、yarn、mesos。standalone是官方提供的一种集群方式,企业一般不使用。yarn集群方式在企业中应用是比较广泛的。mesos安装适合于超大型集群。
1、在使用spark sql作为etl抽取数据时,可通过程序逻辑将源表划分为多个数据段,对每个数据段分别建立spark sql数据etl任务,减小个别数据错误对整个etl任务的影响
2、建立spark sql etl抽取任务重复执行机制,出现错误后可以自动重试。

互联网服务 · 2018-10-19
浏览6332

回答者

lxcorange
软件架构设计师某券商
擅长领域: 大数据数据库数据仓库

lxcorange 最近回答过的问题

回答状态

  • 发布时间:2018-10-19
  • 关注会员:1 人
  • 回答浏览:6332
  • X社区推广