火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本
中关村在线 2023-09-08 15:48:17


(资料图)

在数据分析场景中,企业使用的数据通常具备来源多样化的特点,如支付交易记录、用户行为等,且数据格式各异,有的为行式存储结构,有的为列式存储结构。这就要求企业数仓具备一定的数据转换能力。

传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,导致维护成本较高。但随着云计算时代的到来,云数据仓库具备更强扩展性和计算能力,也要求改变传统的ELT流程。

火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,同时还具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。凭借其强大的计算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,让用户免于维护多套异构系统,产品易用性实现飞跃。


通过ByteHouse的ELT能力,用户只需将数据导入,用自定义SQL语句在ByteHouse内部进行数据转换,无需依赖独立的ETL系统及资源。具体来说,ByteHouse主要通过以下三个能力实现ELT能力:

首先,长任务管理。ByteHouse的查询时间为秒级,一旦查询中出故障,系统会直接返回错误并重试。在ETL场景下,如果一个任务已经执行50分钟才发生故障,重试意味着浪费了前50分钟的资源,影响任务推进。在ByteHouse中,SQL查询会被转化为一系列的算子,研发团队则通过提升算子的容错能力,来应对长时间查询下的系统故障问题,即当某个算子无法获得足够的内存时,系统允许该算子将一部分数据缓存在磁盘上,保证在资源紧张的情况下仍能够完成工作。

其次,异步提交能力。面对大量长耗时的ETL任务时,传统的同步执行方式需要客户端等待服务端返回,容易出现超时问题,影响后续任务执行,而ByteHouse提供的异步提交能力,通过客户端的间歇性轮训来获得用户任务的最终状态,由此保障任务在规定时间内完成。

最后,查询队列。当面临大量离线加工请求时,系统会出现超载。ByteHouse为此提供了查询队列能力,允许用户从队列大小、总CPU占用率、总内存占用率三个维度定义一个队列。

具体来说,当用户向某队列提交查询时,ByteHouse可以通过组件监听各个队列中的查询指标,如果队列未达到上限,则会将查询入队,否则拒绝。除此之外,ByteHouse还会检查队列的资源利用率,当空闲资源高过某阈值时,自动将等待中的查询出队。利用查询队列,用户在编排ETL任务时无需担心底层资源过载,让开发更加便捷。

长任务管理、异步提交和查询队列是火山引擎ByteHouse ELT的核心能力。未来,ByteHouse也会进一步迭代,支持转换函数、长任务容错、优先级队列等更丰富ELT功能,为用户提供更极致、更便捷的使用体验。(作者:何雅逸)

火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本

2023-09-08

iFixit拆毁了三星的新款GalaxyS22和S22Ultra智能手机

2023-09-08

600元可亲吻? 莫把“沉浸式消费”玩成“沉沦式消费”

2023-09-08

今日车轱辘是什么意思饭圈(车轱辘话什么意思)

2023-09-08

公职人员被儿子举报出轨朋友妻子 官方回应:已被停职并立案调查

2023-09-08

人工智能赋能可持续投资

2023-09-08

探索数字化普惠金融新路径

2023-09-08

通辽市奈曼旗300MW风电项目二标段37台风机吊装完成

2023-09-01

安卓将迈入2TB时代!三星Galaxy S24 Ultra首发:售价过万

2023-09-01

亚盛集团:8月31日融资净买入276.08万元,连续3日累计净买入734万元

2023-09-01

南京新百4140万预付款背后 交易对手疑为控股股东关联方

2023-09-01

sw2018破解版详细安装教程云魔方(solidworks魔方云学院)

2023-09-01

江苏南通可提供东芝洗碗机维修服务地址在哪

2023-08-31

公大研招网 公大

2023-08-31

世茂股份:截止8月底未能按期支付债务累计84.8亿元

2023-08-31

8月31日超讯通信涨停分析:智能制造,5G,智慧物流概念热股

2023-08-31

捷途大圣对比长安CS55 PLUS,谁高颜高配强动力,更讨年轻人欢心?

2023-08-31

新城发展:一年内到期债务256.16亿元,确保每一笔债务提前或到期偿付

2023-08-31

主板纺织股(主板纺织上市企业名单2023)

2023-08-31

宋祖儿前公司否认实名举报 称未参与艺人纳税申报

2023-08-31