当前位置： 系统之家 > 电脑教程 > IT资讯 > 火山引擎ByteHouse上线ELT能力，进一步降低企业数字化维护成本

火山引擎ByteHouse上线ELT能力，进一步降低企业数字化维护成本

时间：2023-09-09 15:37:40

作者：admin

来源：系统之家

在数据分析场景中，企业使用的数据通常具备来源多样化的特点，如支付交易记录、用户行为等，且数据格式各异，有的为行式存储结构，有的为列式存储结构。这就要求企业数仓具备一定的数据转换能力。

传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型，然而，这依赖于独立于数仓外的ETL系统，导致维护成本较高。但随着云计算时代的到来，云数据仓库具备更强扩展性和计算能力，也要求改变传统的ELT流程。

火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库，为用户提供极速分析体验，能够支撑实时数据分析和海量数据离线分析，同时还具备便捷的弹性扩缩容能力，极致分析性能和丰富的企业级特性。凭借其强大的计算能力，火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力，让用户免于维护多套异构系统，产品易用性实现飞跃。

火山引擎ByteHouse上线ELT能力，进一步降低企业数字化维护成本

通过ByteHouse的ELT能力，用户只需将数据导入，用自定义SQL语句在ByteHouse内部进行数据转换，无需依赖独立的ETL系统及资源。具体来说，ByteHouse主要通过以下三个能力实现ELT能力：

首先，长任务管理。ByteHouse的查询时间为秒级，一旦查询中出故障，系统会直接返回错误并重试。在ETL场景下，如果一个任务已经执行50分钟才发生故障，重试意味着浪费了前50分钟的资源，影响任务推进。在ByteHouse中，SQL查询会被转化为一系列的算子，研发团队则通过提升算子的容错能力，来应对长时间查询下的系统故障问题，即当某个算子无法获得足够的内存时，系统允许该算子将一部分数据缓存在磁盘上，保证在资源紧张的情况下仍能够完成工作。

其次，异步提交能力。面对大量长耗时的ETL任务时，传统的同步执行方式需要客户端等待服务端返回，容易出现超时问题，影响后续任务执行，而ByteHouse提供的异步提交能力，通过客户端的间歇性轮训来获得用户任务的最终状态，由此保障任务在规定时间内完成。

最后，查询队列。当面临大量离线加工请求时，系统会出现超载。ByteHouse为此提供了查询队列能力，允许用户从队列大小、总CPU占用率、总内存占用率三个维度定义一个队列。

具体来说，当用户向某队列提交查询时，ByteHouse可以通过组件监听各个队列中的查询指标，如果队列未达到上限，则会将查询入队，否则拒绝。除此之外，ByteHouse还会检查队列的资源利用率，当空闲资源高过某阈值时，自动将等待中的查询出队。利用查询队列，用户在编排ETL任务时无需担心底层资源过载，让开发更加便捷。

长任务管理、异步提交和查询队列是火山引擎ByteHouse ELT的核心能力。未来，ByteHouse也会进一步迭代，支持转换函数、长任务容错、优先级队列等更丰富ELT功能，为用户提供更极致、更便捷的使用体验。(作者：郑敬兵)

相关文章

系统下载排行榜71011xp

1

萝卜家园Win7 sp1 64位旗舰版 V2021.05

 2

系统之家Win7 64位纯净版ISO镜像下载V2024

 3

【系统之家】Windows7 64位 官方专业版

 4

【低配首选】深度技术 Ghost Win7 SP1 32位 旗舰精简版

 5

深度纯净版win7旗舰版镜像(支持USB3.0)

 6

系统之家 Ghost Win7 极限精简版 V2024

 7

深度技术 Win7 64位精品旗舰版(带USB3.0/3.1驱动,新电脑) V2024

 8

深度Ghost Win7纯净版（新机型新技术）镜像V2024

 9

Win7系统 64位旗舰版(新机型+深度优化) V2024

 10

系统之家Win7系统64位旗舰版(专业优化+新机型USB3.0支持)
1

【干净不带软件】Windows10 22H2 64位 纯净专业版

 2

【系统之家】Windows10 22H2 64位 游戏优化版

 3

【高性能系统】Windows10 22H2 64位 纯净专业工作站版

 4

【高性能系统】Windows10 22H2 64位 专业工作站版

5

【适合家庭/个人】Windows10 22H2 64位 家庭中文版

 6

【长期支持】Windows10 64位 企业版LTSC 2021

 7

【深度技术】Windows10 64位 专业精简版

 8

【惠普通用】HP Windows10 64位 专业装机版

9

【适合家庭/个人】Windows10 22H2 64位 家庭纯净版

 10

【联想通用】Lenovo Windows10 64位 专业装机版
1

【干净无捆绑】真正纯净版的Win11 64位 专业版系统

 2

【娱乐专属】Windows11 22H2 64位 电竞游戏版

 3

不忘初心Win11 22H2 X64无更新纯净精简版 V2023

 4

Windows11 23H2 64位 专业纯净版镜像

 5

【新机预装系统】Windows11 23H2 64位 高级中文家庭版

 6

系统之家Ghost Win11中文专业版 V2023

 7

系统之家Win11纯净版精简镜像

 8

Win11 22H2(22621.819) 11月更新 V2022

 9

戴尔笔记本 Win11 64位 最新正式版 V2023

 10

系统之家 Ghost Win11 64位 精简纯净版 V2023
1

系统之家Ghost WinXP SP3专业版 V2021.10

 2

番茄花园Ghost XP Sp3纯净版 V2021.08

 3

深度技术Windows XP SP3 经典专业版 V2021.06

 4

电脑公司 Windows XP 经典版 V2021.04

 5

风林火山WindowsXP Sp3专业版 V2022.01

 6

萝卜家园 Windows Sp3 XP 经典版 V2021.04

 7

番茄花园WindowsXP Sp3专业版 V2021.06

 8

技术员联盟 Ghost WinXP SP3 精简版 V2021.12

 9

萝卜家园WindowsXP Sp3专业版 V2021.05

 10

深度技术GHOST XP SP3 通用装机版 V2021.04

装机必备 更多+

重装教程 更多+

1

怎么用U盘重装系统Win7-使用U盘重装系统Win7详细教程

 2

怎么用U盘重装系统Win10-使用U盘重装系统Win10详细教程

 3

怎么用U盘重装系统Win11-使用U盘重装系统Win11详细教程

 4

怎么硬盘安装win10系统？硬盘安装win10系统教程

 5

win11系统怎么硬盘安装？Win11硬盘安装方法介绍

电脑教程专题 更多+

提取码
XGZS
关闭 前往下载
软件发布| Tag标签| 版权声明| 网站地图

本站所有资源均转载自各大软件下载站，或由软件厂商投稿发布，用户应在授权范围内使用，不得用于任何商业用途。

如有侵权请联系我们删除下架，对Win10系统之家有任何投诉或建议，请发送至管理员邮箱：windowskefu01@163.com

Copyright©系统之家 桂ICP备2023006351号