火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本
2023-09-08 15:18:26 作者:姚立伟
在数据分析场景中,企业使用的数据通常具备来源多样化的特点,如支付交易记录、用户行为等,且数据格式各异,有的为行式存储结构,有的为列式存储结构。这就要求企业数仓具备一定的数据转换能力。
(资料图)
传统方式是采用Extract-Transform-Load (ETL)来将业务数据转换为适合数仓的数据模型,然而,这依赖于独立于数仓外的ETL系统,导致维护成本较高。但随着云计算时代的到来,云数据仓库具备更强扩展性和计算能力,也要求改变传统的ELT流程。
火山引擎ByteHouse是一款基于开源ClickHouse推出的云原生数据仓库,为用户提供极速分析体验,能够支撑实时数据分析和海量数据离线分析,同时还具备便捷的弹性扩缩容能力,极致分析性能和丰富的企业级特性。凭借其强大的计算能力,火山引擎ByteHouse目前已全面支持Extract-Load-Transform (ELT)的能力,让用户免于维护多套异构系统,产品易用性实现飞跃。
通过ByteHouse的ELT能力,用户只需将数据导入,用自定义SQL语句在ByteHouse内部进行数据转换,无需依赖独立的ETL系统及资源。具体来说,ByteHouse主要通过以下三个能力实现ELT能力:
首先,长任务管理。ByteHouse的查询时间为秒级,一旦查询中出故障,系统会直接返回错误并重试。在ETL场景下,如果一个任务已经执行50分钟才发生故障,重试意味着浪费了前50分钟的资源,影响任务推进。在ByteHouse中,SQL查询会被转化为一系列的算子,研发团队则通过提升算子的容错能力,来应对长时间查询下的系统故障问题,即当某个算子无法获得足够的内存时,系统允许该算子将一部分数据缓存在磁盘上,保证在资源紧张的情况下仍能够完成工作。
其次,异步提交能力。面对大量长耗时的ETL任务时,传统的同步执行方式需要客户端等待服务端返回,容易出现超时问题,影响后续任务执行,而ByteHouse提供的异步提交能力,通过客户端的间歇性轮训来获得用户任务的最终状态,由此保障任务在规定时间内完成。
最后,查询队列。当面临大量离线加工请求时,系统会出现超载。ByteHouse为此提供了查询队列能力,允许用户从队列大小、总CPU占用率、总内存占用率三个维度定义一个队列。
具体来说,当用户向某队列提交查询时,ByteHouse可以通过组件监听各个队列中的查询指标,如果队列未达到上限,则会将查询入队,否则拒绝。除此之外,ByteHouse还会检查队列的资源利用率,当空闲资源高过某阈值时,自动将等待中的查询出队。利用查询队列,用户在编排ETL任务时无需担心底层资源过载,让开发更加便捷。
长任务管理、异步提交和查询队列是火山引擎ByteHouse ELT的核心能力。未来,ByteHouse也会进一步迭代,支持转换函数、长任务容错、优先级队列等更丰富ELT功能,为用户提供更极致、更便捷的使用体验。(作者:何雅逸)
责任编辑:
标签:
- 火山引擎ByteHouse上线ELT能力,进一步降低企业数字化维护成本
- 2023年偏苯三酸酐上市公司一览,偏苯三酸酐股票今日股价查询
- 融发核电(002366.SZ):公司目前无电子化学产品
- 《悟饭游戏厅》官方正版下载网站分享
- 演武坪社区举办周周乐暨“关注眼健康 科普进社区”义诊活动
- 大港股份计划以1.5亿元购买镇江新纳环保材料有限公司77.7%的股权
- 9月7日晚市要闻
- 蚂蚁金融大模型正式发布,两款产品将在备案后上线
- 时政微视频丨瞰黑龙江
- 中国芯片制造关键环节跑出一个IPO,估值80亿
- 太尴尬了!日本在欧洲大肆推广福岛特产!
- 天气温度变化不大,白露节气要降“秋燥”
- 股票行情快报:龙芯中科(688047)9月8日主力资金净卖出1543.62万元
- 股票行情快报:上海医药(601607)9月8日主力资金净卖出805.16万元
- 京西草原一日游 京西草原骑马团购
- 车祸责任认定书理赔后如何处理
- 蚂蚁集团发布金融大模型 未来与金融机构合作的所有数字金融业务将全线接入
- 《云之羽》戏外的卢昱晓,真的不是小说女主现实版吗?
- 意外险赔付交通事故吗?怎么赔付?
- 景区坠崖意外险赔不赔钱?怎么理赔?
- 还没抓到!英一涉恐嫌犯“藏车底”越狱
- 香港天文台改发黄色暴雨警告信号
- 美国对中国产移动电源实施召回
- 服务保障“四区一高地”建设丨南明区检察院召开“两长”座谈会
- iQOO 12 Pro配置曝光 全新骁龙8 Gen3旗舰
- 杭州亚运会火炬传递起跑,潮涌亚细亚时刻开始
- 工信部等五部门印发《元宇宙产业创新发展三年行动计划(2023-2025年)》
- 即时零售竞争火热,京东到家计划三年内合作门店升至150万家
- 酒店业最大充电网络!希尔顿“狂扫”2万个特斯拉壁挂充电器
- 资讯|预售16万-19万元 哈弗猛龙首发亮相成都车展
- 客观题和主观题是啥意思(客观题是什么意思主观题又是什么意思)
- 美股收盘:道指涨超75点 中概股多数走低水滴、趣店跌超8%
- 中国汉堡加速狂奔 本土汉堡连锁品牌沙朗阿甘完成近千万元天使轮融资
- 高质量发展调研行丨郑金国:在汉中办实业“伸得开手脚”
- 巴萨总监:巴萨各部门赤字已减少50%,下赛季预计亏损2500万欧
- 同“新”协力齐奋斗 务实笃行谱新章 :安庆医药高等专科学校新入职教师适岗集中培训圆满完成
- 红木古典家具网(关于红木古典家具网的基本详情介绍)
- 云上智农app下载安装最新版农业教育网(云上智农)
- 【名医直播室】莫把肠道“塞车”不当回事
- 夜夜进入男神(夜夜进入)
- 股票行情快报:星宇股份(601799)9月8日主力资金净卖出2819.11万元
- 百万家装消费券!扬州首届品质家居消费节本周六启动
- 又爆一次,李雪琴的嘴让娱乐圈都脸红
- 剑指金牌!欧洲豪门吊打NBA战舰,全队激情庆祝,静候美国男篮
- 京东在欧洲多国建自营仓储网络
- 番禺余荫山房一段围墙被雨水冲塌,文物本体未受影响
- 好消息!足协出台新规,大连人或成最大受益者,中超保级再现曙光
- 你为我着迷 歌曲(你为我着迷公演歌曲)
- 电影质量级渲染来了!虚幻引擎5.3正式发布
- 无锡晶海过会:今年IPO过关第233家 东方投行过3单
- 哈曼丹有几位王妃(2023年09月09日哈曼丹王子中国老婆)
- Coolpo正在推出具有手势识别功能的新视频会议产品
- 苹果Siri全新升级:可自动拍摄5张并发送动图
- “家门口的文化大餐”:江苏小剧场成文旅发展新动能
- 美团“北极星榜”出炉,医美选店迎来“新标准”
- 在岸、离岸人民币对美元汇率分别跌破7.34和7.36,均跌破前期低点
- 9月8日国内BDO市场行情区间波动
- 9月8日浙江钜润物资无缝管价格持平
- 耐的偏旁是哪个 耐是什么偏旁部首
- 滨海:多彩“开学第一课”,氛围感拉满!
- 长春佳园社区“三步走”破解小区改造难题
- 秀吧是什么意思秀是什么意思(秀吧和秀的意思是什么)
- 广西:新能源市场化交易结算电价降2分/度,启动源网荷储试点 --> 广西:新能源市场化交易结算电价降2分/度,启动源网荷储试点
- 年内第五批拟入创新层企业名单公布 38家入选
- 格鲁吉亚vs西班牙:莫拉塔PK克瓦拉茨赫利亚,加维出战
- 情景剧、诗朗诵、诗画讲述……他们这样庆祝教师节
- 9月8日基金净值:嘉实稳宏债券A最新净值1.4458,跌0.21%
- 上海哪个医院能治尖锐湿疣
- 股票行情快报:共进股份(603118)9月8日主力资金净买入526.51万元
- 新疆巴里坤辣椒火红迎丰收
- 惊险!沪昆高速平坝段一货车自燃,火光冲天,浓烟四起!
- “稻虾共养”实现一田双收新“丰”景
- 新一轮降水来袭!河南要连下6天,局地大雨、暴雨
- 惠州惠阳区比较好的养老社区有哪些?
- 太乙堂梁院长:胰腺癌的高危人群及应对措施
- 晶晨股份(688099.SH):公司预计第三季度营收有望进一步环比提升
- 官宣,湖人连签4人!引援结束豪华阵容出炉,浓眉提出硬性要求
- 国羽主场作战次轮10胜6负 优势单项仅剩“独苗”
- 存量首套个人房贷利率调整该怎么办理?一图解惑 具体是什么情况?
- 用代工理由售卖指定产品后并不履行承诺是否为诈骗?
- 股票行情快报:浦东建设(600284)9月8日主力资金净卖出676.15万元
- 推动金融服务向“够不够”升级,银行数字科技未来有五大趋势
- 中科蓝讯: 公司充分关注到投资者对于推动公司价值发现的相关建议和诉求
- 大连医科大学学生在辽宁省“爱我国防”演讲比赛决赛中喜获一等奖
- 北京:重点发展通用人工智能、第六代移动通信(6G)、元宇宙、量子信息、光电子等细分产业
- 梅西再次任意球!这是最不可能剧本的方式!
- 珠三角部分城市突发大暴雨,广东消防全力迎战
- 深夜官宣,这个新一线城市全面放开限购!首套房首付降至两成
- 股票行情快报:安阳钢铁(600569)9月8日主力资金净买入400.65万元
- 辽港股份(02880.HK):徐颂辞任非执行董事
- 今夏成有记录以来最热的夏天!联合国秘书长警告:气候崩溃已开始
- 直击香港暴雨现场:巨石滚落 商场被淹
- 俄罗斯计划9月将海运柴油出口量削减25%
- 朗坤环境:公司的主营业务为有机固废及城市生活垃圾的无害化处理及资源化利用
- 抵押贷款成本持续上升 伦敦数千房主面临财务困难
- 9月7日基金净值:富国兴利增强债券最新净值1.429,跌0.83%
- 因赛集团(300781.SZ):公司预计将于近期推出营销AIGC应用大模型的内测版
- 山东荣成:海参育苗备秋播
- 自驾出游!高速免单来了!
- 巴奴确认子品牌超岛羊肉卷被测出鸭肉成分:将赔付835.4万元 涉及8354桌