基于通用标准文件的HBase批量导入方法、设备及存储介质
申请号:CN202511228647
申请日期:2025-08-29
公开号:CN120892488A
公开日期:2025-11-04
类型:发明专利
摘要
本申请公开了一种基于通用标准文件的HBase批量导入方法、设备及存储介质,涉及数据处理技术领域,公开了基于通用标准文件的HBase批量导入方法,包括:将数仓平台导出的标准文件传输至与HBase集群关联的HDFS目录;基于所述HDFS目录,通过MapReduce作业将所述标准文件转换为符合目标HBase表结构的HFile文件;通过BulkLoad命令将所述HFile文件迁移至目标HBase目录,以完成数据导入。本申请通过直接解析通用标准文件,消除了多源数仓平台与HBase间的中间格式转换环节,提高了数仓平台导入数据至HBase的效率和可用性。
技术关键词
HBase表
数据处理器
批量
目录
集群
数据转换模块
平台
命令
数据处理技术
生成规则
可读存储介质
存储器
字段
分区
语义
报告
格式