分布式异步数据处理方法、装置、计算机设备及存储介质
申请号:CN202511008266
申请日期:2025-07-18
公开号:CN120994332A
公开日期:2025-11-21
类型:发明专利
摘要
本申请公开一种分布式异步数据处理方法、装置、计算机设备及存储介质,属于大数据技术领域,应用于保险离谱的对账处理场景。本申请通过引入分布式任务调度中心,结合其参数配置功能与配置中心的动态调整机制,实现了异步任务的高效定时调度和灵活管理。首先,通过采用查询而非频繁更新数据库的方式,显著降低了数据库的写入压力和锁竞争问题,提升了系统整体的稳定性和响应速度。其次,动态配置功能使得系统能够根据实时业务需求调整数据处理参数,如分片数量、单次查询量及处理速率等,确保在数据量突增时能够快速扩展处理能力,保障任务调度的灵活性和适应性。同时,利用分片标识对待处理数据进行精准划分。
技术关键词
异步数据处理方法
分片
分布式任务调度
数据处理指令
计算机可读指令
参数
异步数据处理装置
标识
计算机设备
负载均衡机制
动态调整机制
可读存储介质
数据存储模块
大数据技术
节点
实时业务
哈希算法
键值