多模态数据的对齐方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
多模态数据的对齐方法及系统
申请号:CN202510559679
申请日期:2025-04-29
公开号:CN120492947A
公开日期:2025-08-15
类型:发明专利
摘要
本申请涉及数据处理技术领域,尤其涉及一种多模态数据的对齐方法及系统,包括采集多模态数据并对多模态数据进行预处理;将预处理后的多模态数据送入事件锚点检测模块,进行多模态突发事件检测、锚点标记及初步全局对齐;将粗对齐后的多模态数据进行时间重采样与数值标准化;将重采样与标准化后的多模态数据映射到统一时间轴;对统一时间轴映射后的多模态特征序列执行局部精细对齐与全局调整;对精细对齐结果进行置信度评估与异常校正,输出最终对齐序列。本申请能够在资源受限的端侧设备上,实现一种既轻量又具备自适应校正能力的高精度、多模态数据实时对齐方法。
技术关键词
对齐方法 统一时间轴 多模态 模态特征 锚点 数据 轻量级卷积神经网络 时间偏移量 音频 梅尔频率倒谱系数 动态时间规整算法 校正 对齐模块 视觉特征 噪声抑制器 短时傅里叶变换 数值 时间序列特征 对齐系统