一种基于改进自编码器及其数据清洗方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于改进自编码器及其数据清洗方法
申请号:CN202510003383
申请日期:2025-01-02
公开号:CN120012857A
公开日期:2025-05-16
类型:发明专利
摘要
本发明公开了一种基于改进自编码器的数据清洗方法,包括如下步骤:首先基于卷积操作在局部特征提取上的优势、长短期记忆网络在处理长时时间序列上的优势和自注意力机制在有效特征提取上的优势,结合卷积操作、双向长短期记忆网络和自注意力机制构建改进的自编码器;随后利用正常无异常的数据对改进的自编码器进行训练;然后,对需要判断的数据,输入到训练好的改进自编码器中得到输出结果,并计算需判断数据与输出数据间的残差,通过预先设置的阈值对异常点进行判断和剔除;最后,将剔除异常点的数据进一步输入改进自编码器完成缺失值的填补。本发明能够有效实现数据中异常点的剔除与缺失值的填补,准确且有效的实现数据的清洗。
技术关键词
双向长短期记忆 数据清洗方法 编码器 注意力机制 异常数据处理 局部特征提取 长短期记忆网络 网络结构 异常点 节点 通道 重构 序列