一种基于意图识别的垂直网站深度爬取方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于意图识别的垂直网站深度爬取方法
申请号:CN202511301800
申请日期:2025-09-12
公开号:CN120780889B
公开日期:2025-11-18
类型:发明专利
摘要
本发明涉及信息检索技术领域,具体为一种基于意图识别的垂直网站深度爬取方法,包括从多个异构信源爬取数据,构建动态知识图谱;在动态知识图谱中识别出由多个关系边连接构成的弱信号关联路径,并将弱信号关联路径转化为待验证风险假设;生成数据采集意图,基于待验证风险假设,生成寻找反向证据的驳斥性查询,作为第一数据采集意图;接收输入的查询指令,对查询指令进行语义分析,生成第二数据采集意图;基于数据采集意图的类型,生成多源爬取策略,包括多个垂直网站源及其爬取优先级;根据所述多源爬取策略,执行深度爬取任务,获取目标数据;对所述目标数据进行处理,对所述待验证风险假设进行验证,判断所述反向证据是否存在及其强度。
技术关键词
动态知识图谱 爬取方法 意图识别 风险 爬取数据 动态加载内容 评分算法 通用搜索引擎 意图分类模型 策略 信息检索技术 强度 关系 网站特征 网站结构 指令 模拟鼠标 遍历算法