一种文本分块方法、装置、存储介质及电子设备

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种文本分块方法、装置、存储介质及电子设备
申请号:CN202510939805
申请日期:2025-07-09
公开号:CN120448524B
公开日期:2025-09-30
类型:发明专利
摘要
本说明书公开了一种文本分块方法、装置、存储介质及电子设备,对原始知识文档分割得到的各初始文本块分别进行依存句法分析,得到各初始文本块的语义三元组,针对每个初始文本块,根据该初始文本块的语义三元组,构建语义网络图,所述语义网络图中的节点表示句子成分,边表示依存关系。根据所述语义网络图的图密度,确定该初始文本块的语义密度。本方法中,将抽象的语义密度转化为图结构,并通过图结构的图密度对语义密度进行量化,以便根据语义密度分割得到包含信息量相对均匀的文本块,提升大模型增强检索时的效果。
技术关键词
语义 文本分块方法 密度 三元组 依存句法分析 实体 节点 电子设备 处理器 模块 信息熵 可读存储介质 存储器 计算机 程序
系统为您推荐了相关专利信息
检测局部放电 控制无人机 波束成形权值 跨模态 粒子
混合熔盐 物性预测方法 温度预测模型 训练集 数据
工程造价预测方法 数据 项目 可视化图表 因子
多视角 交叉注意力机制 语义 计算机执行指令 叠加方法
表面缺陷检测方法 钢铁 表面缺陷图像 深度回归模型 注意力机制