长文本处理方法、装置、设备及介质

本申请实施例提供一种长文本处理方法、装置、设备及介质。该方法包括：对待处理的长文本进行分词，得到token序列。该token序列中包括多个token；采用预先获取的语言处理模型对token序列进行预测处理，得到处理后的token序列；所述处理后的token序列中包括所述token序列以及所述token序列后的至少一个预测token；所述语言处理模型的注意力层是基于状态空间模型SSM和自注意力机制融合得到的，所述SSM用于获取输入的token的全局注意力，所述自注意力机制用于获取输入的token的局部注意力。该方法在对长文本进行建模时，用以达到在降低模型的计算复杂度的同时，确保模型文本建模的语义完整性和连贯性的效果。