一种智能网络爬虫方法和系统

本发明提供了一种智能网络爬虫方法和系统，应用于网络信息处理技术领域。通过多种基于大模型的智能体，判断网站的页面类型，将网站分为首页、列表页、详情页及其他页，将网站编制成一个以首页为根、以列表页为路径节点，以详情页和其他页为叶子节点的树状结构的网站地图，网络爬虫每次对网站进行采集时，都会将当前网站的地图，与前次采集的网站地图做对比，只选取增量数据进行采集。采用本发明的智能网络爬虫技术，既降低了目标网站的压力，也提高了采集效率。