前嗅网络发表于2022年12月23日10:09最后回复于2022年12月23日10:09

如何只采集网页上的新增数据?

444浏览量

0评论

使用ForeSpider数据采集软件,配置好模板之后,采集网页上的新增数据,可以通过更改“运行设置”中的“采集策略”,选择“增量采集”即可,增量采集表示每次只采集更新的链接,只重采更新链接,不重采数据页面。如下图所示:

除此之外,爬虫软件包含多种采集策略,几乎可以涵盖任何数据采集场景:

①继续采集:之前没有采集完的继续采集,直到跑完所有数据为止;

②增量采集:每次只采集更新的链接;

③全部重采:将日志删除后,即可全部重采;

④自定义采集:十几种采集策略自定义混合选择。


私信

举报