前嗅网络发表于2022年13月11日11:42最后回复于2022年13月11日11:42

ForeSpider不同采集策略的区别

355浏览量

0评论

ForeSpider系统默认自定义,可以根据需要自己设置。

①继续上次采集:继续上次终止时的任务进行采集,保证不重复采集任务。

②全部重采:从头开始重新采集,自动清除全部日志。

③增量采集:不再重采数据页面,只重采全部链接页面,以增量更新网站新增加的链接内容。

④自定义:可以自由选择任意装载策略。比如如下设置,可采集上次采集过程中采集事变、未入库的数据,用户可通过此设置直接采集上次采集失败的数据,无需重新采集,高效快捷。

私信

举报