前嗅网络发表于2022年13月14日15:13最后回复于2022年13月14日15:13
装载任务如何选择?
327浏览量
0评论
装载任务可以根据需要自己的需求设置设置:
A.任务装载顺序
设置采集过程中,日志列表中对于各任务排列的顺序。
①顺序优先:按照采集任务列表的顺序,采集各列表任务的数据。先采完一个任务的所有链接再采集下一个。
②负载均衡:打乱任务采集顺序,同时采集各任务的数据链接。优点是可以降低被网站封锁IP的风险,同时可以提高采集效率。
B.新任务装载方式
新采集任务是否同步装载。即用户可以选择对新采集任务进行同步装载也可以选择异步装载。
①同步:将所有任务的所有日志都装载完再开始采集。可以保证顺序和排重。
②异步:异步装载是指加载一部分链接采集一部分,不需要全部加载完成之后再采集优点是开始采集会比较快,等待时间短,缺点是无法保证顺序和排重。
C.运行列表排重
勾选可对运行列表中的采集任务进行排重,减少运行工作量,提高运行效率。当两个任务采的是同一个网站时,可以关闭日志的排重功能。
D.从缓存加载网页
若先前在采集策略中勾选了数据缓存,可以从中加载网页。
- ·ForeSpider入门教程 26359
- ·ForeSpider数据采集系统功能说明 17180
- ·软件用途 16601
- ·软件功能 16452
- ·ForeSpider数据采集特点 15686
- ·创建表单的视频教程 15602
- ·采集策略相关概念 15448
- ·频道相关概念 15214
- ·表单相关概念 14850
- ·免费代理IP网址大全 14208
评论区
+ 写评论