前嗅网络发表于2022年13月14日15:13最后回复于2022年13月14日15:13

装载任务如何选择?

327浏览量

0评论

装载任务可以根据需要自己需求设置设置:

A.任务装载顺序

设置采集过程中,日志列表中对于各任务排列的顺序。

①顺序优先:按照采集任务列表的顺序,采集各列表任务的数据。先采完一个任务的所有链接再采集下一个。

②负载均衡:打乱任务采集顺序,同时采集各任务的数据链接。优点是可以降低被网站封锁IP的风险,同时可以提高采集效率。

B.新任务装载方式

新采集任务是否同步装载。即用户可以选择对新采集任务进行同步装载也可以选择异步装载。

①同步:将所有任务的所有日志都装载完再开始采集。可以保证顺序和排重。  

②异步:异步装载是指加载一部分链接采集一部分,不需要全部加载完成之后再采集优点是开始采集会比较快,等待时间短,缺点是无法保证顺序和排重。

C.运行列表排重

勾选可对运行列表中的采集任务进行排重,减少运行工作量,提高运行效率。当两个任务采的是同一个网站时,可以关闭日志的排重功能。

D.从缓存加载网页

若先前在采集策略中勾选了数据缓存,可以从中加载网页。


私信

举报