目录
    6.3.1 多任务的采集顺序
    视频教程:模板下载:

    任务装载顺序是指在同时采集多个网站时,日志列表中各任务采集的优先顺序。任务装载顺序有如下两种方式:

    1.顺序优先

    按照采集任务列表的顺序,采集各列表任务的数据。先采完一个任务的所有链接再采集下一个。


    undefined 

    【顺序优先采集】


    2.负载均衡

    打乱任务采集顺序,同时采集各任务的数据链接。优点是可以降低被网站封锁IP的风险,同时可以提高采集效率。如果不是对某些任务有优先采集完毕的需求,建议选择“负载均衡”。

    如果在采集多个网址的情况下,用户急需一个网站的采集数据内容,我们就用顺序优先。否则一般就采用负载均衡的装载顺序,这样打乱采集顺序,每个网站在短时间内被连续采集的机会变少,降低被网站封锁IP的风险。



    undefined 

    【负载均衡采集】