教程列表
搜索
目录
    6.3.1 多任务的采集顺序
    视频教程：模板下载：

    任务装载顺序是指在同时采集多个网站时，日志列表中各任务采集的优先顺序。任务装载顺序有如下两种方式：

    1.顺序优先

    按照采集任务列表的顺序，采集各列表任务的数据。先采完一个任务的所有链接再采集下一个。


    undefined 

    【顺序优先采集】


    2.负载均衡

    打乱任务采集顺序，同时采集各任务的数据链接。优点是可以降低被网站封锁IP的风险，同时可以提高采集效率。如果不是对某些任务有优先采集完毕的需求，建议选择“负载均衡”。

    如果在采集多个网址的情况下，用户急需一个网站的采集数据内容，我们就用顺序优先。否则一般就采用负载均衡的装载顺序，这样打乱采集顺序，每个网站在短时间内被连续采集的机会变少，降低被网站封锁IP的风险。



    undefined 

    【负载均衡采集】