运行时遇到因网络异常而导致的请求失败,系统会自动预警。
【网络异常预警日志】
1.采集错误提示
可根据以下列表排查采集错误情况:
颜色 | 采集状态 | 描述 |
绿色 | OK | 采集状态正常。 |
红色 | 网络错误 | 链接地址错误或者本机网络异常。 |
https网络错误 | 使用http的代理IP采集https的网站,或其他参数错误 | |
代理授权错误 | 代理IP参数配置错误或服务商网络错误,导致代理无法使用 | |
模板错误 | 由于模板配置不当,导致无法采集数据。 | |
黄色 | 数据入库错误 | 数据路径不正确,或者抽取到的数据和数据表结构不一致,或者唯一字段的数据已存在。 |
数据被过滤 | 该数据被用户主动过滤,数据采集被取消了。 | |
紫色 | 未采集 | 数据链接已经进入任务队列中,还没有来得及进行采集。 |
2.设置采集策略
可以到【运行设置】界面,根据出现的异常情况,设置采集策略,重新采集。(详见5.2采集策略)
3.选择错误处理模板
将运行中错误的请求返回到指定模板中再次运行,大大提高采集效率。
①模板层:可选择每个模板出现采集错误后的处理模板。
②网站层:在【高级配置-错误处理】中,可选择整个任务出现采集错误后的处理模板。
【错误处理模板】