前嗅网络发表于2022年3月11日11:43最后回复于2022年3月11日11:43

ForeSpider网络超时如何设置?

156浏览量

0评论

前嗅ForeSpider采集器,可设置网络延时超时策略,模拟人工加载请求,避免因加载时间过长、加载太慢而导致的数据获取失败的情况,提高数据采集成功率,高效采集。

 

概念定义:

计算机网络化和电信中,计算设备彼此发送消息并且经常在继续之前必须等待响应。为避免无限期地等待,该计算设备可以包括超时机制,当其被触发时,警告计算设备执行一些动作。例如,如果在超时期间未收到响应,则计算设备可以重发消息或关闭连接。超时的持续时间通常基于预计应有响应的时间量。

①接收超时:

一般情况下网络接收数据都采用阻塞属性,就等于一直等待对方数据到达。有的场合中我们可能不需要一直等待,因为可能会没有结果,这是可以使用超时接收,在规定的时间内如果没有数据到达,则超时退出。

②发送超时:在爬虫的应用环境中,发送超时的使用频率较低。

 

设置介绍:

网络超时包括接收超时、发送超时、重试次数。下图所示表示接收超时60秒以内,发送超时低于8s的均可一直加载,如果失败,可重试5次。当采集出现网络错误的提示时,可以将接收超时设置的更长一些。

 

 


私信

举报