采集策略相关概念
16032浏览量
1评论
1.线程数目
是运行采集任务时,软件启用的线程资源数目。线程数目越大,采集速度越大。用户可以根据自己的硬件配置调大线程数目,以加快采集速度。具体的数目设置可以参考任务管理器的CPU和内存占用率,不要一味求快导致资源耗尽,使软件和计算机崩溃。
如果使用了频道脚本,则线程数目无效,只能为单线程。
2.采集策略
采集策略是根据记录的采集日志,选择下次采集任务的采集策略。包括不重采数据页、继续上次采集、更新数据页面、全部重采等。
3.历史日志装载策略
选择装载到日志列表的内容,即历史数据。
4.超时
接收超时:当对方服务器繁忙时,可将接收超时的时间调大,否则软件在超时后将不再接收该链接地址的数据。
发送超时:当采集的数据包过大时,可以将发送超时的时间调大。
5.重定向
重定向就是通过各种方法将各种网络请求重新定个方向转到其它位置。(如:网页重定向、域名的重定向、路由选择的变化也是对数据报文经由路径的一种重定向。)
6.IP代理
代理可以代理网络用户去取得网络信息。形象的说:它是网络信息的中转站。可以突破自身IP访问限制。
- ·关于前嗅ForeSpider数据采集系统字段属性的选择 2472
- ·官宣:ForeSpider5.0闪亮登场,低配版即将下架 2659
- ·有问题请教大神们! 2515
- ·特朗普承诺美民众免费治疗新冠 2852
- ·分享一下自己使用前嗅爬虫建表单的心得 3012
- ·超好用的前嗅ForeSpider爬虫软件教程 3362
- ·前嗅ForeSpider教程:网站登录配置 3162
- ·分享一下自己使用前嗅爬虫建表单的心得 3320
- ·求助 3376
- ·前嗅爬虫很好用 3602
评论区
+ 写评论