微信登录
账号登录
手机号登录
扫码立即登录
您输入的账号或密码错误
手机号码输入不正确,请重新输入!
022-2345 2937
185 2247 0110
business@forenose.com
QQ:2779623375
用户QQ群3:606835039
用户QQ群4:795287153
订阅号
服务号
客服微信:qianxiu0106
ForeSpider
数据采集引擎
【采集速度】
决定采集速度的两个因素是:
1.线程数目
线程数目是运行采集任务时,软件启用的线程资源数目。线程数目越大,采集速度越快,消耗的系统资源也越大,被反爬的可能性也越大。需要结合采集速度、反爬情况和资源消耗来综合设置。
线程数最小是1,最大值要观察任务管理器的内存占用率,一般的办公电脑超过50就可能会卡顿,服务器根据配置选定。
2.采集间隔
是指采集两条数据的时间间隔,结合线程数目调节,可以在1个线程的情况下更慢的采集,降低被封IP的概率。