一.识别反爬自动预警

ForeSpider爬虫软件自带反爬预警功能，在爬虫采集过程中，遇到网络异常、网站反爬等情况，可以对应做出预警反应如：暂停采集、休眠等反应，并及时做出预警提醒，缩短错误发现周期，防止恶意封堵。有效避免由于网站反爬导致的数据采集不全、采集无用数据、采集空数据的情况，避免重复采集。可以大幅提高无人化数据运维水平，减少网络带宽和代理IP的浪费，及时监测到由于反爬带来的网络异常状况。

设置介绍：

预警设置：运行时遇到因网络异常而导致的请求失败，系统会自动预警。可再次设置网络异常次数、反爬识别次数、预警操作和预警提醒方式。

（1）网络异常

可以设置网络异常连续多少次，则进行预警提醒。

（2）反爬识别

可以设置疑似被反爬了多少次，则进行预警提醒。

（3）预警操作

设置当出现预警时，软件会进行什么操作。

A.无：软件仍然照常操作。

B.暂停：软件暂停，等待处理。

C.自动休眠：预留。

D.自动更换代理：预留。

（4）预警提醒

①不提醒：不进行提醒。

②图标闪烁：软件任务栏的图标闪烁。

③弹窗等待：软件弹出弹窗，等待人工处理。

二.支持全网动静态代理IP接口

前嗅ForeSpider数据采集系统，可接入第三方动静态代理IP，支持全网几乎所有代理IP运营商。接入后可进行连接测试，设置通道采集，模拟多个通道进行采集的过程，可设置全局代理IP，还可进行动态IP锁定，真实模拟IP获取数据的过程。

设置介绍：

①接入动静态代理IP

可接入第三方代理IP，动态和静态均可。

②代理IP测试

接入第三方代理IP后，可测试其有效性。

③代理IP优化

优化无效代理，优化响应过慢代理。

④多通道采集

多线程采集时，真实模拟多个通道进行采集的过程。

⑤动态IP锁定

将动态IP与运行时获取一条数据的一组请求锁定，更真实的模拟IP获取数据的过程。

⑥全局代理IP设置

设置全局代理IP，全局均能使用代理IP。

三.智能模拟用户浏览行为

前嗅ForeSpider数据采集系统，可以智能模拟浏览器和用户行为，突破反爬虫限制。用户可通过浏览器模拟人工采集设置、调节采集速度、设定定时采集策略、代理IP设置等设置，智能模拟用户浏览行为，有效预防网站反爬，降低被识别风险与频率，高效采集网页数据。

①模拟真实访问：完全模拟浏览器访问机制，如同一个普通的用户在访问。

②变换IP地址：良好的IP变换算法，保证访问更真实。

③Cookie隔离 : 模拟用户访问的Cookie是隔离的。

④优化访问策略 : 避免集中采集目标服务器 。

⑤封堵预警 : 发现封堵及时预警。

设置介绍：

①智能模拟浏览器和用户行为，突破反爬虫限制。

②自动抓取网页的各类参数和下载过程的各类参数。

③支持动态 IP 代理加速，智能过滤无效 IP 代理，提升代理的利用效率和采集质量。

④支持动态调整数据抓取策略，多种策略让您的数据无需重采，不再担心漏采，数据采集更智能。

⑤自动定时采集

⑥设置模拟浏览器版本，或进行自定义。还可以模拟国家地区的默认语言。

四.伪装网络延迟超时策略

前嗅ForeSpider采集器，可设置网络延时超时策略，模拟人工加载请求，避免因加载时间过长、加载太慢而导致的数据获取失败的情况，提高数据采集成功率，高效采集。

概念定义：

计算机网络化和电信中，计算设备彼此发送消息并且经常在继续之前必须等待响应。为避免无限期地等待，该计算设备可以包括超时机制，当其被触发时，警告计算设备执行一些动作。例如，如果在超时期间未收到响应，则计算设备可以重发消息或关闭连接。超时的持续时间通常基于预计应有响应的时间量。

①接收超时：

一般情况下网络接收数据都采用阻塞属性，就等于一直等待对方数据到达。有的场合中我们可能不需要一直等待，因为可能会没有结果，这是可以使用超时接收，在规定的时间内如果没有数据到达，则超时退出。

②发送超时：在爬虫的应用环境中，发送超时的使用频率较低。

设置介绍：

网络超时包括接收超时、发送超时、重试次数。下图所示表示接收超时60秒以内，发送超时低于8s的均可一直加载，如果失败，可重试5次。当采集出现网络错误的提示时，可以将接收超时设置的更长一些。

五.轻松实现伪造Cookie

前嗅ForeSpider数据爬取软件可采集需要Cookie的网站数据，可自动生成cookie，也可手动添加cookie，获取数据。

概念介绍：

Cookie：Cookie指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据，由卢·蒙特利于1993年3月发明。Cookie基于 Internet的各种服务系统应运而生，是由 Web 服务器保存在用户浏览器上的小文本文件，它可以包含有关用户的信息，是用户获取、交流、传递信息的主要场所之一。

设置介绍：

Cookie设置：采集需要Cookie的网站数据时，软件可以自动生成网站需要的Cookie，即可获取到该页面数据。