前嗅ForeSpider数据采集软件，通过引入全方位监控的智能日志管理系统，可以实现在采集过程中和数据入库时，进行两重数据排重处理，在运行时智能排重，最大程度的提高采集效率，避免出现重复采集、相同数据重复入库的情况。

概念介绍：

①日志排重：

使用网页指纹的md5加密算法的日志排重系统，已采集过数据的会有相应的采集日志，每日只采集更新的数据。

②入库排重：

采集到的数据存入数据库时自动排重，重复的数据日志里会显示数据入库失败，不会存入数据库。

优势：

智能排重、高效采集、自动排重