< 返回文档列表
爬虫软件会不会采集重复的数据?
noInitnoInit
不会,软件有两种自动排重功能:
①已采集过数据的会有相应的采集日志,自动排重。
②采集到的数据存入数据库时自动排重,重复的数据日志里会显示数据入库失败,不会存入数据库。