发表于2017年10月23日19:26最后回复于2017年10月23日19:26

爬虫软件使用心得

542浏览量

0评论

       目前,对于此软件我也是在刚刚进入摸索使用阶段。下面我将我每天的研究学习理解分享一下。有错误希望大家能够帮我及时指正。今天我主要是探究了这个爬虫的主要作用于使用思想。首先,爬虫主要是用来在网络上自动获取筛选网页上的一些我们需要的信息,避免了人过的低效率的一个个的浏览查找,是当今这个大数据兴起的时代的很重要的一部分。而通过我的研究得到了,一下的一些理解:爬虫又叫网络机器人,所以它的浏览方法与我平时浏览网页一样。首先我们必须要有某个网站的地址、链接才能进去浏览它,然后再点击这个网页的内的链接进入这一类获取的网页信息。这个就对应于软件的配置模板,我们首先需要添加一个频道给它取个相应的名字。然后将一个总的网址写入频道中的采集地址,再然后就是配置模板了,软件会用我写入的网址自动生成第一个默认模板。我可以用脚本或者选区(方法软件帮助有)获取需要的链接。再从链接中过滤(地址过滤)掉不需要的(找到某些规律)。然后传入下一个模板(一个模板像一个网页),这样直到到达目标模板,配置数据抽取。其中再数据抽取前需要配置表单,其作用就是记录存储我们得到的数据。

发布新帖

私信

举报