前嗅大数据发表于2020年11月18日14:39最后回复于2020年11月18日14:39
ForeSpider数据采集系统脚本的几个小方法
612浏览量
0评论
ForeSpider数据采集系统脚本的几个小方法
今天给大家介绍一下我平时使用前嗅forespider数据采集系统配置模板的时候用到的几种方法,以前写过一个链接抽取的教程,今天就不给大家介绍了,没看过的用户可以关注一下我以前的文章,有很多有用的教程。
首先,大家看一下这是我准备采集数据的网页:
截图中三个圈起来的地方就是我要取的三个字段,然后分别取到下面每一行,一直到结束。
像这种多行的数据又不确定行数,我们就要使用循环,先取到最上面一行,然后往下循环。一直到结束。
上图是我写的数据抽取脚本,这个数据抽取一共有3个字段,名字分别为“word”“inde”“rank”,对应脚本中“re.***”,每一行的脚本上都有绿色的注释,
解释每一行的作用。
总结一下脚本中用到的几种方法:
① DOM.FindClass:HTML文档的操作方法,通过标签class属性值查找标签节点(还有能通过标签名称和ID属性值查找标签节点的方法,本文未使用)。
② DOM.GetTextAll:获取HTML标签节点及所有子节点的可见文本。
③ next:返回标签节点的后一节点。
④ if、while:常见的判断、循环语句。
*想了解更详细的使用方法清看软件文档。
采集示例网址:http://top.chinaz.com/Html/site_ali213.net.html
大家可以根据网页源码,软件帮助文档,对照着脚本看一下,理解每一行的意思。
也可以看一下往期的文章教程,有兴趣的朋友关注一下,经常会更新教程和有意思的东西,希望大家使用的一切顺利。
————————————————
版权声明:本文为CSDN博主「雨霖铃儿」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u011231755/article/details/77750989
- ·前嗅Forespider爬虫的常见问题答疑详情 10476
- ·孔夫子旧书网 4189
- ·采集数据时本地IP被封怎么办? 3854
- ·前嗅ForeSpider教程:采集美团网 3545
- ·ForeSpider教程之如何进行关键词采集 3463
- ·采集配置界面介绍 2529
- ·昵图网 2194
- ·前嗅ForeSpider中数据采集界面介绍 2037
- ·前嗅ForeSpider教程:采集中国证券网 2002
- ·数据建表 1911
评论区
+ 写评论