前嗅大数据发表于2020年11月9日17:28最后回复于2020年11月9日17:28
前嗅ForeSpider脚本教程-链接过滤脚本
572浏览量
0评论
今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接过滤脚本,应用场景,地址/标题过滤。具体内容如下:
一.应用场景
当可视化抽取到的链接包含不想要的链接地址时,需要进行过滤。可能用到的类是:string,使用到的全局对象是VALUE。
二.地址过滤
场景:链接地址有规律。
示例:可视化配置百度搜索之后的链接抽取,过滤掉不是列表链接和翻页链接的所有链接。
脚本实例:
If(VALUE.Find(“wd=”)!=-1||VALUE.Find(“url=”)!=-1)
return true; //return true代表保留链接
else return false; //return false代表过滤链接
三.标题过滤
场景:链接标题有规律。
示例:过滤掉所有标题不为空字符串的链接,并返回链接标题为”关键词”。
脚本实例:
if(VALUE!=””)
return false; //代表过滤链接
else return “关键词”; //否则保留并覆盖标题为关键词
————————————————
版权声明:本文为CSDN博主「雨霖铃儿」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u011231755/article/details/89306235
- ·前嗅Forespider爬虫的常见问题答疑详情 10498
- ·孔夫子旧书网 4239
- ·采集数据时本地IP被封怎么办? 3888
- ·前嗅ForeSpider教程:采集美团网 3568
- ·ForeSpider教程之如何进行关键词采集 3487
- ·采集配置界面介绍 2572
- ·昵图网 2222
- ·前嗅ForeSpider中数据采集界面介绍 2070
- ·前嗅ForeSpider教程:采集中国证券网 2040
- ·数据建表 1943
评论区
+ 写评论