前嗅大数据发表于2020年11月9日17:28最后回复于2020年11月9日17:28

前嗅ForeSpider脚本教程-链接过滤脚本

572浏览量

0评论

今天,小编给大家带来的教程为:前嗅ForeSpider脚本教程-链接过滤脚本,应用场景,地址/标题过滤。具体内容如下:

 

一.应用场景

当可视化抽取到的链接包含不想要的链接地址时,需要进行过滤。可能用到的类是:string,使用到的全局对象是VALUE。

二.地址过滤

场景:链接地址有规律。

示例:可视化配置百度搜索之后的链接抽取,过滤掉不是列表链接和翻页链接的所有链接。

脚本实例:

If(VALUE.Find(“wd=”)!=-1||VALUE.Find(“url=”)!=-1)

 

return true;  //return true代表保留链接

 

else return false;  //return false代表过滤链接

三.标题过滤

场景:链接标题有规律。

示例:过滤掉所有标题不为空字符串的链接,并返回链接标题为”关键词”。

脚本实例:

if(VALUE!=””) 

 

return false;  //代表过滤链接

 

else return “关键词”;  //否则保留并覆盖标题为关键词

 

————————————————

版权声明:本文为CSDN博主「雨霖铃儿」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/u011231755/article/details/89306235


私信

举报