前嗅大数据发表于2020年11月18日14:33最后回复于2020年11月18日14:33
前嗅ForeSpider脚本教程:
1447浏览量
0评论
字段取值脚本是字段的取值类型选择脚本取值时,需要配置的脚本。这一步是通过脚本来获取字段的填充值。
注意:一旦有了字段取值脚本,则字段处理脚本将失效。
一.可用全局对象(只读)
EXTRACT: 当前采集引擎[ 对象类型: extractor ]
DATADB: 当前连接的数据库[ 对象类型: dataBase ]
RESULT: 当前结果集对象[ 对象类型: result ]
URL: 当前采集的链接对象[ 对象类型: url ]
URLTEXT : 描述当前链接采集的所有状态及属性的对象[ 对象类型: urltext ]
DOC: 当前采集的文档对象[ 对象类型: grabDoc ]
DOM: 当前采集文档的dom对象[ 对象类型: dom ]
ITEM: 当前dom树被取值节点[ 对象类型: domItem ]
TMPL: 当前文档模板对象[ 对象类型: tmplTmpl ]
DATA: 当前数据抽取对象[ 对象类型: tmplData ]
REC: 当前记录集对象[ 对象类型: record ]
二.this对象
当前数据字段抽取 [tmplVal] 对象。
三.脚本返回值
必须返回获取的数据值 [返回类型:string]
示例
class="lumn_left01"><a>商品大类a>><a><a>商品列表a>><a>商品品牌a>>div>
【网页源码】
以下脚本将取数据中所有文本:
return DOM.GetTextAll(DOM.FindClass("lumn_left01",div));取出的结果为:商品大类>商品列表>商品品牌>注释:GetTextAll:取出其中所有的文本。 FindClass:通过标签class属性值查找标签节点。 Right: 返回字符串右边的字符串。
以下脚本直接取值为当前的dom节点所有文本:
return DOM.GetText(ITEM);
- ·前嗅ForeSpider脚本教程:链接脚本 1470
- ·前嗅ForeSpider脚本教程: 1447
- ·如何批量采集知乎 1024
- ·【从零开始学爬虫】采集谷歌网页列表数据 471
- ·【从零开始学爬虫】采集丁香医生新冠问答数据 236
评论区
+ 写评论