< 返回文档列表
3.8.1 高级配置
noInitnoInit

高级配置是不常用的功能模块,通常需要结合前嗅其他产品一起使用,多用于定制性采集服务中。

 

【高级功能配置】

1. 网站编码

默认自动识别。如果该网站未能自动识别发生乱码,需要自行选择字符编码。可以选择GBKUTF-8。

2. 继承方式

任务列表子节点的任务,可以继承父节点的配置与设置。

3. OAuth认证

OAuth认证是一种代理认证的方式,通过用户Key,用户secret,授权Key,授权secret四个参数进行认证,必须四个参数全部匹配上,才可以确定为合法。

4. 采集映射

采集映射是可以在频道建跳转的,为频道之间的相关关系。配置好一个频道之后,可以在频道之间进行跳转。

①采集映射规则:通过勾选相关规则,按照规则进行映射。

②映射列表:可以在映射列表中选择映射的频道。

采集映射和模板继承有什么关系呢?

模板继承必须有父亲节点和孩子节点,必须为孩子节点继承父亲节点。不能在频道之间跳转。

5. 独立控制

如没有打开独立存储功能,所有相同表结构的数据会存储在同一张数据表中(注:表单为数据表的表结构)。开启独立控制后,爬虫的表单会自动创建表关联,并对数据进行分别存储。

独立存储命名:“频道ID+表单名”。

6. 自动化控制

自动化控制为某频道的独立控制,包括自动扫描间隔、时间过滤开始时间,时间过滤的结束时间。

时间过滤:针对的是只想采集最新数据的用户,可以精确地控制采集时间。

7. 关联变量

关联变量中可以放字符串等,该变量可以动态改变。

8. 外部数据源

采集源可以从外部数据导入,适用于一个任务可以采集大批量网站的情况。