< 返回文档列表
3.4.1 创建数据抽取
视频教程:模板下载:

若之前没有添加数据抽取的模板,可以按下图方式进行添加:

 

【添加数据抽取】


添加数据抽取后需要对数据属性进行配置

 

【数据属性配置】

1.选择表结构

采集网页上的数据,需要存入设计好的表结构中。因此在数据抽取节点,需要选择关联一个表结构。通过下拉菜单,或填写表单ID,选择一个已经创建好的表结构。

如果还没有创建,有两种方式:

①快速建表:点击创建,进入快速建表页面。>>快速建表

②自由建表:点击【采集配置】-【数据建表】自由建表

 

【数据建表页】

2.数据存储方式

数据采集时,在数据库里的存储方式。

①插入:默认为插入,如遇到数据库中已存在的重复数据,则不再插入。

②仅更新:如遇到数据库中已存在的重复数据,则用最新采集的数据覆盖掉。

③追加:如字段的属性是运算字段,则可以进行字段运算。

④插入并更新:没有重复的记录则插入,有重复记录则更新。

表单建好后,如果已经与模板进行了关联,并配置好了字段后,不要轻易进行修改,若需修改表单,需要注意以下两点情况,并按下述方法进行操作。

3.表结构有变动后的操作 

如果表结构中的字段名称、字段数量和采集内容更改,必须到对应任务的字段节点,同步修改字段的配置。

修改情况如下:

①无需改动

如果只改动了字段长度、字段属性等不影响字段取值的部分,则无需改动。

②重新选择表结构

如果表结构发生的变化比较大,可以重新选择一次表结构,可能导致某些字段的配置串位或丢失,需要重新配置字段。

③添加/删除字段

在数据抽取节点,通过右键添加、删除字段,将字段名称和数量与表结构保持一致即可。这里的添加删除操作只针对该数据抽取,不会改动表单。

 

【添加数据字段】

④修改采集内容

通过字段属性配置中的下拉菜单,修改采集内容与表结构中字段的采集内容一致即可。

 

【修改采集内容】