< 返回文档列表
2.1.1 采集【链接列表】的数据
noInitnoInit

一.网站内容

1.网站截图说明

本教程采集“人上人”首页“最新资讯”栏目列表中的数据,链接入口为:http://www.gzrsr.com/news/,如下图

 

2.采集结果截图

 

 

二.操作方法

1.新建任务

 

①点击“采集配置”。

②点击【任务列表】中的“+”,新建采集任务。

③在图示红框中输入采集地址和任务名称,完成后点击“下一步”。

④采集链接数据,需要采集【数据抽取】和【普通翻页】,点击“完成”。

 

2.翻页配置

 

①:点击左侧“链接抽取-普通翻页”。

②:这时我们将网页拉到最底部,Ctrl+左键 选择“下一页”确认选区。

注意:记得随时点击右上角的“保存”,养成良好的操作习惯。

4.翻页采集预览

完成第3步骤后,点击右上方“采集预览”,最终呈现应如下图:

 

5.数据抽取

配置翻页后,抽取网页中的列表数据,如下图:

 

6.新建表结构

 

①选择“采集配置”-“数据建表”。

②点击“+”,新建表并自定义名称,这里取“人上人数据”。

③配置采集字段,表结构建立如下:

 

字段名称:id

A.采集内容:选择“主键”,此处务必选“自增ID主键”。

B.字段属性:选择 “索引字段”、“键值唯一”、“主键字段”。

 

字段名称:title

A.采集内容:选择“选区内可见文本”。

B.数据类型:选择“字符串”。

C.数据长度:一个汉字占用两个字符,可根据需求填写范围。

 

字段名称:zhaiyao

A.采集内容: 选择“选区内可见文本”。

B.数据类型:选择“字符串”。

C.数据长度:一个汉字占用两个字符,可根据需求填写范围。

7.新建数据表

表结构建立完成后,需要新建数据表。

 

选择“人上人数据”,点击【创建】按钮。创建表名称可随意填写,需注意开头仅可使用英文字母,可加数字。中文名称不能作为表名称。

 

 

8.确认选区

 

①title字段

A.点击左侧“title”。

B.Ctrl+左键选择图示2位置的标题。

C.点击图示3位置的“确认选区”即可完成。

 

②Zhaiyao字段:

A.点击左侧“zhaiyao”

B.Ctrl+左键选择图示2位置的文字部分

C.点击图示3位置的“确认选区”即可完成

9.数据采集

采集预览确认无误后,选择“数据采集”,勾选“人上人教育”,点击开始采集。