采集易贝（ebay）商品信息

【场景描述】采集易贝（ebay）中某一类别的所有商品信息。

【使用工具】前嗅ForeSpider数据采集系统，点击下方链接可免费下载

http://www.forenose.com/view/forespider/view/download.html

【入口网址】https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958

【采集内容】

采集易贝（ebay）中的所有男装商品信息，包括商品名称、商品价格、库存量、商家名称、商家评分、商家好评率、物品编号等。 

【采集效果】如下图所示：

l 思路分析

配置思路概览：

l 配置步骤

1. 新建采集任务

选择【采集配置】，点击任务列表右上方【+】号可新建采集任务，将采集入口地址填写在【采集地址】框中，【任务名称】自定义即可，点击下一步。

选择普通翻页，点击完成按钮，即创建任务完成。

2.获取翻页链接

①在浏览器上打开该页面，分别打开几个翻页页面，观察其链接规律，具体如下：

②不难发现翻页规律为：

③打开爬虫，新建脚本

④根据刚才发现的规律，用脚本来拼翻页链接。

具体如下所示：

脚本文本：

url u;
for(var i=1;i<=10;i++)//for循环来获得翻页，i为第几页
{
 u.urlname = "https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958?rt=nc&_pgn="+i; //根据翻页规律拼翻页
 u.title = URL.title+"#"+"第"+i+"页";  //返回链接标题为“第i页”
 u.entryid = CHANN.id;
 u.tmplid = 2; //关联模板2
 RESULT.AddLink(u);
}

⑤保存脚本后，点击右上角【采集预览】按钮，复制任意一条翻页链接，在浏览器打开，看是否成功抽取翻页链接。

 3.抽取商品链接

①新建一个抽取模板，在其下新建一个链接抽取，具体操作如下所示：

②采集预览，复制任意一条翻页的链接。

③将链接粘贴到模板02的示例地址中，并点击右上角【保存】按钮：

④双击内置浏览器，加载示例地址页面，如下图所示：

⑤用定位过滤链接的方法，shift+鼠标单击，ctrl+鼠标单击扩大选区，选中所有商品。

⑥采集预览，双击任意一条翻页链接，查看是否成功抽取商品链接：

4.抽取商品数据

①新建一个抽取模板，在其下新建一个数据抽取，具体操作如下所示：

②数据建表，按照下图所示建数据表。（注意字段属性等应严格按照下图进行设置）

③将新建好的数据表，关联到模板中去，如下图所示:

④填写示例数据，采集预览，复制任意一条商品链接，

将链接粘贴到本模板示例地址中，并双击内置浏览器空白部分，加载本链接。

⑤关联模板

⑥字段抽取

字段抽取使用字段定位取值的方法，具体操作如下所示：

Pro_name字段：选中本字段后，shift+鼠标单击商品名称，选中商品名称，点击【确认选区】。

Pro_price：方法同上如下图所示：

Pro_stock：

Shop_revuews:

Num:

Shop_name:

Shop_star:

⑦采集预览，双击进入下一层，知道打开数据页，抽取到数据，表示配置成功。

 l 采集步骤

模板配置完成，采集预览没有问题后，可以进行数据采集。

①首先要建立采集数据表：

选择【数据建表】，点击【表单列表】中该模板的表单，在【关联数据表】中选择【创建】，表名称自定义，这里命名为【ebay】（注意命名不能用数字和特殊符号），点击【确定】。创建完成，勾选数据表，并点击右上角保存按钮。

②选择【数据采集】，勾选任务名称，点击【开始采集】，则正式开始采集。

③采集中：

④采集结束后，可以在【数据浏览】中，选择数据表查看采集数据，并可以导出数据。

⑤导出的文件打开如下图所示：

本教程仅供教学使用，严禁用于商业用途！