发表于2021年2月27日14:29最后回复于2021年2月27日14:29

采集易贝(ebay)商品信息

1764浏览量

0评论

「从零开始学爬虫」采集易贝(ebay)商品信息

原创2021-07-26 18:55·前嗅大数据

l 采集网站

【场景描述】采集易贝(ebay)中某一类别的所有商品信息。

【使用工具】前嗅ForeSpider数据采集系统,免费下载链接:

http://www.forenose.com/view/forespider/view/download.html

【入口网址】https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958

【采集内容】

采集易贝(ebay)中的所有男装商品信息,包括商品名称、商品价格、库存量、商家名称、商家评分、商家好评率、物品编号等。

「从零开始学爬虫」采集易贝(ebay)商品信息

「从零开始学爬虫」采集易贝(ebay)商品信息

【采集效果】如下图所示:

「从零开始学爬虫」采集易贝(ebay)商品信息

l 思路分析

配置思路概览:

「从零开始学爬虫」采集易贝(ebay)商品信息

l 配置步骤

1. 新建采集任务

选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。

「从零开始学爬虫」采集易贝(ebay)商品信息

选择普通翻页,点击完成按钮,即创建任务完成。

「从零开始学爬虫」采集易贝(ebay)商品信息

2.获取翻页链接

①在浏览器上打开该页面,分别打开几个翻页页面,观察其链接规律,具体如下:

「从零开始学爬虫」采集易贝(ebay)商品信息

②不难发现翻页规律为:

「从零开始学爬虫」采集易贝(ebay)商品信息

③打开爬虫,新建脚本

「从零开始学爬虫」采集易贝(ebay)商品信息

④根据刚才发现的规律,用脚本来拼翻页链接。

具体如下所示:

「从零开始学爬虫」采集易贝(ebay)商品信息

脚本文本:

url u;
for(var i=1;i<=10;i++)//for循环来获得翻页,i为第几页
{
 u.urlname = "https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958?rt=nc&_pgn="+i;//根据翻页规律拼翻页
 u.title = URL.title+"#"+"第"+i+"页";  //返回链接标题为“第i页”
 u.entryid = CHANN.id;
 u.tmplid = 2; //关联模板2
 RESULT.AddLink(u);
}


⑤保存脚本后,点击右上角【采集预览】按钮,复制任意一条翻页链接,在浏览器打开,看是否成功抽取翻页链接。

「从零开始学爬虫」采集易贝(ebay)商品信息

3.抽取商品链接


①新建一个抽取模板,在其下新建一个链接抽取,具体操作如下所示:

「从零开始学爬虫」采集易贝(ebay)商品信息

②采集预览,复制任意一条翻页的链接。

「从零开始学爬虫」采集易贝(ebay)商品信息

③将链接粘贴到模板02的示例地址中,并点击右上角【保存】按钮:

「从零开始学爬虫」采集易贝(ebay)商品信息

④双击内置浏览器,加载示例地址页面,如下图所示:

「从零开始学爬虫」采集易贝(ebay)商品信息

⑤用定位过滤链接的方法,shift+鼠标单击,ctrl+鼠标单击扩大选区,选中所有商品。

「从零开始学爬虫」采集易贝(ebay)商品信息

⑥采集预览,双击任意一条翻页链接,查看是否成功抽取商品链接:

「从零开始学爬虫」采集易贝(ebay)商品信息

4.抽取商品数据

①新建一个抽取模板,在其下新建一个数据抽取,具体操作如下所示:

「从零开始学爬虫」采集易贝(ebay)商品信息

②数据建表,按照下图所示建数据表。(注意字段属性等应严格按照下图进行设置)

「从零开始学爬虫」采集易贝(ebay)商品信息

③将新建好的数据表,关联到模板中去,如下图所示:

「从零开始学爬虫」采集易贝(ebay)商品信息

④填写示例数据,采集预览,复制任意一条商品链接,

「从零开始学爬虫」采集易贝(ebay)商品信息

将链接粘贴到本模板示例地址中,并双击内置浏览器空白部分,加载本链接。

「从零开始学爬虫」采集易贝(ebay)商品信息

⑤关联模板

「从零开始学爬虫」采集易贝(ebay)商品信息

⑥字段抽取

字段抽取使用字段定位取值的方法,具体操作如下所示:

Pro_name字段:选中本字段后,shift+鼠标单击商品名称,选中商品名称,点击【确认选区】。

「从零开始学爬虫」采集易贝(ebay)商品信息

Pro_price:方法同上如下图所示:

「从零开始学爬虫」采集易贝(ebay)商品信息

Pro_stock:

「从零开始学爬虫」采集易贝(ebay)商品信息

Shop_revuews:

「从零开始学爬虫」采集易贝(ebay)商品信息

Num:

「从零开始学爬虫」采集易贝(ebay)商品信息

Shop_name:

「从零开始学爬虫」采集易贝(ebay)商品信息

Shop_star:

「从零开始学爬虫」采集易贝(ebay)商品信息

⑦采集预览,双击进入下一层,直接打开数据页,抽取到数据,表示配置成功。

「从零开始学爬虫」采集易贝(ebay)商品信息

l 采集步骤

模板配置完成,采集预览没有问题后,可以进行数据采集。

①首先要建立采集数据表:

选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【ebay】(注意命名不能用数字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。

「从零开始学爬虫」采集易贝(ebay)商品信息

②选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。

「从零开始学爬虫」采集易贝(ebay)商品信息

③采集中:

「从零开始学爬虫」采集易贝(ebay)商品信息

④采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。

「从零开始学爬虫」采集易贝(ebay)商品信息

⑤导出的文件打开如下图所示:

「从零开始学爬虫」采集易贝(ebay)商品信息


私信

举报