• 电商类网站

  • 点评类网站

  • 旅游类网站

电商网站采集场景

E-commerce website collection scene

采集电商类网站,均需要进行登录操作,否则无法查看及获取数据。

  • 场景一:采集商品信息
    • 通过关键词搜索获取商品列表
    • 通过行业分类获取商品列表

    01判断是否需要关键词搜索

    关键词即为在网站中搜索的搜索词。如果需要通过关键词搜索,则需由用户准备好关键词,如关键词为“连衣裙”,通过ForeSpider的关键词采集功能,采集相关商品信息,如图所示:

    02判断是否需要登录

    在采集电商网站的过程中,需要登录,否则无法看见信息

    03配置流程

    第一步:在软件里面配置好关键词及登陆采集商品信息,配置关键词及登陆均需要写脚本。下图为采集到的关键词为“连衣裙”链接。

    03配置流程

    第二步:由于采集列表页需要翻页,所以需要设置抽取翻页链接,翻页链接的抽取也需要脚本实现。翻页链接如下图所示:

    03配置流程

    第三步:链接获取到之后需要获取数据:

    04可以获取到列表页的信息

    可以获取到的数据字段为图中圈起来的字段

    01判断是否需要登录

    在采集电商网站的过程中,需要登录,否则无法看见信息

    02配置流程

    通过行业列表点击二级分类,进入列表页采集相关商品信息。
    第一步:通过分类进入,需要先抽取分类链接,如下图所示。

    02配置流程

    第二步:由于采集列表页需要翻页,所以需要设置抽取翻页链接,翻页链接的抽取也需要脚本实现。翻页链接如下图所示:

    02配置流程

    第三步:链接获取到之后需要获取数据:

    03可以获取到列表页的信息

    可以获取到的数据字段为图中圈起来的字段,一级、二级分类名也可以获取。
  • 场景二:采集商品详情信息及评论

    01采集注意事项

    采集电商网站的评论信息时,由于电商网站的防爬 机制,仅可以通过列表页采集商品详情,不可通过店铺采集。

    02配置流程

    第一步:同样需要先进行登录,然后通过行业列表或关键词进入商品列表页如场景一所示。
    第二步:进行场景一的操作之后,可以通过抽取列表页标题链接进入详情页采集数据,此时需要比场景一多建立一个链接抽取的模板。

    03可以获取到详情页的信息及评论信息

    商品详情页可以采集到的数据如下:

    03可以获取到详情页的信息及评论信息

    评论信息如下:
  • 场景三:采集买家信息

    01可以获取评论中的买家信息如图所示

    通过评论采集买家信息,可采集到的数据包括:买家等级、 头像 、评论内容、评论时间、买家id(打码部分无法采集)、具体注册信息无法采集。如下图所示: 机制,仅可以通过列表页采集商品详情,不可通过店铺采集。
  • 场景四:采集卖家信息
    • 采集卖家电话

      卖家电话一般只有在电商APP上才可以看见,采集难度较大,如需采集,请联系客服qq:2779623375或微信:qianxiu0106
    • 采集营业执照

      采集营业执照,采集难度较大,如需采集,请联系客服qq:2779623375或微信:qianxiu0106

点评类网站采集场景

E-commerce website collection scene

采集点评类网站,均需要进行登录操作,容易被封IP。

  • 通过关键词搜索获取店铺列表

    01判断是否需要关键词搜索

    通过关键词搜索,需由用户准备好关键词,关键词即为在网站中搜索的搜索词,如关键词为“火锅”,通过ForeSpider的关键词采集功能,采集相关商品信息,如图所示:

    02判断是否需要登录

    由于在采集后续信息的过程中,部分信息需要登录查看。所以需要在软件里面配置好关键词及登陆才可以采集商品信息。

    03配置流程

    第一步:在软件里面配置好关键词及登陆,配置关键词及登陆均需要写脚本。下图为采集到的关键词为“火锅”链接。

    03配置流程

    第二步:由于采集列表页需要翻页,所以需要设置抽取翻页链接,翻页链接的抽取也需要脚本实现。翻页链接如下图所示:

    03配置流程

    第三步:链接获取到之后需要获取数据:

    04可以获取到详情页的信息

    可以获取到的数据如图:
  • 通过行业分类获取商品列表

    01判断是否需要登录

    由于在采集后续信息的过程中,部分信息需要登录查看。所以需要在软件里面配置好关键词及登陆才可以采集商品信息。

    02配置流程

    第一步:同样需要先进行登录,然后通过行业列表或关键词进入商品列表页如场景一所示。
    第二步:通过行业分类获取,需由用户选定好地区与行业,如选择美食分类下,通过ForeSpider的链接抽取功能,采集相关店铺信息,如图所示:

    02配置流程

    第三步:在美食行业分类,我们继续选择菜式分类,获取列表信息如下图所示:

    02配置流程

    第四步:获得菜式链接后,后续操作均与通过关键词搜索后续操作一致,可参考上述操作继续进行。

    03可以获取到的信息

    可以获取到的信息,如图所示:

    03可以获取到的信息

    在用户评论处,还可以采集单一用户的点评历史、注册时间、关注、粉丝、互动等数据。

旅游类网站采集场景

E-commerce website collection scene

一般对旅游类网站有采集需求的用户,需求都是采集酒店信息,所以此处解决方案以采集酒店信息为例。

  • 采集酒店信息

    01配置流程

    第一步:需要确定采集的地区及城市。获取城市链接

    01配置流程

    第二步:采集每个城市的列表页及翻页链接

    01配置流程

    第三步:图为酒店名称及联系方式两个字段的预览:

    02可以获取到详情页的信息

    可以采集到房源信息和酒店详情,包括房型,可入住人数,房间均价,酒店开业时间,最后装修时间,酒店简介,酒店设施,酒店政策等信息以及酒店联系。

    02可以获取到详情页的信息

    用户点评页可以采集用户名,评价,入住时间,入住房间,酒店回复等信息(用户评论的翻页数据是由js加密的,获取比较困难,可以联系客服qq:2779623375 或微信qianxiu0106)。

为什么选择我们?

why us?