• 电商类网站

  • 点评类网站

  • 旅游类网站

电商网站采集场景

E-commerce website collection scene

采集电商类网站，均需要进行登录操作，否则无法查看及获取数据。

  • 场景一：采集商品信息
    • 通过关键词搜索获取商品列表
    • 通过行业分类获取商品列表

    01判断是否需要关键词搜索

    关键词即为在网站中搜索的搜索词。如果需要通过关键词搜索，则需由用户准备好关键词，如关键词为“连衣裙”，通过ForeSpider的关键词采集功能，采集相关商品信息，如图所示：

    02判断是否需要登录

    在采集电商网站的过程中，需要登录，否则无法看见信息

    03配置流程

    第一步：在软件里面配置好关键词及登陆采集商品信息，配置关键词及登陆均需要写脚本。下图为采集到的关键词为“连衣裙”链接。

    03配置流程

    第二步：由于采集列表页需要翻页，所以需要设置抽取翻页链接，翻页链接的抽取也需要脚本实现。翻页链接如下图所示：

    03配置流程

    第三步：链接获取到之后需要获取数据：

    04可以获取到列表页的信息

    可以获取到的数据字段为图中圈起来的字段

    01判断是否需要登录

    在采集电商网站的过程中，需要登录，否则无法看见信息

    02配置流程

    通过行业列表点击二级分类，进入列表页采集相关商品信息。
    第一步：通过分类进入，需要先抽取分类链接，如下图所示。

    02配置流程

    第二步：由于采集列表页需要翻页，所以需要设置抽取翻页链接，翻页链接的抽取也需要脚本实现。翻页链接如下图所示：

    02配置流程

    第三步：链接获取到之后需要获取数据：

    03可以获取到列表页的信息

    可以获取到的数据字段为图中圈起来的字段，一级、二级分类名也可以获取。
  • 场景二:采集商品详情信息及评论

    01采集注意事项

    采集电商网站的评论信息时，由于电商网站的防爬 机制，仅可以通过列表页采集商品详情，不可通过店铺采集。

    02配置流程

    第一步：同样需要先进行登录，然后通过行业列表或关键词进入商品列表页如场景一所示。
    第二步：进行场景一的操作之后，可以通过抽取列表页标题链接进入详情页采集数据，此时需要比场景一多建立一个链接抽取的模板。

    03可以获取到详情页的信息及评论信息

    商品详情页可以采集到的数据如下：

    03可以获取到详情页的信息及评论信息

    评论信息如下：
  • 场景三:采集买家信息

    01可以获取评论中的买家信息如图所示

    通过评论采集买家信息，可采集到的数据包括：买家等级、 头像 、评论内容、评论时间、买家id（打码部分无法采集）、具体注册信息无法采集。如下图所示： 机制，仅可以通过列表页采集商品详情，不可通过店铺采集。
  • 场景四:采集卖家信息

    • 采集卖家电话

      卖家电话一般只有在电商APP上才可以看见，采集难度较大，如需采集，请联系客服qq：2779623375或微信：qianxiu0106

    • 采集营业执照

      采集营业执照，采集难度较大，如需采集，请联系客服qq：2779623375或微信：qianxiu0106

点评类网站采集场景

E-commerce website collection scene

采集点评类网站，均需要进行登录操作，容易被封IP。

  • 通过关键词搜索获取店铺列表

    01判断是否需要关键词搜索

    通过关键词搜索，需由用户准备好关键词，关键词即为在网站中搜索的搜索词，如关键词为“火锅”，通过ForeSpider的关键词采集功能，采集相关商品信息，如图所示：

    02判断是否需要登录

    由于在采集后续信息的过程中，部分信息需要登录查看。所以需要在软件里面配置好关键词及登陆才可以采集商品信息。

    03配置流程

    第一步：在软件里面配置好关键词及登陆，配置关键词及登陆均需要写脚本。下图为采集到的关键词为“火锅”链接。

    03配置流程

    第二步：由于采集列表页需要翻页，所以需要设置抽取翻页链接，翻页链接的抽取也需要脚本实现。翻页链接如下图所示：

    03配置流程

    第三步：链接获取到之后需要获取数据：

    04可以获取到详情页的信息

    可以获取到的数据如图：
  • 通过行业分类获取商品列表

    01判断是否需要登录

    由于在采集后续信息的过程中，部分信息需要登录查看。所以需要在软件里面配置好关键词及登陆才可以采集商品信息。

    02配置流程

    第一步：同样需要先进行登录，然后通过行业列表或关键词进入商品列表页如场景一所示。
    第二步：通过行业分类获取，需由用户选定好地区与行业，如选择美食分类下，通过ForeSpider的链接抽取功能，采集相关店铺信息，如图所示：

    02配置流程

    第三步：在美食行业分类，我们继续选择菜式分类，获取列表信息如下图所示：

    02配置流程

    第四步：获得菜式链接后，后续操作均与通过关键词搜索后续操作一致，可参考上述操作继续进行。

    03可以获取到的信息

    可以获取到的信息，如图所示：

    03可以获取到的信息

    在用户评论处，还可以采集单一用户的点评历史、注册时间、关注、粉丝、互动等数据。

旅游类网站采集场景

E-commerce website collection scene

一般对旅游类网站有采集需求的用户，需求都是采集酒店信息，所以此处解决方案以采集酒店信息为例。

  • 采集酒店信息

    01配置流程

    第一步：需要确定采集的地区及城市。获取城市链接

    01配置流程

    第二步：采集每个城市的列表页及翻页链接

    01配置流程

    第三步：图为酒店名称及联系方式两个字段的预览：

    02可以获取到详情页的信息

    可以采集到房源信息和酒店详情，包括房型，可入住人数，房间均价，酒店开业时间，最后装修时间，酒店简介，酒店设施，酒店政策等信息以及酒店联系。

    02可以获取到详情页的信息

    用户点评页可以采集用户名，评价，入住时间，入住房间，酒店回复等信息（用户评论的翻页数据是由js加密的，获取比较困难，可以联系客服qq：2779623375 或微信qianxiu0106）。

为什么选择我们？

why us?