教程列表
搜索
目录
    4.4.3 关键词的高级配置
    视频教程：模板下载：

    使用可视化配置之后，依旧无法正确采集时，说明关键词可视化配置获取到的参数信息，缺失或有误。

    需要通过点击“采集配置”下“任务属性配置”中的“高级配置”按钮，在弹框中手动配置关键词参数。对比表单中的参数名称，手动添加各项参数。参数是指网页请求数据时，返回的参数信息。


    1.高级配置介绍

     

    【关键词配置-参数编辑】


    ①请求地址

    一般情况下，完成“关键词设置”后，请求地址会自动填充上。如果没有或者有误，可以手动进行添加。简单的请求地址可以通过观察，找到各项参数。复杂的请求地址需要借助浏览器的开发者工具。（操作流程下文会详细介绍）


    ②POST请求

    用户根据目标网址不同，是否为POST请求，来决定是否选择POST。


    ③Cookie刷新方式

    Cookie刷新方式是指在采集过程中，采集每一条数据时，是否刷新采集地址入口页，以获取Cookie信息。


    不刷新

    无需刷新入口地址。

    首次刷新

    数据采集时，只刷新一次入口地址。

    重复刷新

    采集每个关键词时，都刷新一次入口地址。



    ④请求参数表

    一般情况下，完成“关键词配置”后，请求参数表里的参数信息会自动填充上。如果没有填充或有误，则按照下文进行手动配置。


    2.高级配置示例

    以前嗅网址为例，介绍如何手动添加参数表：

    http://www.soqi.cn/search.xhtml?keywords=前嗅&city=100000&search_type=1

    ①观察网页规律

    请求地址

    “？”前的地址是页面的请求地址

    即为：（http://www.soqi.cn/search.xhtml）

    检索关键词

    keywords。

    其他参数

    “=”前是参数名称，“=”后是参数值。

    检索关键词这个参数类型必须添加，如有验证码，参数类型中也需要有“验证码”，其他参数可根据具体情况进行调试。

    ②添加参数表

     

    【添加参数表】


    ③修改参数表

     

    【修改参数表】