前嗅大数据发表于2020年11月9日14:42最后回复于2020年11月9日14:42
前嗅ForeSpider教程:IP代理设置
610浏览量
0评论
今天,小编主要为大家介绍一下:前嗅ForeSpider中的IP代理设置,主要内容包括:启用IP代理,静态代理设置,动态代理设置,这三大部分。具体内容如下:
一,启用IP代理
启用IP代理采集时,需要进行代理配置。
1.启用IP代理
需选中“启用IP代理”,才能启用IP代理功能。
【启用代理IP】
2.启用代理加速
启用代理加速后,可以在采集过程中自动筛选无效和低效率的代理IP(屏蔽错误率超过50%,请求次数>3次的IP),优先使用高效的代理,提升采集的效率和数据质量。
3.本机IP混用策略
当代理IP失效时,选择是否启用本地网络。
4.添加代理
启用代理后,在IP资源列表中点击“ ”添加一个资源,在弹框中填写资源名称,选择静态动态代理,填写请求频率和备注。
【添加IP】
创建好ip资源之后,点击页面右侧的加号,填写IP地址,端口选择代理类型,填写用户名和密码。这样代理IP就配置好了。
二,静态代理配置
以阿布云为例,购买之后会展示在阿布云官网的http隧道中。
1.创建IP资源
启用代理IP之后,点击IP资源列表左侧加号,填写代理资源名称,请求频率对照购买的每秒请求数填写点击确定,并勾选点击保存。
注意:在阿布云买的是动态代理,但是在软件中需设置为静态代理。
【配置静态IP】
2.添加代理
点击右侧加号添加代理,对应关系见下表:
添加好代理账号,点击保存就完成了代理IP的配置。
【配置静态IP】
三,动态代理配置
以无忧代理为例,对照下图配置:
1.创建IP资源
①请求频率:每秒每个IP所允许的请求次数,某些代理商对此有所限制时,需要填写。
②服务端口:对并行运行软件时有效,多进程共享代理IP时需要填写。
【配置动态IP】
2.右侧需要选择的内容
①协议类型:选择代理的协议类型,软件支持http/https/socket代理。
②返回格式:选择动态IP的返回格式。包括未知、Text、Json、XML。
③刷新周期:指代理IP的有效时长。
④请求地址:粘贴代理商的请求地址。
⑤POST DATA:根据代理不同,post请求的情况下填写该内容。
————————————————
版权声明:本文为CSDN博主「雨霖铃儿」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/u011231755/article/details/88219964
- ·前嗅Forespider爬虫的常见问题答疑详情 10493
- ·孔夫子旧书网 4227
- ·采集数据时本地IP被封怎么办? 3875
- ·前嗅ForeSpider教程:采集美团网 3557
- ·ForeSpider教程之如何进行关键词采集 3478
- ·采集配置界面介绍 2563
- ·昵图网 2215
- ·前嗅ForeSpider中数据采集界面介绍 2062
- ·前嗅ForeSpider教程:采集中国证券网 2036
- ·数据建表 1930
评论区
+ 写评论