发表于2020年11月13日15:31最后回复于2020年11月13日15:31

看完之后,不要再说不懂代理IP了!

66浏览量

0评论

你是否还在为找不到合适的代理IP而发愁?

你是否在为不知道如何设置代理IP而头疼?

你是否在为不知道选用哪种代理IP能解决问题而纠结?

一篇文章,让你彻底了解代理IP,前嗅大数据带你走进代理IP的世界!

前嗅将从代理IP的原理、动静态代理IP的区别、市场上代理IP的行业分析、设置代理IP、常见几种反爬的解决方案等方面来为你揭开代理IP的神秘面纱。


一. 什么是代理IP?代理ip有哪几种?

IP是上网需要唯一的身份地址,身份凭证,而代理IP就是我们上网过程中的一个中间平台,是由本机电脑先访问代理IP,之后再由代理IP访问目标网站页面,所以在这个页面的访问记录里留下的是就是代理IP的地址,而不是本机IP。代理IP根据协议可分为http协议代理、https协议代理和socket5代理。

1. http协议代理http协议代理仅仅用于转发,其原理是由本机联系代理服务器,服务器请求,访问目标网站服务器解析数据,最后返回数据到本机。

2. https协议代理https协议代理是加密协议代理,先由本机发送请求到代理服务器,代理服务器核实请求中的用户名密码,确认无误后,连接目标网站的服务器,返回传输回来的加密数据到本机。

3. Socket5代理socket5代理也是一种代理协议,与https类似,区别在于socket发送的是标明请求类型及含义的二进制代码。Socket5代理更底层,即可访问http协议网站,又可访问https协议网站。其相同点在于:访问https协议网站时返回的也是加密后的数据,访问http协议网站时返回的是不加密数据。

  • 什么是VPN?

VPN一般指虚拟专用网络。虚拟专用网络功能是:在公用网络上建立专用网络,进行加密通讯。在企业网络中有广泛应用。VPN网关通过对数据包的加密和数据包目标地址的转换实现远程访问。VPN有多种分类方式,主要是按协议进行分类。VPN可通过服务器、硬件、软件等多种方式实现。

  • VPN与代理IP有什么区别?

VPN主要用于从外网访问企业、公司的内部网络,原理是先登录到VPN防火墙、服务器,得到权限,在进入内网。这个过程,用户一直是以自己的身份进行的。而代理IP是一种代理,也就是先所有的交互数据都先经过另一台服务器(代理IP服务商),这个过程中用户访问其他网络是都是使用的代理服务提供者的身份。


二.动态代理和静态代理有什么区别?

市场上一般根据访问目标服务器的代理IP短时间内是否变化来判断动静态。

1.什么是动态代理IP?

访问目标服务器的代理IP是不断变化的,或短时间内更换访问的。市场上的动态代理IP一般可分为两种:短效代理和隧道代理。

2.什么是静态代理IP?

访问目标服务器的代理IP在一天及以上的一段时间内IP不变且持续有效。


三.市场上有哪些代理IP?代理IP哪家好?

1. 短效代理

代理IP服务商一般会有一个IP库,每个代理IP存活期1-2分钟、3分钟、5分钟、10分钟等。适用于需要代理IP数量大但时效短的业务场景。从衡量方式来分类,一般可分为按量购买和按时间购买两种。有些服务商只按量售卖,有些商家既按量售卖,也按时间售卖。PS:有些商家称为动态代理IP,动态短效代理IP、短效IP、动态IP、共享IP、静态短效代理、HTTP代理、HTTPS代理等。

(1)按量购买

①小象代理:小象代理有1000万+的IP池,套餐多样,短效代理IP价格如下:

代理商单价起售数量性能介绍
小象代理0.01元/ip20000个起售高匿名度、不限制最小提取间隔、HTTP、 HTTPS、SOCKS5、存活期二分钟、 余量永久有效


②猿人云代理:动态短效代理IP基本都是按量计算,140万+不重复高匿IP。

③MERO:MeroConnect平台主要与国内各大运营商合作,拥有50万+IP池。


④代理精灵:每天可用IP20万+,隶属于广州万宸软件科技有限公司,旗下有:智连代理、变机精灵、挂机精灵等产品。

⑤Liuguan:500万+IP,均为住宅IP,有流量、IP数、并发计费三种模式来购买使用。

(2)按时间购买

①快代理:快代理每天有15万私密代理及高品质代理服务器。

②品赞代理:品赞代理拥有1000万+代理IP池,每天住宅IP数量将近 500 万左右。

③MERO:MeroConnect平台主要与国内各大运营商合作,拥有50万+IP池。


④齐云:齐云代理IP,产品分为私密代理IP和开放代理IP,私密代理IP有10万+的代理IP池,开放代理IP有30万+的代理IP池。

⑤小象代理:小象代理有1000万+的IP池,套餐多样,短效代理IP价格如下:


2.隧道代理

隧道代理无需切换代理IP,系统自动切换代理IP。通常有短效版和动态转发版两种情况。

(1)隧道代理-动态短效

隧道代理(动态短效)每个IP代理的使用时长一般为1分钟到5分钟(不同服务商定义短效时长不同),到期后隧道将自动切换到另一个IP。有部分商家也允许手动切换IP,切换间隔时间一般不得少于 10 秒(服务商不同,最短切换间隔可能不同)。

①阿布云:阿布云动态隧道代理,根据有效时长分为了专业版和经典版,具体价格如下:

②MERO:MERO隧道代理可包天、包周、包月和包年,隧道代理IP带宽为5Mb/s,在此列举了包天/周的价格:

③小象代理:小象代理隧道代理(短效版)每个IP使用时长为1分钟,到期后隧道将自动切换到另一个IP。同时也允许手动切换IP,切换间隔时间不得少于 10 秒。隧道代理有并发请求限制,默认每秒允许 5 个请求。


④快代理:隧道代理每天可转发的IP量超过6万,隧道代理IP带宽为5Mb/s。

(2)隧道代理-动态转发

隧道代理(动态转发)无须切换 代理IP,每一个请求一个随机 IP。隧道代理有并发请求限制,一般默认每秒允许 5 个请求。

①阿布云:阿布云产品名为隧道代理动态版,每个请求请求一个随机IP。

②无忧代理:产品名为隧道动态转发,无忧代理服务器分布于国内200多个城市,A段超过80个,IP池总量超过6000万个。

③小象代理:隧道代理(动态转发)无须切换代理IP,每一个请求一个随机 IP。隧道代理有并发请求限制,默认每秒允许 5 个请求。

④代理精灵:产品名为动态转发,拥有200万+IP池,代理IP来源为家庭IP。

⑤快代理:隧道代理每天可转发的IP量超过6万,隧道代理IP带宽为5Mb/s。


⑥猿人云:产品名为动态转发,140万+不重复高匿IP。

3.静态长效代理ip

静态代理IP是基于高性能主机构建的高品质代理服务器,可用率超过99%,具有极快的速度和极高的稳定性。代理IP使用时长自由控制,灵活多变,可长期使用,亦可最低1小时切换一次,适用于切换IP频率低时效长的业务场景。

PS:有些商家称为长效代理IP、长效静态代理IP、静态IP、静态代理、静态长效代理、静态短效代理、长效IP等。

①小象代理:不限制IP的提取次数。IP提取后即被应用持有,最低持有时间1小时,最长为应用的有效截止时间。持有超过1小时之后,可通过接口主动释放,代理IP带宽最低保证4M最高可达200M。

②枫之叶:长效独享高匿名代理IP,均为长效IP,IP一直有效。

③精灵代理:长效IP是基于高性能主机构建的高品质Http/Https/Socks代理服务器。

温馨提示:

不同类型的代理ip适用于不同的场景,大家在选择代理IP的时候可根据实际场景需要来进行选购。价格只是一个参考,大家使用之前最好提前进行测试,检测能够满足需要后再进行购买。


四.常见网站反爬策略与解决方案

网站反爬,原理是服务器通过访问者请求中夹带的一些访问者的信息,来识别访问者,并对访问者进行限制。

比如服务器通过请求识别到访问者IP,对同一个IP访问频率做出了限制,那么当同一个IP访问频率超过限制时,访问就会出现问题。

前嗅ForeSpider数据采集引擎根据网站常见的几种反爬策略,研发了对应解决的设置,用户在使用过程中可以针对不同反爬,进行对应的设置,常见的反爬策略及解决方案有以下几种:

1.仅限制用户IP访问频率

限制IP访问频率通常表现为:当使用本地IP采集速度高于某频率时,就会出现采集错误,页面重定向等情况。当访问者IP信息存储在cookie中时,会增加爬虫难度。

解决方案:

(1)cookie中没有记录IP时

需要使用动态短效代理IP/隧道代理IP,根据网站限制IP强度,调整采集速度,购买适量代理IP,在ForeSpider爬虫IP代理处设置即可。

(2)cookie中记录IP时

需要使用静态长效代理IP,根据网站限制IP强度,调整采集速度,购买适量代理IP,在ForeSpider数据采集系统IP代理处设置即可。


2.限制用户ID访问频率

限制用户ID通常表现为:采集一段时间后,停止采集/采集错误,浏览器中该页面显示不出来(页面重定向、有验证码、错误页面等情况),清空浏览器浏览记录后,再次打开又可以正常显示。

这时可以看页面的cookie来确认服务器是否限制用户ID,当访问页面的cookie中有UID或其他ID字符串时,表示服务器对用户ID有识别。还有一种对UID加密的情况,这时cookie中有一串加密后的字符串。

解决方案:

使用ForeSpider采集器高级设置中的多通道采集功能,并设置最大登录用户数,设置代理IP(使用静态长效代理IP),通过模拟多用户浏览网站,来解决网站对ID的限制。


3.用户IP访问频率用户ID访问频率双重限定

双重限制通常表现为:采集一段时间后,停止采集/采集错误,浏览器中该页面显示不出来(页面重定向、有验证码、错误页面等情况),清空浏览器浏览记录后,再次打开又可以正常显示。

爬虫设置为多通道采集后采集一段时间发现IP被封了。也可通过观察页面cookie中是否既有IP又有UID/UID加密的信息,来进行判断。

解决方案:使用ForeSpider数据采集系统高级设置中的多通道采集功能,同时打开动态IP锁定,设置好代理IP(使用静态长效代理IP),并设置最大登录用户数,来解决网站对账号的限制。如下图所示:


4.限制用户账号访问频率

一般表现为:网站需要登录,登录后采集账号被封。这种情况一般是由于服务器识别用户账号,并限制用户账号访问频率导致的。

解决方案:

注册多个账号,供封号后替换使用;


5.用户账号访问频率和用户IP访问频率双重限制

一般表现为网站需要登录,登录后采集账号被封,IP也被封。使用多通道或者用代理IP采集均无效果。这种情况是由于服务器对用户账号和访问IP双重限制导致的。

解决方案:

注册多个账号,供封号后替换使用;降低采集速度,使用静态长效代理IP进行采集。看到这里,相信大家对代理IP也有了一个深刻的认识与了解,如果对于代理IP及数据采集有疑问,可关注前嗅大数据,在线联系。


看到这里,相信大家对代理IP也有了一个深刻的认识与了解,如果对于代理IP及数据采集有疑问,可关注前嗅大数据,在线联系。

前嗅大数据(http://www.forenose.com),企业级大数据供应商,一对一为您解决一切大数据相关问题。

发布新帖

私信

举报