广告位

爬虫反扒机制处理-Referer等错误码处理

网站里面常常会用到这个属性来对爬虫进行限制,比如之前我们尝试的千图网爬虫案例中就有针对下载时的referer处理

当你傻愣愣的去访问页面时,往往会返回这样的错误信息页面

这里因为有关键字referer所以大家可能很快就能够判断出问题所在然后针对性做处理,但是更多时候往往会出现一些我们没遇到过的情况,,比如IP黑名单,Token防盗链等等,我们可以去CDN 默认错误码寻找常见的错误码信息,然后找到问题再针对解决, 这里举一些常见的错误对应CDN

序号 错误码(code) 错误描述(msg) 发生了什么
1 40310001 invalid url URL 被禁止访问
2 40310002 region is forbidden 触发了地区访问限制规则
3 40310003 too many requests 触发了 IP 频率限制规则
4 40310011 invalid User-Agent header 触发了 User-Agent 防盗链规则
5 40310012 remote address is forbidden 触发了 IP 黑白名单规则
6 40310013 invalid user token 触发了 Token 防盗链规则
7 40310014 invalid Referer header 触发了 Referer 防盗链规则
8 40310015 referer uri is forbidden 触发了 Referer URI 防盗链规则
您阅读这篇文章共花了: 0小时00分10秒
本博客所有文章如无特别注明均为原创。作者:fyq复制或转载请以超链接形式注明转自 免费精品资源分享
原文地址《爬虫反扒机制处理-Referer等错误码处理
生成文章海报

相关推荐

广告位

发表评论

路人甲 表情
Ctrl+Enter快速提交

网友评论(0)