当前位置:首页技术教程Linux教程网站屏蔽Cloudflare cf使用workers搭建的反代爬虫bot,免费技术分享
网站屏蔽Cloudflare cf使用workers搭建的反代爬虫bot,免费技术分享
°
  • 素材类型: 资源-素材
  • 上传时间:

网站屏蔽Cloudflare cf使用workers搭建的反代爬虫bot,REMOTE_ADDR header头部禁止 2a06:98c0:3600::103 ipv6地址,非真实浏览器禁止访问

方法一:检测REMOTE_ADDR或X_FORWARDED_FOR

服务器检测 REMOTE_ADDR 或者 X_FORWARDED_FOR 字符串的header头部信息,匹配ip为 2a06:98c0:3600::103 则屏蔽,如果后续workers更换服务器ip则会屏蔽失败。

  • 原理:这些头部通常包含发起请求的客户端IP地址。如果服务器的IP地址发生变化,这种方法将失效。
  • 优点:简单直接。
  • 缺点:依赖于服务器的IP地址,不够灵活。

方法二:检测CF_WORKER头部

服务器检测 CF_WORKER 头部信息,如果有这个头,可以百分百确认是workers,可直接屏蔽,该头部内容为workers绑定的自定义工作域名。

  • 原理:Cloudflare Workers在请求中会添加一个特定的CF-Worker头部。
  • 优点:准确度高,可以确保只屏蔽Workers的请求。
  • 缺点:需要确保服务器配置正确以识别和处理这个头部。

方法三:检测COOKIE头部

服务器检测 COOKIE 头部信息,如果值字段内包含xxxxx_lang=zh字样,有大概率是workers。

  • 原理:通过检查请求中的Cookie来判断是否来自Workers。
  • 优点:在某些情况下可能有效。
  • 缺点:不够准确,因为Cookie可以被篡改或不存在。

方法四:检测CDN_LOOP头部

服务器检测 CDN_LOOP 头部信息,如果有这个头,可以用来判断workers,该头内容固定为 cloudflare; subreqs=1 对比正常浏览器访问会额外多出一个subreqs=1字段。

  • 原理:Cloudflare Workers在请求中会添加一个CDN-Loop头部。
  • 优点:准确度高,可以确保只屏蔽Workers的请求。
  • 缺点:可能与其他CDN服务产生冲突或误判。

方法五:检测CF_EW_VIA头部

服务器检测 CF_EW_VIA 头部信息,如果有这个头,可以用来判断workers,该头内容固定为 15

  • 原理:Cloudflare Workers在请求中会添加一个CF-EW-Via头部。
  • 优点:准确度高,可以确保只屏蔽Workers的请求。
  • 缺点:可能与其他Cloudflare服务产生冲突或误判。

方法六:检查浏览器正常头部信息

检查浏览器正常头部信息,workers不会传递以下浏览器产生的访问头部

  • 原理:通过分析标准的浏览器头部信息来区分Workers请求。
  • 优点:可以作为一种额外的检测手段。
  • 缺点:不够准确,因为头部信息可以被伪造。
SEC_FETCH_DEST = document
SEC_FETCH_USER = ?1
SEC_FETCH_MODE = navigate
SEC_FETCH_SITE = none
SEC_CH_UA_PLATFORM = "Windows"
SEC_CH_UA_MOBILE = ?0
SEC_CH_UA = "Chromium";v="104", " Not A;Brand";v="99", "Microsoft Edge";v="104"

总结

每种方法都有其优缺点,可以根据具体需求和场景选择适合的方法。通常情况下,结合多种方法可能会更加有效和准确。同时,需要注意的是,这些方法可能会受到Cloudflare或其他服务的更新而失效,因此需要定期检查和更新策略。

网站屏蔽Cloudflare cf使用workers搭建的反代爬虫bot,免费技术分享
温馨提示:

文章标题:网站屏蔽Cloudflare cf使用workers搭建的反代爬虫bot,免费技术分享

文章链接:https://www.xiciw.com/jsjc/1921.html

更新时间:2024年02月28日

本站大部分内容均收集于网络!若内容若侵犯到您的权益,请发送邮件至:xiciw#qq.com我们将第一时间处理!

资源所需价格并非资源售卖价格,是收集、整理、编辑详情以及本站运营的适当补贴,并且本站不提供任何免费技术支持。

                               

所有资源仅限于参考和学习,版权归原作者所有,更多请阅读菜鸟资源服务协议

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

给TA打赏
共{{data.count}}人
人已打赏
Linux教程技术教程

构建经济型页面反代系统:使用Cloudflare Workers替代收费腾讯云函数【免费技术分享】

2024-2-28 21:25:29

技术教程

第十八章:如何判定变量是否相等,了解C/C++基本语言特性变量和类型【技术教程】

2024-2-29 12:28:38

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索