使用 Bot Detection 插件拒绝爬虫请求
下载
聚焦模式
字号
操作场景
本文介绍如何在 云原生网关上通过 Kong Bot Detection 插件屏蔽爬虫访问。
Bot Detection 插件通过检查 HTTP 请求中 User Agent 字段，识别发起请求的用户代理软件信息，拒绝爬虫请求。该插件内置了一些基础的校验规则用于校验请求，您可以参见 爬虫示例 定义爬虫请求。
前置条件
已购买网关实例，详情请参见 新建网关。
插件配置
字段名称 | 字段说明 |
allow | 使用正则表达式定义允许放行的 User-Agent 列表。 |
deny | 使用正则表达式定义拒绝放行的 User-Agent 列表。 |
操作步骤
1. 登录 TSF 控制台。
2. 在左侧导航栏选择云原生网关 ，单击目标实例进入实例详情。
3. 在基础信息页面，单击 Konga 控制台标签查看管理控制台登录方式。
4. 登录 Konga 管理控制台，进入需要反爬虫的 Route 详情页，单击 Add Plugin，在插件市场的 Security 分组中选择 Bot Detection 插件，单击 Add Plugin。
5. 插件配置中使用正则表达式填写需要配置限制的代理信息，例如，拒绝来自 Firefox 的爬虫请求，在 deny 中配置
[".*Firefox.*"]，按 Enter 键。
6. 使用火狐浏览器发起 API 请求，由于请求头带有
User-Agent:Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:106.0) Gecko/20100101 Firefox/106.0，请求被拒绝。
参考
文档反馈