机器人检测:您的网站如何检测机器人流量  

2021年11月30日
机器人可视化

内容

免费试用 CDNetworks

我们的大多数产品都有 14 天的免费试用期。无需信用卡。

分享这个帖子

机器人攻击一直在增加。但随着连接设备数量和自动化能力的增加,机器人攻击变得比以往任何时候都更加普遍,使得机器人检测变得更加重要。 LexisNexis Risk Solutions 的一份 2021 年报告显示,今年上半年机器人攻击增长了 51%。 

对于依赖于需要保持一致的用户体验和性能的网站的企业来说,这不是一个好兆头。 Bot 攻击会使网站超载、扭曲性能指标并导致更严重的网络威胁,从而对企业造成财务损失。但是随着这些东西越来越复杂 机器人攻击,网站检测和缓解它们的新技术也不断涌现。

什么是机器人攻击?

机器人攻击是一种网络攻击,它利用自动化任务来阻碍网站、应用程序或设备的正常运行。机器人可以连接到设备网络,以协调和扩展所谓的僵尸网络攻击中的请求量。 

机器人流量的迹象是什么?

并非所有机器人流量都是恶意的。有些对于自动化操作是必不可少的,例如搜索引擎的操作、出于合法原因的网络抓取等等。但是当机器人流量可疑时,可以观察到一些明显的迹象。网站管理员和分析师可以直接查看他们的网络请求,也可以使用 Google Analytics 等工具来查找一些关键异常,如下所示。 

单个IP异常访问

任何公开可见的网站都会吸引来自世界各地的流量。当然,根据企业所在地、客户和其他因素,流量来源的分布会有一些变化。但是,当来自单个 IP 地址的流量异常高时,这就是进一步检查流量是否由机器人生成的信号。例如,如果您的网站是英文的,并且不希望任何相关流量来自俄罗斯的 IP 地址,但来自俄罗斯 IP 地址的流量仍然异常高,很可能都是机器人流量。  

页面时间异常

在网站页面上花费的时间或会话持续时间也可以作为机器人流量的指标。页面停留时间也可能因多种因素而异,但平均而言它们往往是稳定的。寻找会话在毫秒范围内或比平均值长得多的实例。同样,一如既往的关键是从正态分布中寻找异常值。页面停留时间或会话持续时间过长可能是由于机器人被编程为以较慢的速度浏览网站,而页面停留时间较短可能是由于机器人快速点击页面。

异常高的跳出率

跳出率是一种与页面停留时间有些相关的指标。跳出率定义为登陆页面后离开页面而不执行其他操作的用户百分比。但是对于这个指标,它也是一个寻找异常模式的例子。如果您的平均跳出率一直稳定在 70% 左右,突然您看到跳到超过 90% 而没有任何合理的解释,则可能是机器人被定向到特定页面的结果。 

页面浏览量异常激增

即使从对您的业务有意义的位置和 IP 地址查看您的页面,也有理由保持谨慎。页面浏览量突然飙升可能是由于机器人试图让您的服务器不堪重负。这通常以分布式拒绝服务 (DDoS) 攻击的形式出现。  

虚假转化

除了为网站增加流量外,还可以指示机器人大规模提交联系人以供提交。例如,他们可以在不检查任何商品的情况下向电子商务网站的购物车添加大量商品。或者被要求通过大量提交联系表格来增加对时事通讯的订阅。这些可能会一目了然地提高您的 KPI,但会误导您的企业认为它们是真正的转化。 

查找联系表单提交中的异常情况——姓名、电子邮件地址和电话号码等乱七八糟的详细信息,或者时事通讯订阅量无故突然激增。当您发送下一期时事通讯时,这些也可能显示为退回邮件。这些都是由机器人活动导致的虚假或垃圾转换。 

机器人检测

为什么要使用机器人检测?

上述机器人流量的所有迹象都是不可取的。更糟糕的是,随着检测方法变得更加复杂,机器人也在不断发展。传统上,企业采用的解决方案如下 网络应用防火墙 和周边安全来处理机器人流量,但即使是这些在今天也变得不够了。 

专用的机器人程序检测解决方案可以阻止恶意机器人程序,同时让所需的机器人程序活动继续进行。它们具有可以快速分析、分类和消除机器人威胁的功能,以防止业务运营中断。以下是他们执行此操作的一些方法。 

拦截数据泄露

攻击者使用机器人的最常见方式之一是破坏机密数据库。例如,机器人可以设计用于暴力破解,它们通过利用弱密码或从字典中抓取所有密码来强行破坏网络帐户。一旦他们破坏了数据库,这些机器人就可以用于自动进行信用卡测试、识别被盗的信用卡或抓取定价等敏感内容以获得竞争优势。这可能会给企业带来巨大的经济损失。机器人检测可以帮助防止或减少此类数据泄露。 

提供实时检测和机器人保护

很多时候,机器人攻击会被检测到,但只有在它们对业务造成损害之后才会检测到。机器人检测服务可以提供对机器人流量的实时监控和异常模式的识别,其中一些服务使用人工智能来学习和提高他们在移动中的检测能力。随着时间的推移,企业将能够在机器人旅程的早期阶段实时快速区分好的和坏的机器人,从而防止或最大限度地减少损害。 

自动控制恶意活动

大多数机器人检测解决方案还带有一个仪表板,通过仪表板进行报告和分析,帮助管理员以敏捷的方式采取行动。可以设置警报以显示对可疑 Web 活动的洞察力,甚至可以在检测到机器人攻击时自动执行活动。例如,机器人检测团队可以通过批准某些交互、阻止它们或提示网络管理员提高身份验证要求并快速响应威胁来帮助检测欺诈。  

节省时间和成本 

在几乎所有严重的机器人攻击案例中,企业都会遭受重大的经济损失。除了在评估网站健康状况和流量时误导您的 Web 管理团队之外,您还将自己暴露在 DDoS 攻击和勒索软件等更险恶的威胁之下,这些威胁会产生直接的经济后果。在 DDoS 攻击的情况下遇到的停机时间可能会给您带来重大损失。根据 Gartner 的说法,这个数量的范围在每小时 $140,000 到 $540,000 之间。当您使用传统解决方案时,您还需要考虑安装和维护资源(包括人工监控人员)所产生的成本。所有这些都可以通过使用机器人检测解决方案来保存。 

阅读更多: 什么是DDoS 攻击?

提升商业网站性能

机器人检测帮助企业的另一种方式是提高网站性能。如果没有此类解决方案,机器人流量可能会危害或减慢网站速度,进而减慢转化率和销售速度。这对于电子商务企业在适时的活动中与其他企业竞争尤其致命,例如节日或光棍节购物特卖。在这样的高峰时段,缓慢的网站可能会导致客户遇到不满意的体验并转到竞争对手的网站。另一方面,那些采用机器人检测的企业可以免受机器人流量的影响,并能够提供无缝的用户体验和良好的网站性能。 

使用 CDNetworks 进行机器人管理

Bot Shield(机器人防护与管理) 是 CDNetworks 开发的一种机器人检测和管理解决方案,它可以帮助您的企业区分合法流量和不需要的机器人流量。它是一种基于云的解决方案,使用机器学习来识别最新的机器人功能和自定义操作,以抵御各种类型的机器人威胁。重要的是,它使用来自 CDNetworks 的分布式接入点 (PoP)、浏览器检测和人类行为传感器来监控会话以过滤掉可疑流量。立即免费试用,了解它如何帮助您的企业减少机器人攻击。

探索更多