in 数据

使用 Selenium 绕过验证码的 5 大策略

在当今互联网时代,验证码已经成为了网站和 APP 常用的反爬虫手段之一。作为一名数据爬取和网络 GEO 突破的专家,我经常会遇到各种类型的验证码挑战。根据最新的行业研究报告,全球验证码市场规模预计将从 2020 年的 2.8 亿美元增长到 2025 年的 4.6 亿美元,年复合增长率达到 10.4%[1]。这表明验证码问题将持续成为网络爬虫从业者需要面对的重要挑战。

今天,我将分享 5 种使用 Selenium 在 Java 中绕过验证码的有效方法,帮助大家提高数据收集的效率。这些方法不仅能够有效地绕过验证码,还能够模拟更加自然的用户行为,从而降低被网站识别为机器人的风险。

理解验证码的类型和特点

验证码通常有以下几种类型:

  1. 文字验证码：要求用户识别并输入扭曲变形的文字。根据 Gartner 的数据,文字验证码仍然是目前最常见的验证码类型,占据了 45% 的市场份额[2]。
  2. 图像验证码：要求用户从一组图像中选择出特定的对象。这种验证码在视觉上更具挑战性,占据了 35% 的市场份额[2]。
  3. reCAPTCHA v2 和 v3：Google 的验证码系统,依赖于用户行为模式来判断是否为机器人。这种基于行为分析的验证码正在逐步取代传统的文字和图像验证码,占据了 20% 的市场份额[2]。

这些验证码设计的目的都是为了阻止自动化程序的访问。根据 Distil Networks 的研究,验证码可以有效地阻挡 80% 以上的机器人访问[3]。因此,绕过验证码并不是一件容易的事情,需要采取一些特殊的策略。下面让我们一起探讨具体的解决方案。

使用第三方验证码服务绕过验证码

一种常见的方法是使用第三方的验证码服务。这些服务通常会提供 API,允许你将验证码图像发送给他们,由人工或 AI 进行识别并返回结果。以下是几个比较知名的第三方验证码服务:

  • 2Captcha：这是一个基于人工智能的验证码识别服务,支持多种类型的验证码,包括文字、图像和 reCAPTCHA。根据 2Captcha 的数据,他们的平均识别准确率达到了 90%[4]。
  • AntiCaptcha：这是一个基于人工智能和人工服务相结合的验证码识别平台。根据 AntiCaptcha 的数据,他们的平均识别时间为 10-20 秒,识别准确率超过 95%[5]。
  • DeathByCaptcha：这是一个基于人工服务的验证码识别平台,主要针对文字和图像验证码。根据 DeathByCaptcha 的数据,他们的平均识别时间为 10-30 秒,识别准确率达到 99%[6]。

下面是一个简单的 Java 代码示例,演示如何使用这些服务:

// 导入必要的库
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;

public class BypassCaptcha {
    public static void main(String[] args) {
        // 设置 ChromeDriver 的路径
        System.setProperty("webdriver.chrome.driver", "path_to_chromedriver");
        WebDriver driver = new ChromeDriver();

        // 访问需要验证码的网页
        driver.get("https://www.example.com/captcha");

        // 假设验证码图像已经获取到
        // 将验证码图像发送给第三方服务 API 进行识别
        String captchaSolution = callCaptchaService(driver);

        // 将识别结果输入到网页中
        driver.findElement(By.id("captchaInput")).sendKeys(captchaSolution);
        driver.findElement(By.id("submit")).click();
    }

    private static String callCaptchaService(WebDriver driver) {
        // 示例 API 调用逻辑
        // 发送验证码图像,获取识别结果,并返回
        return "solvedCaptcha";
    }
}

这种方法的优点是集成简单,可以支持多种语言和 reCAPTCHA 的处理。但缺点是需要支付服务费用,且可能存在一定的识别错误率。根据我的实践经验,这种方法在处理文字和图像验证码时效果较好,但对于 reCAPTCHA 的处理可能会存在一定的挑战。

使用无痕 ChromeDriver 绕过验证码检测

有些网站会通过检测 Selenium 的特征来识别自动化程序,从而触发验证码。使用无痕 ChromeDriver 可以帮助我们绕过这种检测。

无痕 ChromeDriver 是一种改进版的 ChromeDriver,它模拟了更自然的用户行为,从而降低被网站识别为机器人的风险。使用步骤如下:

  1. 下载无痕版的 ChromeDriver。
  2. 在代码中使用无痕 ChromeDriver 替换默认的 WebDriver。

示例代码:

System.setProperty("webdriver.chrome.driver", "path_to_undetected_chromedriver");
WebDriver driver = new ChromeDriver();

// 继续执行正常的自动化步骤

这种方法的原理是,一些验证码会根据用户的鼠标移动、键盘输入等行为模式来判断是否为机器人。无痕 ChromeDriver 可以模拟更自然的用户行为,从而降低被识别的风险。根据我的测试,使用无痕 ChromeDriver 可以有效地绕过 reCAPTCHA 等基于行为分析的验证码。

使用已解决的 Cookie 绕过验证码

有些网站会在用户首次通过验证码后,在后续访问中免除验证码。我们可以利用这一点,手动解决一次验证码,并保存当前会话的 Cookie,以便在后续访问中重复使用。

具体步骤如下:

  1. 手动解决一次验证码,并获取当前会话的 Cookie。
  2. 将 Cookie 保存到文件中。
  3. 在后续访问中,从文件中读取 Cookie 并设置到 WebDriver 中。

示例代码:

// 获取当前会话的 Cookie
Set<Cookie> cookies = driver.manage().getCookies();

// 将 Cookie 保存到文件
saveCookiesToFile(cookies);

// 在后续访问中,从文件中读取 Cookie 并设置
for (Cookie cookie : loadCookiesFromFile()) {
    driver.manage().addCookie(cookie);
}

这种方法的优点是简单有效,但缺点是需要手动解决一次验证码,并且 Cookie 可能会过期。根据我的经验,这种方法在处理一些常见的文字和图像验证码时效果较好,但对于 reCAPTCHA 等动态验证码可能不太适用。

使用模拟人类交互的方式绕过验证码

有些验证码会根据用户的鼠标移动、滚动页面等行为模式来判断是否为机器人。我们可以使用一些工具,如 Selenium Stealth,来模拟更自然的人类交互行为,从而降低被识别为机器人的风险。

这种方法包括模拟以下行为:

  1. 自然的鼠标移动：模拟人类自然的鼠标移动轨迹和速度。
  2. 在操作之间添加随机延迟：在执行不同操作之间添加随机的延迟时间,模拟人类的操作节奏。
  3. 滚动页面并与页面进行交互：模拟人类在浏览网页时的滚动和点击行为。

通过这种方式,我们可以更好地模拟人类的浏览行为,从而提高绕过验证码的成功率。根据我的测试,使用 Selenium Stealth 可以有效地绕过 reCAPTCHA 等基于行为分析的验证码。

总结

验证码绕过是一个复杂且不断发展的挑战。上述 5 种方法可以帮助你在使用 Selenium 和 Java 进行自动化时,减少验证码带来的干扰。但请记住,验证码的设计目的是为了阻止自动化程序的访问,因此需要谨慎地遵守网站的政策和服务条款,保持负责任的态度。

根据我的实践经验,使用无痕 ChromeDriver 和模拟人类交互的方式可以在大多数情况下有效地绕过验证码,但在处理一些动态的 reCAPTCHA 验证码时,使用第三方验证码服务可能会更加有效。此外,使用已解决的 Cookie 也是一种简单有效的方法,但适用范围相对较窄。

如果你还有任何其他问题,欢迎在评论区留言。如果你对其他网络爬虫相关的技术感兴趣,也可以查看我之前的一些文章,比如《使用 Scrapy 进行网络爬虫》、《使用 Selenium 进行网络爬虫》等。祝你收集数据顺利!

[1] MarketsandMarkets. (2020). CAPTCHA Software Market. Retrieved from https://www.marketsandmarkets.com/Market-Reports/captcha-software-market-95353020.html

[2] Gartner. (2021). Hype Cycle for Emerging Technologies, 2021. Retrieved from https://www.gartner.com/en/documents/4004130

[3] Distil Networks. (2019). 2019 Bad Bot Report. Retrieved from https://resources.distilnetworks.com/all-blog-posts/2019-bad-bot-report

[4] 2Captcha. (2022). 2Captcha Accuracy. Retrieved from https://2captcha.com/accuracy

[5] AntiCaptcha. (2022). AntiCaptcha Accuracy and Speed. Retrieved from https://anti-captcha.com/accuracy-and-speed

[6] DeathByCaptcha. (2022). DeathByCaptcha Accuracy. Retrieved from https://www.deathbycaptcha.com/accuracy

CaptchaJavaProgrammingSelenium

Written by 河小马

河小马是一位杰出的数字营销行业领袖，广告中国论坛的重要成员，其专业技能涵盖了PPC广告、域名停放、网站开发、联盟营销以及跨境电商咨询等多个领域。作为一位资深程序开发者，他不仅具备强大的技术能力，而且在出海网络营销方面拥有超过13年的经验。