Обход капчи Selenium
Всем привет, пишу бота который будет заказывать вещи с определенного сайта. Интересует как можно обойти капчу при работе с Selenium. Я пробовал подгружать профиль своего аккаунта google к webdriver, но либо я делаю что-то не так, либо этот способ не работает. Буду вам очень благодарен если подскажите как это можно сделать без машинного обучения.
Отслеживать
задан 27 мар 2019 в 18:49
51 3 3 серебряных знака 9 9 бронзовых знаков
заказывайте решение на сервисах по решению капчи, ну либо пробуйте вытаскивать изображений и обрабатывать, все зависит от сложности капчи
27 мар 2019 в 19:19
@danilshik Другими способами обойти не выйдет? В моем боте очень важна скорость и боюсь если я буду обрабатывать изображения на это уйдет очень много времени. Точно такие же боты каким-то образом обходят капчу, возможно они работают не через selenium, и мне были бы интересны альтернативные способы решения проблемы.
27 мар 2019 в 20:19
ну Selenium сам по себе очень тяжелый и медленный. Попробуйте выяснить запросы, чтобы не работать на Selenium.
27 мар 2019 в 20:26
Капча постоянно присутствует или по мере запросов появляется?
27 мар 2019 в 20:26
@danilshik Капча присутствует только в браузере который открывается Selenium-ом, если заходить через обычный браузер и делать заказ — капчи не будет.
27 мар 2019 в 20:30
1 ответ 1
Сортировка: Сброс на вариант по умолчанию
Сразу оговорюсь о том, почему перестал использовать Хром (есть вероятность что я не разобрался, и сейчас ошибаюсь, но) — когда в 60-й бета версии Хрома выпустили безголовый режим (headless), запускать в нём расширения было невозможно. Может быть в современных версиях в headless режиме уже можно использовать расширения, но тогда именно поэтому я перешёл на Firefox.
Для Chrome (приведённые команды имеют годовую давность, возможно это и сейчас работает)):
options = webdriver.ChromeOptions() options.add_argument('load-extension=path\\to\\extension') browser = webdriver.Chrome(chrome_options=options) path\\to\\extension — адрес папки, в которой лежит файл расширения
Я использую отдельный профиль для тестов (отдельная папка, и ссылка в коде на эту папку):
fp = webdriver.FirefoxProfile('UB') browser = webdriver.Firefox(firefox_profile=fp) в папке UB находится папка extensions , в которой лежит файл расширения [email protected] . То есть, полный путь от места исполнения скрипта до файла расширения выглядит так — UB/extensions/[email protected] . Такой подход позволяет запускать любое количество расширений. И как плюс самого Firefox, я могу их использовать и в headless режиме)))) Но, как я сейчас заметил, в таком варианте сами расширения не обновляются. Мой uBlock для тестов версии 1.17.4, когда в обычном Firefox уже 1.18.6. Я пока не разбирался в том, как это исправить, что-бы вам побыстрее написать, что-бы вы попробовали хотя-бы так))))
И есть ещё второй вариант который я сам пока не использовал, но возможно, что предлагаемый в нём метод как раз и поможет расширениям обновляться (сам метод описан в статье на DataRebellion):
browser = webdriver.Firefox() browser.install_addon('path\\to\\extension.xpi', temporary=True) temporary=True — говорит о том, что расширение устанавливается только на текущий сеанс Возможно при temporary=False команда install_addon будет устанавливать расширение в профиль на «постоянной основе». Я буду пробовать)))))
Как обойти капчу Гугл
Итак задача: обойти капчу, желательно с первого раза.
Воспользуемся возможностями сверточных нейросетей, а именно vgg16.
Джентельменский набор, который используется:
- python 3.6.4
- tensorflow 2.0.0, keras 2.2.1
- opencv 4.1.2
Беглый анализ капч подобного вида показывает, что капча попадается в двух базовых вариантах:
— на 9 картинок (приведена в начале поста) и
Также, статистика по капчам говорит о том, что капчи попадаются как минимум в 20-ти категориях с говорящими названиями: автобусы, гидранты и т.п.
Та же статистика говорит, что можно сэкономить силы и не обрабатывать все 20-ть и более категорий, а остановиться на наиболее часто встречающихся:
Поэтому, нейросеть была обучена только на усеченном количестве категорий, и будет работать с категориями капч, которые наиболее вероятны, остальные будет пропускать.
Общий алгоритм работы будет выглядеть так:
- зашли на сайт с капчей, нажали «Я не робот»;
- сделали скрин капчи с экрана, если она совпадает с определенными категориями объектов;
- разрезали капчу на части;
- скормили каждый кусок капчи нейросети;
- понажимали на картинки, где объект распознан нейросетью;
- обработали ошибки, и возможно, прошлись по 2-му, 3-му кругу капчи.
Зашли на сайт с капчей, нажали «Я не робот»
Здесь воспользуемся фреймворком selenium в python.
import webbrowser,time,os,pyautogui from selenium import webdriver from selenium.webdriver.common.keys import Keys import random import os browser = webdriver.Firefox() browser.implicitly_wait(5) browser.get ('https://captcha.guru/ru/feedback/') time.sleep(5) iframe = browser.find_elements_by_tag_name('iframe')[0] browser.switch_to.frame(iframe) act = browser.find_element_by_css_selector('.recaptcha-checkbox-border') act.click() В коде видно, что капча появляется в отдельном так называемом фрейме. Это необходимо учитывать при переключениях между основным контентом и фреймами капчи.
После выполнения кода результат будет примерно следующий:
картинка
- получить категорию объекта капчи (здесь «мосты»);
- сохранить картинку в нужных пропорциях, если она в нужной категории объектов;
- разрезать картинку на 9 частей.
Сделали скрин капчи с экрана, если она совпадает с определенными категориями объектов
t=random.uniform(1, 4) #пауза между скачиваниями случайна browser.switch_to.default_content() iframe = browser.find_elements_by_tag_name('iframe')[3] browser.switch_to.frame(iframe) time.sleep(3) act = browser.find_element_by_xpath('/html/body/div/div/div[2]/div[1]/div[1]/div/strong') print(act.text) Здесь время t для случайной паузы, чтобы гугл, не слишком сразу определил нас как робота. Данную t мы применим позднее.
Этот код выведет категорию объекта, изображенного на капче (здесь «мосты»).
Задаем категории, с которыми будем работать, не пропуская:
a=['велосипеды','пешеходные переходы','гидрантами','автомобили','автобус'] Остальные категории отсекаются, так как они встречаются значительно реже, либо в капче 16-ть картинок вместо 9-ти.
Сделали скрин капчи с экрана, если она совпадает с определенными категориями объектов
Рассмотрим следующий фрагмент:
if act.text not in a: #обновили картинку с капчи act = browser.find_element_by_xpath('//*[@id="recaptcha-reload-button"]') act.click() time.sleep(t) browser.switch_to.default_content() iframe = browser.find_elements_by_tag_name('iframe')[3] #узнаем категорию капчи:автобусы,гидранты. browser.switch_to.frame(iframe) time.sleep(2) act = browser.find_element_by_xpath('/html/body/div/div/div[2]/div[1]/div[1]/div/strong') print(act.text) if act.text in a: #сохраняем картинку os.chdir('C:\\1\\') im=pyautogui.screenshot(imageFilename=str(0)+'.jpg',region=(509,411,495,495)) #нарезаем картинку img = Image.open('0.jpg') area1=(0,0,163,163) #спереди,сверху,справа,снизу) img1 = img.crop(area1) area2=(163,0,326,163) img2 = img.crop(area2) area3=(326,0,489,163) img3 = img.crop(area3) area4=(0,163,163,326) img4 = img.crop(area4) area5=(163,163,326,326) img5 = img.crop(area5) area6=(326,163,489,326) img6 = img.crop(area6) area7=(0,326,163,489) img7 = img.crop(area7) area8=(163,326,326,489) img8 = img.crop(area8) area9=(326,326,489,489) img9 = img.crop(area9) img1.save("1"+".png") img2.save("2"+".png") img3.save("3"+".png") img4.save("4"+".png") img5.save("5"+".png") img6.save("6"+".png") img7.save("7"+".png") img8.save("8"+".png") img9.save("9"+".png") Здесь вначале происходит проверка категории объекта. Если объект из категории «велосипеды»,«пешеходные переходы»,«гидранты»,«автомобили» либо «автобус», то программа работает далее. В противном случае, обновляет картинку капчи.
Далее картинка сохраняется по пути C:\1\vgg-net\0.jpg (в windows).
И нарезается с сохранением 9-ти файлов .png в этой же директории.
Скормили каждый кусок капчи нейросети
Понадобится предобученная модель нейросети, в которую для анализа будут поступать нарезанные картинки.
from keras.models import load_model import argparse import pickle import cv2 def prescript(file): # функция нейросети ap = argparse.ArgumentParser() ap.add_argument("-i", "--image",type=str, default=file,help="path to input image we are going to classify") ap.add_argument("-m", "--model",type=str,default="simple_nn.model",help="path to trained Keras model") ap.add_argument("-l", "--label-bin",type=str,default="simple_nn_lb.pickle",help="path to label binarizer") ap.add_argument("-w", "--width", type=int, default=32, help="target spatial dimension width") ap.add_argument("-e", "--height", type=int, default=32, help="target spatial dimension height") ap.add_argument("-f", "--flatten", type=int, default=1, help="whether or not we should flatten the image") args = vars(ap.parse_args()) image = cv2.imread(file) output = image.copy() image = cv2.resize(image, (args["width"], args["height"])) image = image.astype("float") / 255.0 if args["flatten"] > 0: image = image.flatten() image = image.reshape((1, image.shape[0])) else: image = image.reshape((1, image.shape[0], image.shape[1], image.shape[2])) model = load_model(args["model"]) lb = pickle.loads(open(args["label_bin"], "rb").read()) preds = model.predict(image) i = preds.argmax(axis=1)[0] label = lb.classes_[i] text = "<>: %".format(label, preds[0][i] * 100) print(text[0]) # 1-предмет есть на картинке, 0 - предмета нет global result result = text[0] Нейросеть помещена в функцию, которая отдает либо 1 (‘объект есть на картинке’) либо 0 (‘нет объекта’).
Еще одна функция, с помощью которой будем кликать по картинкам, если нейросеть вернула ‘1’ (наличие объекта):
def clicks(x,y): if result=='1': # если предмет есть на картинке, нажимаем на картинку act = browser.find_element_by_xpath('/html/body/div/div/div[2]/div[2]/div/table/tbody/tr['+str(x)+']/td['+str(y)+']') act.click() Ну и собственно, функция, которая будет вызывать 9-ть раз (картинок 9 штук) функцию нейросети и функцию «нажимания на картинки»:
def predict(): prescript("1"+".png") clicks(1,1) prescript("2"+".png") clicks(1,2) prescript("3"+".png") clicks(1,3) prescript("4"+".png") clicks(2,1) prescript("5"+".png") clicks(2,2) prescript("6"+".png") clicks(2,3) prescript("7"+".png") clicks(3,1) prescript("8"+".png") clicks(3,2) prescript("9"+".png") clicks(3,3) act = browser.find_element_by_css_selector('#recaptcha-verify-button') act.click() time.sleep(1) predict() Обработали ошибки, и возможно, прошлись по 2-му, 3-му кругу капчи
Иногда, после даже после нажатий на «правильные» картинки капчи, предлагается заново ее пройти с фразами: «Попробуйте еще раз», «Вы слишком стары для этого» и т.п.
Поэтому добавим код для учета ситуаций:
try: act = browser.find_element_by_css_selector('.rc-imageselect-error-dynamic-more') #Посмотрите также новые изображения. captcha() # заново сохраняем картинки predict() # заново распознаем картинки except: try: act = browser.find_element_by_css_selector('.rc-imageselect-incorrect-response')#Повторите попытку. captcha() # заново сохраняем картинки predict() # заново распознаем картинки except: pass О минусах реализации:
- работает не со всеми категориями картинок (это сделано намеренно, чтобы облегчить размер модели);
- ошибается (все-таки обучающий набор был не размера imagenet, а google неохотно отдавал экземпляры для обучения);
- работает неспеша, так как последовательно обрабатывается каждая из 9-ти картинок;
- не работает с 16-сегментными картинками.
Программы для скачивания (программа и модель) — скачать.
Обход капчи: Решение для эффективной автоматизации
В современном цифровом мире, где автоматизация играет важную роль, капчи могут быть серьезным препятствием для эффективной работы и автоматизации процессов. Капча — это технология, которая предназначена для различения между роботами и реальными пользователями. Она требует от пользователей ввода символов, решения головоломки или выполнения других задач для подтверждения их человеческого происхождения. Однако, для автоматических процессов, таких как веб-скрапинг, регистрация аккаунтов или отправка форм, капчи могут стать проблемой.
Python парсер появилась reCaptcha
Программа парсер, выполнена на requests, на сайте появилась капча, кажется, из-за этого перестал работать парсинг.
2 дня 1500 UAH
2 дня 1500 UAH
Добрый день, давно уже занимаюсь разработкой различных парсеров, в том числе доводилось обходить разные виды капч. Пишите в личные сообщения, обсудим подробности
3 дня 700 UAH
3 дня 700 UAH
Здравствуйте, Писал несколько парсеров обходящие капчи
Готов доработать проект
Давайте обсудим детали в лс
1 день 500 UAH
1 день 500 UAH
Добрый день.
Есть большой опыт в написании парсеров.
Цену и сроки смогу назвать после уточнения деталей по проекту.
Буду рад сотрудничеству.
Хорошего дня.
2 дня 800 UAH
2 дня 800 UAH
Готов помочь, есть опыт решения проблем с captcha, некоторые сайты даже сами предоставляют параметр «captcha_key», который можно передать в запросе, чтобы обойти капчу. Либо же использовать API сторонних сервисов распознавания капчи, такие как Anti-Captcha, 2captcha или CaptchaSolver.
5 дней 1000 UAH
5 дней 1000 UAH
Здравствуйте, я могу решить вашу проблему.
Сначала нужно проверить, что парсер действительно останавливается из за капчи.
Если это так, то нужно будет подключить сервис антикапчи.
Примерная стоимость антикапчи — 0.5-2$ За 1000 решений, в зависимости от вида капчи. Для тестов я подключу свой аккаунт, далее мы сделаем для вас личный аккаунт.
Если проблема не в капче, то разберусь в парсере и устраню ее.
Нахожу оптимальные решения для любых задач.
5 дней 7000 UAH
5 дней 7000 UAH
Приветствую!
У нашей команды есть большой опыт в парсинге данных. Мы готовы обсудить детали и предоставить вам качественное решение. Напишите мне в личные сообщения, и мы обсудим, как мы можем помочь вам.
С уважением, Родион.