ReCaptcha V3 — способ автоматического решения с получением высокого score

ReCaptcha V3

  Мы уже больше трёх недель занимаемся ReCaptcha V3 и сегодня мы готовы показать Вам наши результаты.

Для начала немного вводной информации:
  Как Вы знаете, ReCaptcha V3 не просит что-либо решить, а лишь даёт сайту информацию о качестве пользователя, который её проходил. И, что особенно важно, у одного пользователя для разных сайтов будет разная оценка. Оценка, которую выдаёт google.com пользователю находится в пределах от 0.1 до 0.9
Мы провели серию экспериментов и выяснили, что если пользователь на каком-либо сайте получает 0.1, то с вероятностью в 90% он такую же оценку получит и на остальных сайтах.

Как устроено решение от RuCaptcha.com:
  Каждому работнику мы даём тестовую капчу и смотрим его score. Когда от заказчика приходит капча с требованием минимального score, то капчу мы выдаём только работникам, score которых подходит под заданный параметр. 80-90% полученных  решений в итоге имеют нужный score на том сайте, где Вы проходите ReCaptcha V3

Как загрузить капчу V3:
Загрузить капчу можно вот таким запросом:
 

http://rucaptcha.com/in.php?key=APIKEY&method=userrecaptcha&googlekey=googlekey&pageurl=https://site.com/page.html&version=v3&action=verify&min_score=0.5

Загрузка капчи аналогична  загрузке ReCaptchaV2, но добавляются новые параметры:

version=v3
указывает что это рекапча третьей версии

action=verify
указывает как именно называется action на проходимой странице

min_score=0.3

указывает какой минимальный min_score должен будет получить ответ
 

Цена:
На время тестирования цену поставили такую же как и на ReCaptcha V2

Возврат средств за неработающие токены:
  Тут всё сложнее. Когда заказчик жалуется на обычную графическую капчу, то мы можем решить её ещё раз и понять правильно ли она была решена или нет.
Когда заказчик жалуется на решение ReCaptcha V2, то мы можем посчитать статистику по жалобам на работников, вычислить работника который косячит и вернуть средства за все решения, которые он предоставил всем заказчикам.
  А вот с ReCaptcha V3 ответы одного работника для двух разных сайтов могут быть разными. Для одного сайта у него рейтинг будет 0.1, а для другого 0.5

Что мы делаем:
Помимо стандартной жалобы reportbad
http://rucaptcha.com/res.php?key=YOUR_API_KEY&action=reportbad&id=CAPTCHA_ID
Которую нужно отправлять, если сайт не принял токен, появляется параметр, указывающий что ответ работника подошёл: reportgood
http://rucaptcha.com/res.php?key=YOUR_API_KEY&action=reportgood&id=CAPTCHA_ID
При отправке его, мы добавим работника на некоторое время в WhiteList для Вашего аккаунта и изначально Ваши капчи будут получать работники из Вашего whitelist
  В будущем, скорее всего, мы будем делать возвраты за reportbad только при условии что заказчик шлёт reportgood.
В данный момент возвратов за reportbad нет, но в будущем будут, наверное.

Какой min_score лучше запрашивать?
  Сейчас min_score бывает только трёх вариантов: 0.1, 0.3 и 0.9. Те сайты, которые уже используют ReCaptcha V3 и которые мы протестировали — принимают не только 0.9, но и 0.3; score=0.1 никто из протестированных не принимает. Поэтому мы советуем изначально запрашивать 0.3 и только если более 50% токенов не подходит — тогда запрашивать 0.9. Стоит отметить, что работников, имеющих score 0.3  в два раза больше, чем работников со score 0.9

Блог сервиса распознавания капчи ruCaptcha

Описание проблемы

  В начале июля несколько клиентов, независимо друг от друга, пожаловалась нам о том что часть токенов для прохождения ReCaptcha, которые они получают от нас, не принимается сайтами, где проходится капча. Мы провели ряд экспериментов и выявили, что при верификации ответа на ReCaptcha, Google.com может вернуть вот такую ошибку:

{«success»:false,»error-codes»:[«incorrect-captcha-sol»]}

 

  Этой проблеме подвержен не только наш сервис решения капч RuCaptcha.com, но и обычные люди, которые проходят рекапчу на каком-либо сайте, но сайт не принимает ответ на капчу от них.

В API ReCaptcha нет описания данной ошибки. Доподлинно нам не известны её причины, но некоторые зависимости мы смогли найти.

 

От чего зависит получение incorrect-captcha-sol

Появление incorrect-captcha-sol, по нашим наблюдениям, происходит по двум факторам:

1) Очень плохой IP
У Google, видимо, есть рейтинг для каждого IP-адреса. Если Вы решаете ReCaptcha без ошибок и не более 50 капч в сутки, то этот IP будет считаться хорошим.
Если Вы делаете что либо из этого списка:

• совершаете много ошибок при решении

• открываете капчу но не прорешиваете её до конца

• решаете больше двух капч в минуту

То Ваш IP либо банится вообще, либо начинает получать такие токены, которые при дальнейшей проверке получают incorrect-captcha-sol

2) Плохие cookie
Помимо рейтинга IP, у Google есть рейтинг пользователей. Каждому, кто заходил на google.com или на страницу с установленной ReCaptcha, присваиваются свои cookie. Google анализирует Ваши действия в сети и оценивает насколько Вы похожи на живого человека или на робота. Если пользователь с одним набором cookie целый день решает капчи, даже если это делается с разных IP, то это, скорее всего, робот и такой пользователь будет решать капчи до зелёной галочки, но при дальнейшей проверке его ответа Google будет возвращать

{«success»:false,»error-codes»:[«incorrect-captcha-sol»]}
Самое обидной в этом то, что при авторизации в гугловом почтовике gmail.com, Google проассоциирует Вас с Вашими прошлыми действиями и, если хоть один раз в прошлом посчитал Вас роботом, то теперь у Вас в 3 из 4 случаев не будет приниматься решение ReCaptcha.
 

Как RuCaptcha борется с incorrect-captcha-sol

 Для снижения количества “плохих” токенов  в ответах на капчи заказчиков, мы регулярно чистим куки в приложении работников, а также следим за качеством IP-адресов работников. Про это расскажем чуть подробнее.

 Да, некоторая часть наших работников имеет “очень плохие” IP-адреса, решая с которых ReCaptcha они получают токены, которые при последующей верификации получают incorrect-captcha-sol. Для борьбы с этим, мы раз в час выдаём тестовую ReCaptcha для каждого уникального IP-адреса и верифицируем ответ на неё в google.com. Если мы получили  incorrect-captcha-sol, то мы перестаём выдавать капчи для решения с этого IP и данный пользователь может решать капчи только через прокси (прокси, в свою очередь, также регулярно проверяются).

 Таким образом мы снижаем процент “плохих” ответов до 1-3%. К сожалению, прошли те времена, когда мы с гордостью говорили, что все 100% ответов на ReCaptcha от нашего сервиса верные.

 

Возвраты за плохие решения

С июля мы включили приём reportbad на ReCaptcha. Поэтому для сокращения издержек на капчу, Вы можете настроить автоматическое уведомление нас о том, что полученный от нас токен не прошёл верификацию, как это сделать описано у нас в API\Reportbad.

Каждый час мы собираем статистику по жалобам на работников и возвращаем средства за те капчи, которые были разгаданы «плохим» работником.

 

Похоже, гугл считает мой IP\куку плохим. Я нигде не могу пройти капчу, что мне делать?

Да, множество простых людей столкнулись с проблемой, что они не могут пройти авторизацию\регистрацию на сайтах, где установлена ReCaptcha. Что с этим делать мы расскажем в следующей новости. Следите за обновлениями на нашем блоге!

Reportgood и reportbad уведомления о правильности решения капчи

В нашем API данные уведомления указаны как не обязательные. Если Вы не будете их отправлять, то распознавание капч у Вас всё равно будет работать. Но если Вы будете их отправлять, то распознавание капч будет немного дешевле и намного качественней.

ReportBAD

Reportbad присылается в GET/POST запросе, вида

http://rucaptcha.com/res.php?key=APIKEY&action=reportbad&id=Captcha_ID

Данный запрос должен отправлять каждый раз, когда сервер, где Вы проходите капчу, не принял ответ на капчу, решённую сервисом RuCaptcha и сообщил о том, что капча решена некорректно.

Что происходит после отправки такого уведомления:

• Простая капча-картинка
  Инициируется повторное решение данной капчи другим работником с высоким рейтингом, после чего ответы работников сверяются (с учётом регистра, если это было в требованиях к капче). Если ответы сходятся, то мы считаем жалобу заказчика некорректной и обоим работникам засчитывается +1 к верно введённым капчам. Если ответы не сходятся, то заказчик получает возмещение потраченных средств, первый работник получает +1 к неверно-решённым капчам и проверяется схожесть его ответа и ответа модератора, если ответы сильно отличаются друг от друга, то перепроверяются ещё несколько ответов первого работника и исходя из результатов проверки принимается решения о блокировке пользователя. Может показаться, что мы неэффективно тратим ресурсы (и финансы, т.к. работа каждого из работников оплачивается и зачастую на одну капчу мы можем потратить больше финансов, чем заплатил заказчик), но на большом объёме капч подобный подход оправдывает себя.
• ReCaptcha V2, KeyCaptcha, FunCaptcha
  Перепроверить ответ на данные типы капч непредставляется возможным, мы собираем статистику по reportbad отдельно по каждому работнику и в случае, если по одному работнику много reportbad и мало\нету  reportgood-уведомлений, то работнику ограничивается возможность решать подобные капчи, причём мы отдельно ищем возможные мульти-аккаунты этого работника и ограничение так же накладывается и на них
• ReCaptcha V3
  Из-за особенностей работы ReCaptcha V3, ответы работника могут быть хорошие для одного сайта и плохими для другого сайта. При приходе жалобы по ReCaptcha V3 рейтинг работника понижается отдельно для домена, по которому работник давал решение. В случае, низкого рейтинга по всем доменам, работника перестают выдаваться капчи типа ReCaptcha V3

 

ReportGOOD

reportgood присылается в GET/POST запросе, вида

http://rucaptcha.com/res.php?key=APIKEY&action=reportgood&id=Captcha_ID

Отправлять данный запрос нужно каждый раз когда вы точно уверены, что ответ на капчу, предоставленный нами был верен.

Почему важно отправлять reportgood-уведомления:

• Простые капчи-картинки
  У нас есть правило, что мы не штрафуем работников, даже если работник ответил на капчу не верно, но при этом старался ввести правильный ответ, он всё равно получает оплату за данную капчу. Если работник допускает типовые ошибки, модераторы отправляют его на обучение (да, у нас есть обучение и экзамен для работников), и только если работник принципиально вводит некорректные ответы, только тогда он блокируется. Большинство работников выполняют задачи максимально прилежно, стараясь дать верный ответ даже в самых сложных случаях, но такая наша политика привела к тому, что появились «халтурщики», которые не сильно стараются разобраться где написана буква О, а где цифра 0, где маленькая l, а где большая I. Хорошие работники и халтурщики зарабатывают одинаково, это несправедливо. Имея же достаточный объём информации о правильности ответов, мы сможем подсчитывать коэффициент качества ответов работника и платить больше тем, кто старательно распознаёт капчи, это будет справедливо.
  
• ReCaptcha V2\V3, KeyCaptcha, FunCaptcha
  Работники, дающие  хорошие ответы получат приоритет в получении задач и смогут больше заработать (повышающие коэффициенты оплаты за качественные ответы в нынешней модели оплаты за данные типы капч пока не предусмотрены)

 

Краткий итог

Если вы будете отправлять reportbad\reportgood, то:

• Вы — Получите возмещение за неверные ответы и будете получать больше качественных ответов
• Мы — Быстрее будем выявлять плохих работников
• Работники — Будут больше зарабатывать

 

ВАЖНО! Пожалуйста, настройте отправку уведомлений reportbad\reportgood в вашем софте. Если Вы не являетесь разработчиком программы, которой пользуетесь, отправьте ссылку на данную статью разработчику. Если у Вас появились вопросы по данной статье, то их можно задать через поддержку или публично, на форуме в теме обсуждения данной статьи.

Вебмастерам

ReCaptcha V3

  Мы уже больше трёх недель занимаемся ReCaptcha V3 и сегодня мы готовы показать Вам наши результаты.

Для начала немного вводной информации:
  Как Вы знаете, ReCaptcha V3 не просит что-либо решить, а лишь даёт сайту информацию о качестве пользователя, который её проходил. И, что особенно важно, у одного пользователя для разных сайтов будет разная оценка. Оценка, которую выдаёт google.com пользователю находится в пределах от 0.1 до 0.9
Мы провели серию экспериментов и выяснили, что если пользователь на каком-либо сайте получает 0.1, то с вероятностью в 90% он такую же оценку получит и на остальных сайтах.

Как устроено решение от RuCaptcha.com:
  Каждому работнику мы даём тестовую капчу и смотрим его score. Когда от заказчика приходит капча с требованием минимального score, то капчу мы выдаём только работникам, score которых подходит под заданный параметр. 80-90% полученных  решений в итоге имеют нужный score на том сайте, где Вы проходите ReCaptcha V3

Как загрузить капчу V3:
Загрузить капчу можно вот таким запросом:
 

http://rucaptcha.com/in.php?key=APIKEY&method=userrecaptcha&googlekey=googlekey&pageurl=https://site.com/page.html&version=v3&action=verify&min_score=0.5

Загрузка капчи аналогична  загрузке ReCaptchaV2, но добавляются новые параметры:

version=v3
указывает что это рекапча третьей версии

action=verify
указывает как именно называется action на проходимой странице

min_score=0.3
указывает какой минимальный min_score должен будет получить ответ
 

Цена:
На время тестирования цену поставили такую же как и на ReCaptcha V2

Возврат средств за неработающие токены:
  Тут всё сложнее. Когда заказчик жалуется на обычную графическую капчу, то мы можем решить её ещё раз и понять правильно ли она была решена или нет.
Когда заказчик жалуется на решение ReCaptcha V2, то мы можем посчитать статистику по жалобам на работников, вычислить работника который косячит и вернуть средства за все решения, которые он предоставил всем заказчикам.
  А вот с ReCaptcha V3 ответы одного работника для двух разных сайтов могут быть разными. Для одного сайта у него рейтинг будет 0.1, а для другого 0.5
Что мы делаем:
Помимо стандартной жалобы reportbad
http://rucaptcha.com/res.php?key=YOUR_API_KEY&action=reportbad&id=CAPTCHA_ID
Которую нужно отправлять, если сайт не принял токен, появляется параметр, указывающий что ответ работника подошёл: reportgood
http://rucaptcha.com/res.php?key=YOUR_API_KEY&action=reportgood&id=CAPTCHA_ID
При отправке его, мы добавим работника на некоторое время в WhiteList для Вашего аккаунта и изначально Ваши капчи будут получать работники из Вашего whitelist
  В будущем, скорее всего, мы будем делать возвраты за reportbad только при условии что заказчик шлёт reportgood.
В данный момент возвратов за reportbad нет, но в будущем будут, наверное.

Какой min_score лучше запрашивать?
  Сейчас min_score бывает только трёх вариантов: 0.1, 0.3 и 0.9. Те сайты, которые уже используют ReCaptcha V3 и которые мы протестировали — принимают не только 0.9, но и 0.3; score=0.1 никто из протестированных не принимает. Поэтому мы советуем изначально запрашивать 0.3 и только если более 50% токенов не подходит — тогда запрашивать 0.9. Стоит отметить, что работников, имеющих score 0.3  в два раза больше, чем работников со score 0.9