Рунет обреченный: Невеликий Российский Файрволл (7 авг 2017)

a_zzido / вчера, 09:16 /

В очередной статье из своей серии «Рунет обреченный» предлагаю ещё раз с цифрами на руках, предельно предметно поговорить о возможностях блокировок веб-ресурсов со стороны государственных органов. Напомню, что недавно Беларусь, вслед за Россией, объявила о крестовом походе против сети. В условиях возрастающей политическо-экономической турбулентности цензура становится всё более неизбежной. На этот раз ситуация усугубляется тем, что власти дополнительно заявляют о намерении блокировать Tor, анонимизаторы и прокси.

Насколько это реально, как это будет работать, и грядет ли потеря связности сети? Абстрагируясь от содержания и подоплеки самих запретов, предлагаю детальный технический анализ эффективности этих запретительных мер.

0. Постановка задачи

Насколько блокировка страшна? Насколько она вообще эффективна? Как регулирует интернет этот вид цензуры? Я попробовал ответить на эти исходные вопрос на примере России.

С одной стороны я не люблю пустую демагогию и запугивание, равно как гадание на кофейной гуще, с другой — всё-таки РФ блокирует интернеты уже больше года, люди подобрались опытные и поднаторевшие в подавлении «запретных к знанию смыслов». Но более меня интересовали технические аспекты подобных блокировок на языке цифр, вот именно о них и пойдет речь далее.

Для исследования эффективности блокировок я исключительно произвольно выбрал несколько крупных веб-ресурсов, на примере которых и хочу показать далее, есть ли жизнь по ту сторону от блокировки.

Все диаграммы и статистику ниже я буду приводить на примере крупного информационного ресурса Grani.ru, который заблокирован год назад по решению суда. Меня не интересует его содержание, справедливость или причина федеральной блокировки, я выбрал его как наиболее показательный пример — на этом ресурсе установлено множество счетчиков, которые предоставляют огромное количество цифр и данных по его аудитории. И прежде чем мы начнем анализ, хочу ещё раз предупредить, что все предоставленные далее цифры взяты из открытых источников, и вы можете самостоятельно проверить (или оспорить) всю приведенную информацию/выводы.

1. Есть ли жизнь по ту сторону блокировки?

Итак, исходная точка, пациент попадает под блокировку:

С 13 марта 2014 наш сайт внесен в реестр запрещенных ресурсов за «призывы к противоправной деятельности и участию в массовых мероприятиях, проводимых с нарушением установленного порядка». По распоряжению Роскомнадзора провайдеры по всей России блокируют доступ к «Граням».
Как легко проверить, этот крупный сайт до сих пор лежит под федеральной блокировкой, несмотря на множество судебных дел и довольно таки активную движуху нанятых адвокатов по его разблокировке.

Зная дату начала блокировки, я выбрал статистику за три предшествующих блокировке месяца (цифры внизу), чтобы сделать эталонный срез его нормальной «доблокировочной» аудитории:

Далее зафиксировал статистику за эти же три месяца, но год спустя, когда ресурс уже больше 8 месяцев находился под федеральным баном, вот она:

Обратите внимание на два усредненных значения, которые я выделил на графиках — падение посещаемости на сопоставимых периодах в районе 20% (я выбрал худшие месяцы, на других интервалах этот разрыв колеблется в пределах 10%).

Прежде чем двигаться дальше, для наглядности привожу ниже вид на этот интимный процесс «до и после» на хронологически более длинном графике:

На самом деле, в такой ретроспективе легко видеть, что первоначальный органический трафик Грани.ру практически полностью восстановился до изначальных «доблокировочных» величин. Что же произошло?

Думаю, что читатель много наслышанный про знаменитый «драконовский» DPI и жуткие интернет-фильтры, уже начинает удивленно чесать репу, на ходу придумывая объяснение типа «их хостинг находится за границей, и, вероятно, увеличился трафик из-за пределов Рунета». Переходим на следующий уровень анализа явления, немного покапаем и эту гипотезу.

Поэтому ниже привожу следующий скрин с публичной статистики, снятый до блокировки (февраль 2014 года), где он показывает группировку посетителей по их стране-происхождению:

Выше был скрин до блокировки (2014 год), а ниже привожу цифры за недавний февраль — спустя год после блокировки (сегодня 2015 год):

Теперь на минутку остановимся, внимательно сопоставив эти таблицы — здесь можно сделать первые промежуточные выводы:

Несмотря на то, что работа российского фильтра заметна, он очень дырявый. Количество переходов напрямик из РФ остаётся всё равно весьма большим (около 15-25%).
Общее количество посещений после блокировки постепенно восстанавливается до аналогичного «доблокировочного» значения. Технически произошло перераспределение пропорции посетителей по странам, но количество посещений практически никак не изменилось, система снова вернулась в стабильное равновесие.

2. Адаптационный эффект: что это значит?

Это факты, теперь давайте попробуем их проинтерпретировать.

Сначала прокомментирую второй пункт, ибо последнее у меня лично вызвало сильные подозрения. Поэтому я решил рассмотреть эту картину на другом уровне. Для этого получил график популярности языков установленных в пользовательских браузерах по умолчанию.

Думаю, логика моего интереса понятна — в простейшем случае, если блокированный пользователь из РФ заходит на ресурс Grani.ru через анонимайзер, то в статистике выше его (скорее всего) посчитают как «человека из США» (например), тогда как дефолтная страница в браузере по-честному выдаст его как «ru-ru» — активного «пользователя» русского языка. Это, конечно, косвенный анализ, ведь никто не запрещает нашему человеку жить в США, продолжая на чужбине скрытно оргазмировать от «великого, могучего и прекрасного русского языка» прямо на своем домашнем компьютере-браузере... но, давайте всё-таки посмотрим на график того, что получилось:

Согласитесь, чрезвычайно интересная корреляция с синхронным падением доли юзеров «русских браузеров» (ещё раз — русский бан-фильтр определено заработал, хоть и похож на дырявое решето) и ювелирной компенсацией выпадающей доли точной порцией «англоязычных браузеров». В силу лени ограничусь лишь констатацией этого важного факта, предложив любопытным читателям самим поупражняться в объяснении этого интересного феномена Невеликого Русского Файрволла.

В силу важности момента, продублирую чтобы исключить всякие случайности — вот полностью аналогичный эффект от другого заблокированного ресурса (проект «Ежедневный журнал», награжден блокировкой в апреле 2014 г.):

Закрывая обзор второго пункта, я бы хотел подвести мини-итог. Grani.ru — лишь один из более десятка сайтов, статистику которых я мониторил на протяжении полугода, пытаясь понять эффективность работы «черного списка» из мефистофельского Роскомнадзора.

И во всех наблюдаемых мною случаях, подчеркиваю это — ВО ВСЕХ БЕЗ ИСКЛЮЧЕНИЯ СЛУЧАЯХ, — блокировка сайта не давала какого-то существенного падения трафика на заблокированном ресурсе в долгосрочной перспективе.

Обобщая можно выделить следующие закономерности (паттерн блокировки):

В момент блокировки происходит резкий скачок трафика, привлечение внимания к блокируемой информации, дальше идет волна репостов (эффект Страйзенд во всей красе).
Дальше — фаза небольшого падения посещаемости, примерно на 10-20% от стандартной.
Через 1-3 месяца происходит постепенное и плавное замещение выпавшей доли русского трафика за счет зарубежного. Но — всегда точно до уровня обычной посещаемости ресурса!
Если ресурс не впадает в панику в первые недели своей блокировки (покорно идя на встречу Роскомнадзору), далее он увидит постепенную ремиссию своей посещаемости. То есть с лагом примерно в пару месяцев ресурс полностью восстанавливает свой первоначальный органический трафик, уже продолжая оставаться в бане у Роскомнадзора.
Признаюсь честно, я долго откладывал публикацию этого материала, так как не мог поверить, что федеральная блокировка настолько беззуба и неэффективна — всё это смотрелось невероятно.

Но...

Накопив в своей базе довольно много попавших под нож цензуры ресурсов, я убедился, что ситуация везде стабильно одинакова: блокировка всегда ведет себя идентично — люди со временем находят способ обойти разрывы в связности сети, и снова возвращаются на свой любимый «экстремистский» ресурс тем или иным способом. Я назвал этот эффект самовосстановления трафика ресурса — «адаптационный эффект».

Выше приведена исчерпывающая статистика Grani.ru по данным LiveInternet, но если вам слабо верится в написанное (как мне на первых порах), дополнительно прикладываю общий график посещаемости Граней.ру по данным альтернативного рейтинга Mail.ru — попробуйте на следующем графике самостоятельно найти момент блокировки (который, скорее, стоит правильнее назвать пиком популярности ресурса, его звездным часом).

Далее попробуйте обнаружить последствия работы того самого зловещего «черного блокировочного списка» (резкое падение в конце графика справа, это лишь результат посчитанного неполного месяца марта, не обращайте внимание).

Так вот ты какой — Невеликий Русский Файрволл

Любителям подробностей, ниже даю более детализированный график аудитории сразу двух крупных заблокированных ресурсов — привожу их в совмещении, чтобы вы обратили внимание, насколько идентичен паттерн «адаптационного эффекта» после блокировки (на самом деле, могу выложить скрины сотен таких примеров — все они идентичны).

Конечно, можно попробовать копнуть глубже — быть может, за «адаптационным эффектом» стоит нечто большее, типа знаменитого Закона Гилмора, который утверждает, что

«самоорганизующаяся суть Интернета в конечном итоге всегда преодолевает любую навязанную извне цензуру»,
но я решил остановиться на уровне констатации фактов, а именно — блокировка в России не работает. Есть лишь малоэффективная имитация процесса со стороны бюрократов, не более того.Конечно, можно попробовать копнуть глубже — быть может, за «адаптационным эффектом» стоит нечто большее, типа знаменитого Закона Гилмора, который утверждает, что

«самоорганизующаяся суть Интернета в конечном итоге всегда преодолевает любую навязанную извне цензуру»,
но я решил остановиться на уровне констатации фактов, а именно — блокировка в России не работает. Есть лишь малоэффективная имитация процесса со стороны бюрократов, не более того.

3. Чудеса в сетевом решете

Окей, рассмотрев таинственный (и могущественный) «адаптационный эффект», благодаря которому блокируемый ресурс всегда возвращается к уровню своего органического трафика (каждая часть этого утверждения — эмпирический факт), давайте отдельно обсудим первый пункт из промежуточного вывода, приведенного выше — поговорим про тот самый «дырявый фильтр».

Обсудим 16-20% посетителей из статистики, которые напрямую заходят из России на уже как год заблокированный «экстремистский» ресурс (на самом деле их даже больше — примерно 20-35%, но не буду сейчас уходить в сторону с уточнениями этой цифры).

Ниже предлагаю количественно оценить степень дырявости этой цензурирующей конструкции под рабочим названием «Невеликий Российский Файрволл». Для этого я решил воспользоваться стандартным сервисом для удаленного тестирования веб-сайтов, но используя его немного не по назначению.
Общая суть подобного автоматического тестирования заключается в том, что пинг-сервис имеет огромное количество расставленных скриптов в физически разных точках присутствия своей сети, из которых и пытается последовательно скачать (опросить) одну, заданную юзером, страничку. В итоге он (сервис) собирает общую статистику о доступности конкретного сайта/страницы из географически разных регионов нашей большой и прекрасной Родины.

Сразу отмечу, что также как и со всей статисткой посещений приведенной выше, вы можете проверить все полученные цифры самостоятельно, потому что они тоже получились немного... хм, неожиданными.

Итак, адрес сервиса — ping-admin.ru/free_test (можно выбрать любой аналогичный, их много таких), в нем выбираем для тестирования только точки внутри РФ, то есть этим мы проверяем возможность изнутри России обращаться к заблокированному сайту находящемуся за пределами РФ (смотрим, как запросы проходят через все граничные фильтры туда-обратно).

У данного конкретного сервиса около 50 точек присутствия по всей территории РФ, им покрыты все крупные областные центры. Так как выходных данных получилось очень много, для контроля я выложил их как в графическом виде (большая таблица), так и в виде текстового cvs-файла. Далее для экономии места привожу лишь свою итоговую диаграмму, построенную уже на базе этих «сырых» данных.

Для тех, кто захочет копаться в данных самостоятельно одно замечание — в выходной таблице нас интересует правая крайняя колонка — правильный размер главной страницы Grani.ru на момент этого тестирования (начало марта 2015 года) — 19Кб. Это замечание важно потому, что не все провайдеры блокируют доступ через служебные коды типа «Доступ к ресурсу запрещен».

Наоборот, большинство провайдеров прозрачно подставляют свою заглушку, а это значит, что наш сервис считает, что таки получил доступ к искомой странице, но на самом деле получает совсем другую страничку (с другим её размером, как правило, при этом фиксируется редирект). Видя отличия размера полученной странички от эталонной Граней.ру, мы можем гарантированно зафиксировать факт блокировки, несмотря на http-отклик якобы «целевого» сервера в показаниях сервиса.

Конечно, это очень примерная оценка, ведь низкая разрешающая способность этой реализации сканирования не может дать абсолютно точной и объективной картинки в целом по стране, но если отмотать к стат-данным непосредственно снятым с заблокированного Grani.ru, то средний процент прямого доступа из РФ колеблется по месяцам в диапазоне 35-15%, что хорошо коррелирует с полученными данными.

Важный и очевидный момент — заблокированный ресурс (его хостинг) должен находиться за пределами РФ (как Грани.ру), в противном случае блокировка отработает гораздо более эффективней и разрушительней. Граждане, храните свои сайты и деньги за пределами Российской Федерации.

Даже тот косвенный факт, что по якобы в дупель заблокированным сайтам продолжает нормально считаться ТИЦ, говорит о том, что с точки зрения сетевой инфраструктуры Яндекса, как доступность, так и посещаемость ресурса никак значимо не изменились (у любого закрывшегося или имеющего серьёзные провалы с посещаемостью/ссылаемостью сайта, его ТИЦ через пару «апов» гарантированно резко обваливается/обнуляется). Но здесь все «заблокированные» сайты имеют прекрасную поисковую видимость, а, значит, генерация поисковых переходов не прекращается.

Поднимите мне веки! Не вижу никаких проблем у заблокированного ресурса!

4. Винегрет технологий и анархия исполнителей

Самое время перейти к заключительной части нашего марлезонского балета. Что является основой всего этого балагана, называемого в разных местах этой статьи как «черный список Роскомнадзора» или как Российский Невеликий Файрволл? Почему с одной стороны так много разговоров об ужасных и несправедливых блокировках, а с другой — такая потрясающе низкая эффективность их реализации? Вообще, есть ли смысл обращать внимание на этот государственный недо-фильтр?

Тут я предлагаю сэкономить место на словах, чтобы воспользоваться отличным сторонним исследованием, тем более, что его данные были получены на основе совершенно других принципов и методов. Первым делом процитирую один из его выводов:

Радует, что у приличного количества пользователей вообще не блокируются какие-либо сайты.
Это обширное сканирование было выполнено летом 2014 года, согласно ему на тот момент, примерно 20-25% всех ISP в РФ никак не блокировали трафик к запрещенным веб-ресурсам. Легко видеть, что у меня получились аналогичные результаты, которые, повторюсь, утверждают, что треть пользователей в РФ вообще не чувствуют на себе каких-либо блокировок и ограничений доступа. Впрочем, интересно другое — это же стороннее исследование позволяет высказать предположение о причине происходящего.

Дело в том, что отсутствие централизации в архитектуре (топологии) рунета сыграло злую шутку с идеей блокировок. РФ, также как и в проекте блокировок в Беларуси, отдала реализацию этого закона полностью на откуп самих провайдеров, поручив пчелам своими силами бороться против меда. У государства реально нет ни квалифицированных кадров, ни денег, ни других ресурсов, чтобы как-то независимо реализовать это решение. Нет возможностей даже для глобального контроля, ограничиваясь выборочными проверками в ответ на подозрительный подземный стук с конкретных мест.

Государство просто «проаутсорсило» своё решение с глаз долой, и уже рядовые провайдеры начали шаманить на рабочих местах «кто во что горазд», изобретая порой диковинные по глючности велосипеды.

Со стороны эта попытка Роскомнадзора регулировать рунет через раздачу предписаний провайдерам выглядит как забавная попытка пасти стадо диких котов путем дистанционного голосового управления. Обратите внимание на табличку задокументированных методов блокировок ниже, вот что я имею в виду:

«Я его слепила из того, что было»

Отсутствие централизации и единой координации породило просто дикий винегрет из технологий, который вы и видите на графике. Эта каша порождает чрезвычайно низкую итоговую эффективность блокировок — «не стреляйте в пианиста, он играет как умеет».

Ещё пару выводов с этого же стороннего тестирования:

Самый исполнительный провайдер, который старается блокировать в РФ все и вся (впрочем, с переменным успехом) — Ростелеком.
Самые технологичные (и богатые) провайдеры рунета, активно использующие козырной Full DPI — мобильные операторы. Практический вывод: получать «чистый интернет» с них наиболее затруднительно, имейте это в виду реализуя свои «пользовательские предпочтения».
Самый популярный метод блокировки у региональных провайдеров — разные грязные хаки на базе DNS.
5. Хроники калечения технологий

Кстати, о любви к «творческому калечению» службы резольверов DNS. Почему это так популярно у ISP именно в наших краях? Дело в том, что модерация DNS — наименее ресурсоемкий способ организации фильтрации, это идеальный выход «для бедных», но, одновременно, это отчасти и самое тупое легко обходимое решение.

Чтобы проиллюстрировать последнее сильное утверждение, вот пример из собственного скучного быта: в домашнем московском роутере моего брата уже давно «забиты» Google Public DNS (не из безопасности и какой-то хитрожопой дальновидности, а просто их прописал персонал при монтаже точки ADSL-подключения ещё лет 5 тому назад), поэтому он блокировок от своего провайдера даже не видел. И только недавно ковыряясь с его настройками, я заметил, что блокировка (на уровне DNS) таки есть! Представьте удивление брата с некоторой досадой: «Это ж надо было так все глубоко упрятать...».

Поэтому я не удивляюсь нашим цифрам выше, из которых так и следует, что как минимум треть россиян вообще не видят работы фильтрующего механизма запрещенной к знанию на территории РФ информации.

Приведу ещё один подобный пример из жизни, чтобы показать насколько плачевно качество технической реализации блокировок при таком волюнтаристском подходе. И на этот раз возьму самого ответственного и «хорошего мальчика» среди всех российских ISP — Ростелеком.

Посмотрите на этом примере (кому интересно, читайте дополнительно о механике блокировок РТК вот здесь), как люди сходу находят красивые и эффективные способы обхода ростелекомовской псевдо-блокировки. А ведь это — главный магистральный провайдер страны! «Фиксация» этого простого решения в виде плагина к браузеру занимает у специалиста буквально 10-20 минут времени, «крякая» этим всю защиту крупнейшего российского провайдера.

Впрочем, нет смысла тратить даже эти 10 минут на подобную ересь, ведь кнопка «Турбо» браузера позволяет мгновенно и навсегда забыть про эту (и подобную) милую провайдерскую возню.

«Неа, DPI нам не нужен»:

А теперь представьте себе, что сваяет районный провайдер города Мытищи со штатом из 3 студентов + коммерческим директором во главе.

Поэтому для качественного развертывания «спасительной цензуры» в сети, как воздух необходим «полный DPI», работающий хотя бы на уровне крупных федеральных аплинков и точек обмена трафиком. Но в свете текущего, резко обострившегося финансового криза, думаю, эта «цензурирующая технология» будет ещё долго недоступна в тех краях, где «так вольно дышит человек».

Собирался было привести ещё несколько примеров по вырождению из себя нашими провайдерами в жутких муках и болях своих оригинальных методик фильтраций в стиле «мелкая пакость г@внюка» (прошу не воспринимать это как укол по уровню компетенций админов ISP, лично я больше склоняюсь к мнению, что это намеренный саботаж аля «итальянская забастовка» или «отвалите от меня дяди со своей фигней нафиг»), но после упоминания выше могущественной «кнопки Турбо», нет даже смысла колупаться в этих неинтересных для большинства гуманитариев эротических подробностях.