Новых пользователей (это 8 человек каждую секунду), в России интернет проникает в забытые деревни, а уже к 2014 году , что 70% совершеннолетнего населения страны будет онлайн .

Такая динамика крайне положительно сказывается на общей ситуации в телекоммуникациях – появляется конкуренция, растёт качество услуг, падает цена, на рынок выкидываются всё новые и новые технологии – не успели мы даже посмотреть на 40G-интерфейсы, как уже появились 100G и успешно проходят испытания 400-гигабитных (кстати, недавно на была статья о том, что Huawei тоже представило работающее решение). Пользователь утопает в высокоскоростных сервисах: youtube, безразмерные файлохранилища, онлайн-радиостанции и телевидение, торренты и P2P сети. Всё это одновременно с разных компьютеров, X-падов и телефонов. Оптику уже подводят прям к вашему домашнему маршрутизатору.
Но, как нет худа без добра, так и добро без худа большая редкость. Вместе с радостями приходят и проблемы.
Приведу лишь небольшой список наиболее важных трудностей, с которыми приходится сталкиваться сегодня провайдерам и абонентам:

Высокая загрузка канала к пользователю. При том, что сеть провайдера в порядке и трафик пользователя укладывается в его тариф, большая часть пропускной способности канала занята, например, торрентом, отчего страдает голос, HTTP и другие данные абонента
- высокая нагрузка на каналы провайдера, когда много абонентов запускают торренты или P2P
- бОльшая часть пропускной способности занимается меньшей частью наиболее активных абонентов
- вирусы, черви и зомби (боты) в сети
- DOS-атаки на оборудование провайдера или абонентов
- сканеры портов

У меня действительно была такая ситуация, когда сканировали наши порты в сети, а после этого пытались подбирать пароли. Узнали мы об этом только по логам, когда уже шёл активный процесс брутфорса.

Какие у вас есть возможности исправить положение в обычной ситуации?
1) Канальный уровень: контроль на основе MAC-адресов или номера VLAN. Может быть реализован на коммутаторах и маршрутизаторах.
2) Сетевой уровень: вы можете блокировать пользователей по IP-адресам или запрещать доступ на определённые адреса/подсети во внешней сети. Реализуется на маршрутизаторах.
3) Транспортный уровень: провайдер или ИТ-служба предприятия может ограничить используемые порты. Например, запретить всё, кроме портов 25, 110 и 80 (почта и HTTP). Сделать это также можно на маршрутизаторе
4) Уровень приложений: на прокси-серверах или файрволах вы можете использовать наибольшую степень абстракции — доменные имена. Но файрволы, вообще говоря, имеют более широкие возможности, например, защита против атак, тонкие настройки политик. Они также предоставляют некий функционал глубокого анализа пакетов, но по сравнению со специализированными решениями DPI он крайне ограничен.

И даже одно из популярных сейчас решений — использование в сети QoS — не панацея.

Используя вышеуказанные возможности, невозможно мониторить и контролировать трафик многих приложений и протоколов, как то: Skype в частности и VoIP вообще, BitTorent, P2P, трафик, проходящий в туннелях (GRE, IPSec, QinQ и прочее)

От этих и многих других напастей может спасти DPI . Английское звучание Deep Packet Inspection говорит само за себя — эта технология, которая позволяет проводить глубокий анализ трафика.

DPI на то и Deep, что проникает ещё глубже — он работает на всех 7 уровнях эталонной модели OSI. С его помощью вы можете распознавать трафик практически любых протоколов и применять к нему те или иные действия.

Простой пример из жизни. Когда-то я работал в местечковом провайдере WiMAX. У нас была довольно небольшая база абонентов, но все они физики (физические лица), и выход в Интернет порядка 30 Мб/с. С физиками есть одна проблема — они любят торренты и P2P-сети. Если с последними всё относительно просто — если провайдер этого не делает, то и пользователи сами вряд ли скооперируются, то с торрентами настоящая беда. Трафик протокола BitTorrent сложно отследить стандартными средствами, тем более, что механизмы работы протокола постоянно адаптируют под меняющиеся реалии. Это стало настоящим бичом компании: в час наибольшей нагрузки сеть лежмя лежала.
ИТ-управлением компании тогда было принято тактическое решение: было куплено самое простое, достаточное по производительности, и недорогое DPI-оборудование, поставлено в разрыв и проблемы решились волшебным образом. Конечно, при этом пострадали особо активные абоненты, но в тот момент такая жертва была необходима. Далее, конечно, ситуацию меняли: ночью ограничение смягчалось, расширялся канал в интернет и т.д. Но DPI выручил и как сиюминутное решение и сейчас в этой сети активно применяется, уже после того, как покинул это место.

Анализ и контроль трафика может выполняться тремя способами:
1) На основе статических правил/политик
2) На основе сигнатур могут распознаваться приложения/протоколы/атаки/вирусная активность. Как правило базы сигнатур предоставляются вендором и обновляются автоматически с некой периодичностью.
3) Deep стоит понимать в неком философском смысле. Это не только глубокое проникновение в пакет, но и глубокий анализ. DPI-устройства могут анализировать поведение, активность хостов в сети. К примеру если с какого-то IP-адреса много попыток соединений на различные порты одного хоста, можно предположить, что это работает сканер портов, а если аналогично на различные хосты, но на один порт, то это может быть червь или вирус.
Благодаря такому поведенческому механизму DPI может распознавать новые протоколы VoIP, P2P или какие-либо другие ещё до выхода соответствующей сигнатуры.

Кроме таких необходимых вещей, как перечислены выше, DPI позволяет провайдеру предоставлять дополнительные услуги.
- прнцип работы DPI почти автоматически влечёт за собой увеличение безопасности абонента (защита от спама и атак) и комфорта его работы (параллельно включенные торренты или проблемы других абонентов не будут сказываться на более критичных сервисах, например, голосе или видео)
- дополнительное оборудование может обеспечить проверку трафика на вирусы
- на базе DPI можно организовать родительский контроль, управляемый самими родителями через портал.

Кроме того ещё одна киллер-фича такого плана железок — бескрайнее ромашковое поле для сбора статистики. Например, вы можете выбрать топ-10 посещаемых сайтов или пять пользователей, наиболее нагружающих канал или кто из пользователей ходил в запрещённые сектора интернета. Простор для вашей аналитической фантазии, в общем, бесконечный.
Кстати, DPI-оборудование может помочь вам обнаружить пользователей, замышляющих, что-то тёмное, отслеживать их активность в сети.
По сути СОРМ, который обязывают устанавливать всех операторов и есть DPI, просто управляете им не вы.

Если года 3-4 назад DPI-решения были относительной редкостью и прерогативой крупных провайдеров, то сейчас это направление набирает обороты и становится уже модным трендом современного телекома. Внедряют его и провайдеры и обычные предприятия для мониторинга или контроля активности своих сотрудников.

Хорошо это или плохо? Сложно ответить однозначно. Как бы то ни было теперь работает уже политика ограничения. С точки зрения пользователя, если с повсеместным внедрением СОРМа, вас можно было мониторить, отслеживать вашу активность в сети, то теперь вашим трафиком можно управлять.
Интернет всё меньше и меньше похож на нашу уютную маленькую сеть. В Китае вот и вовсе глобальная деанонимизация пользователей.
С точки зрения провайдеров и служб безопасности — это манна небесная.

В данный момент на рынке уже немало решений от различных производителей. Занимаются этим и монстры телекома и совсем узкоспециализированные неизвестные в широких кругах компании.

Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

Существует два распространенных типа подключения DPI: пассивный и активный.

Пассивный DPI

Пассивный DPI - DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.

Выявляем и блокируем пакеты пассивного DPI

Поддельные пакеты, формируемые DPI, легко обнаружить анализатором трафика, например, Wireshark.
Пробуем зайти на заблокированный сайт:

Мы видим, что сначала приходит пакет от DPI, с HTTP-перенаправлением кодом 302, а затем настоящий ответ от сайта. Ответ от сайта расценивается как ретрансмиссия и отбрасывается операционной системой. Браузер переходит по ссылке, указанной в ответе DPI, и мы видим страницу блокировки.

Рассмотрим пакет от DPI подробнее:

HTTP/1.1 302 Found Connection: close Location: http://warning.rt.ru/?id=17&st=0&dt=195.82.146.214&rs=http%3A%2F%2Frutracker.org%2F
В ответе DPI не устанавливается флаг «Don"t Fragment», и в поле Identification указано 1. Серверы в интернете обычно устанавливают бит «Don"t Fragment», и пакеты без этого бита встречаются нечасто. Мы можем использовать это в качестве отличительной особенности пакетов от DPI, вместе с тем фактом, что такие пакеты всегда содержат HTTP-перенаправление кодом 302, и написать правило iptables, блокирующее их:
# iptables -A FORWARD -p tcp --sport 80 -m u32 --u32 "0x4=0x10000 && 0x60=0x7761726e && 0x64=0x696e672e && 0x68=0x72742e72" -m comment --comment "Rostelecom HTTP" -j DROP
Что это такое? Модуль u32 iptables позволяет выполнять битовые операции и операции сравнения над 4-байтовыми данными в пакете. По смещению 0x4 хранится 2-байтное поле Indentification, сразу за ним идут 1-байтные поля Flags и Fragment Offset.
Начиная со смещения 0x60 расположен домен перенаправления (HTTP-заголовок Location).
Если Identification = 1, Flags = 0, Fragment Offset = 0, 0x60 = «warn», 0x64 = «ing.», 0x68 = «rt.ru», то отбрасываем пакет, и получаем настоящий ответ от сайта.

В случае с HTTPS-сайтами, DPI присылает TCP Reset-пакет, тоже с Identification = 1 и Flags = 0.

Активный DPI

Активный DPI - DPI, подключенный в сеть провайдера привычным образом, как и любое другое сетевое устройство. Провайдер настраивает маршрутизацию так, чтобы DPI получал трафик от пользователей к заблокированным IP-адресам или доменам, а DPI уже принимает решение о пропуске или блокировке трафика. Активный DPI может проверять как исходящий, так и входящий трафик, однако, если провайдер применяет DPI только для блокирования сайтов из реестра, чаще всего его настраивают на проверку только исходящего трафика.

Системы DPI разработаны таким образом, чтобы обрабатывать трафик с максимально возможной скоростью, исследуя только самые популярные и игнорируя нетипичные запросы, даже если они полностью соответствуют стандарту.

Изучаем стандарт HTTP

Типичные HTTP-запросы в упрощенном виде выглядят следующим образом:
GET / HTTP/1.1 Host: habrahabr.ru User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br Connection: keep-alive
Запрос начинается с HTTP-метода, затем следует один пробел, после него указывается путь, затем еще один пробел, и заканчивается строка протоколом и переносом строки CRLF.
Заголовки начинаются с большой буквы, после двоеточия ставится символ пробела.

Давайте заглянем в последнюю версию стандарта HTTP/1.1 от 2014 года. Согласно RFC 7230, HTTP-заголовки не зависят от регистра символов, а после двоеточия может стоять произвольное количество пробелов (или не быть их вовсе).
Each header field consists of a case-insensitive field name followed by a colon (":"), optional leading whitespace, the field value, and optional trailing whitespace. header-field = field-name ":" OWS field-value OWS field-name = token field-value = *(field-content / obs-fold) field-content = field-vchar [ 1*(SP / HTAB) field-vchar ] field-vchar = VCHAR / obs-text obs-fold = CRLF 1*(SP / HTAB) ; obsolete line folding
OWS - опциональный один или несколько символов пробела или табуляции, SP - одинарный символ пробела, HTAB - табуляция, CRLF - перенос строки и возврат каретки (\r\n).

Это значит, что запрос ниже полностью соответствует стандарту, его должны принять многие веб-серверы, придерживающиеся стандарта:
GET / HTTP/1.1 hoSt:habrahabr.ru user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br coNNecTion: keep-alive ← здесь символ табуляции между двоеточием и значением
На деле же, многие веб-серверы не любят символ табуляции в качестве разделителя, хотя подавляющее большинство серверов нормально обрабатывает и отсутствие пробелов между двоеточием в заголовках, и множество пробелов.

Старый стандарт, RFC 2616, рекомендует снисходительно парсить запросы и ответы сломанных веб-северов и клиентов, и корректно обрабатывать произвольное количество пробелов в самой первой строке HTTP-запросов и ответов в тех местах, где требуется только один:

Clients SHOULD be tolerant in parsing the Status-Line and servers tolerant when parsing the Request-Line. In particular, they SHOULD accept any amount of SP or HT characters between fields, even though only a single SP is required.
Этой рекомендации придерживаются далеко не все веб-серверы. Из-за двух пробелов между методом и путем ломаются некоторые сайты.

Спускаемся на уровень TCP

Соединение TCP начинается с SYN-запроса и SYN/ACK-ответа. В запросе клиент, среди прочей информации, указывает размер TCP-окна (TCP Window Size) - количество байт, которые он готов принимать без подтверждения передачи. Сервер тоже указывает это значение. В интернете используется значение MTU 1500, что позволяет отправить до 1460 байтов данных в одном TCP-пакете.
Если сервер указывает размер TCP-окна менее 1460, клиент отправит в первом пакете данных столько, сколько указано в этом параметре.

Если сервер пришлет TCP Window Size = 2 в SYN/ACK-пакете (или мы его изменим на это значение на стороне клиента), то браузер отправит HTTP-запрос двумя пакетами:

Пакет 1:
GE Пакет 2: T / HTTP/1.1 Host: habrahabr.ru User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:49.0) Gecko/20100101 Firefox/50.0 Accept-Encoding: gzip, deflate, br Connection: keep-alive

Используем особенности HTTP и TCP для обхода активного DPI

Многие решения DPI ожидают заголовки только в стандартном виде.
Для блокировки сайтов по домену или URI, они ищут строку "Host: " в теле запроса. Стоит заменить заголовок «Host» на «hoSt» или убрать пробел после двоеточия, и перед вами открывается запрошенный сайт.
Не все DPI можно обмануть таким простым трюком. DPI некоторых провайдеров корректно анализируют HTTP-заголовки в соответствии со стандартом, но не умеют собирать TCP-поток из нескольких пакетов. Для таких DPI подойдет «фрагментирование» пакета, путем искусственного уменьшения TCP Window Size.

В настоящий момент, в РФ DPI устанавливают и у конечных провайдеров, и на каналах транзитного трафика. Бывают случаи, когда одним способом можно обойти DPI вашего провайдера, но вы видите заглушку транзитного провайдера. В таких случаях нужно комбинировать все доступные способы.

Программа для обхода DPI

Я написал программу для обхода DPI под Windows: GoodbyeDPI .
Она умеет блокировать пакеты с перенаправлением от пассивного DPI, заменять Host на hoSt, удалять пробел между двоеточием и значением хоста в заголовке Host, «фрагментировать» HTTP и HTTPS-пакеты (устанавливать TCP Window Size), и добавлять дополнительный пробел между HTTP-методом и путем.
Преимущество этого метода обхода в том, что он полностью автономный: нет внешних серверов, которые могут заблокировать.

По умолчанию активированы опции, нацеленные на максимальную совместимость с провайдерами, но не на скорость работы. Запустите программу следующим образом:
goodbyedpi.exe -1 -a Если заблокированные сайты стали открываться, DPI вашего провайдера можно обойти.
Попробуйте запустить программу с параметром -2 и зайти на заблокированный HTTPS-сайт. Если все продолжает работать, попробуйте режим -3 и -4 (наиболее быстрый).
Некоторые провайдеры, например, Мегафон и Yota, не пропускают фрагментированные пакеты по HTTP, и сайты перестают открываться вообще. С такими провайдерами используйте опцию -3 -a

Эффективное проксирование для обхода блокировок по IP

В случае блокировок по IP-адресу, провайдеры фильтруют только исходящие запросы на IP-адреса из реестра, но не входящие пакеты с этих адресов.
Программа работает как эффективный прокси-сервер: исходящие от клиента пакеты отправляются на сервер ReQrypt в зашифрованном виде, сервер ReQrypt пересылает их серверу назначения с подменой исходящего IP-адреса на клиентский , сервер назначения отвечает клиенту напрямую, минуя ReQrypt.

Если наш компьютер находится за NAT, мы не можем просто отправить запрос на сервер ReQrypt и ожидать ответа от сайта. Ответ не дойдет, т.к. в таблице NAT не создана запись для этого IP-адреса.
Для «пробива» NAT, ReQrypt отправляет первый пакет в TCP-соединении напрямую сайту, но с TTL = 3. Он добавляет запись в NAT-таблицу роутера, но не доходит до сайта назначения.

Долгое время разработка была заморожена из-за того, что автор не мог найти сервер с возможностью спуфинга. Спуфинг IP-адресов часто используется для амплификации атак через DNS, NNTP и другие протоколы, из-за чего он запрещен у подавляющего большинства провайдеров. Но сервер все-таки был найден, хоть и не самый удачный. Разработка продолжается. Добавить метки

Система глубокого анализа пакетов, или DPI, анализирует проходящие через нее пакеты и перенаправляет, маркирует, блокирует или ограничивает их, предоставляя практически полный контроль над трафиком. Для идентификации пакетов разные устройства используют различные параметры: последовательность, размер, содержимое и т. д., что в итоге дает возможность перераспределять трафик между абонентами согласно приоритету и даже собирать подробную статистику соединения каждого отдельного пользователя.

Также DPI позволяет оптимизировать работу сети, не допуская ее перегрузок и защищая, например, от DDoS-атак. Кроме того, возможна оптимизация потока данных внутри сети за счет выделения приоритетного трафика в определенный день/время дня или для определенных категорий пользователей. Например, в ночные часы трафику с одного ресурса дозволено забирать больше полосы, чем днём. Днем же приоритет отдается другому веб-трафику.

Краткий обзор

На рынке услуг DPI представлены как иностранные, так и российские компании. Иностранные вендоры имеют большой опыт: почти все компании - Allot communications, Huawei Technologies, Procera Networks, Sandvine Incorporated - занимаются решениями DPI более 15 лет. Опыт отечественных производителей - NAPA Labs, Peter Service, VAS Experts, «Протей» - скромнее, но они привлекают клиентов за счет цены: более низкая стоимость решений в рублях - это отличное преимущество.

Зарубежные системы используют собственные аппаратные решения, что делает готовое устройство более надежным, но значительно влияет на стоимость в сторону ее увеличения. Российские же комплексы работают на стандартных серверах – это позволяет наращивать мощность решения. Кроме того, такой подход обеспечивает совместимость программного обеспечения с большинством аппаратных платформ. Потенциальная ложка дегтя: при таком подходе западные решения могут оказаться стабильнее отечественных (оптимизация систем под определенное железо всегда делала компьютеры более производительными и стабильными).

Важно: программное обеспечение всех российских систем «заточено» под российское законодательство. 9 сентября 2016 года «Коммерсантъ» опубликовал информацию о проекте дорожной карты по импортозамещению телекоммуникационного оборудования в России на 2016–2020 годы (читайте подробнее о ней в нашем блоге). Согласно этому документу, часть иностранных вендоров будет вынуждена уйти с российского рынка.

Представленные на рынке решения

Конкуренция на рынке достаточно сильная, поэтому вендоры предлагают линейки продуктов для разных сегментов (корпоративные пользователи, интернет-провайдеры и операторы связи) и гибкие настройки производительности.

Например, в линейке Procera PacketLogic представлены 6 устройств, которые отличаются по пропускной способности (от 1 Гбит/с до 600 Гбит/с), максимальному количеству подключений (от 400 тысяч до 240 миллионов), размеру аппаратной платформы (от 1U до 14U) и т. д. Младшая серия платформ PL1000 подойдет для серверов отчетности, статистики и трендов, а серия PL20000 имеет операторский класс и уже способна идентифицировать сетевой трафик при помощи DRDL в режиме реального времени, а также работать с асимметричным трафиком.

Стоит отметить решение компании Allot Communications. Устройства серии Allot NetEnforcer – это аппаратные комплексы для анализа и управления сетевым трафиком, которые оптимизируют услугу предоставления широкополосного доступа в интернет корпоративным пользователям и интернет-провайдерам. Решение также справляется с определением и разделением типа трафика (p2p, video, skype и т. п.).

Другой комплекс компании – Allot Service Gateway – создан для операторов сотовой связи. Шлюз позволяет идентифицировать трафик на скоростях до 160 Гбит/с, проводить его анализ и визуализацию для оптимизации полосы пропускания и улучшения качества сервиса.

Что касается российских производителей, то они тоже стараются не отставать. Мы в компании VAS Experts также специализируемся на создании и внедрении сервисов в области контроля и анализа трафика.

Например, в нашем портфеле есть система «СКАТ », которая имеет 6 аппаратных платформ: от «СКАТ-6» (6 Гбит/с, до 400 тысяч абонентов, 1U) до «СКАТ-160» (160 Гбит/с, до 16 миллионов абонентов, 3U). «СКАТ» различает более 6000 протоколов, может работать в 3 режимах («в разрыв», асимметрия исходящего трафика, зеркало трафика), управлять абонентами с динамическим IP и поддерживает несколько видов Netflow.

Еще одна российская компания Napa Labs выпускает программно-аппаратный комплекс DPI Equila операторского класса в двух вариантах с разной функциональностью, при этом рассчитывая на интерес интернет-провайдеров и корпоративных клиентов:

Другие вендоры нацелены лишь на отдельный сегмент рынка. Например, НТЦ «ПРОТЕЙ» поставляет программно-аппаратный комплекс «ПРОТЕЙ DPI» для операторов связи. Решения компании отличаются производительностью и решают задачи по анализу трафика и управлению им, предоставлению дополнительных услуг (VAS) и ограничению доступа к определенным ресурсам.


Компания Huawei предоставляет системы только для интернет-провайдеров. Её решение - это система для анализа трафика SIG9800-X - сервисный шлюз операторского класса, построенный на платформе маршрутизации. Она позволяет выполнять все функции DPI: анализ и управление трафиком, визуализацию отчетов по использованию полосы пропускания приложениями, QoS и защиту от сетевых атак.

Отдельные компоненты

Некоторые решения предоставляют дополнительные функции за отдельную плату. Помимо широкой линейки решений, мы в VAS Experts предлагаем на выбор 3 варианта лицензии для любой платформы «СКАТ» и дополнительный компонент – КЭШ Сервер.

Peter-Service предлагает на выбор 4 компонента своей DPI-системы TREC. Сюда относятся:

  • программная библиотека TREC.SDK для анализа трафика по технологии DPI (Deep Packet Inspection)
  • программные продукты TREC.Analyser и TREC.MDH для мониторинга, хранения и анализа трафика, а также управления им
  • программно-аппаратные комплексы для обработки трафика с предельной пропускной способностью в 10 Гбит/с, 80 Гбит/с и 600 Гбит/с
  • Professional Services - услуги по консультированию в области применения технологии DPI


Помимо отдельных продуктов со своим функционалом, можно докупить и модули для масштабирования сети в рамках одной линейки продуктов. Такую опцию поддерживают все производители систем DPI. Что касается масштабируемости российских систем, то из-за использования стандартного аппаратного обеспечения она не вызывает проблем – это, несомненно, является плюсом.

Виртуальные платформы

Главный плюс виртуальных платформ - возможность установки на любом совместимом железе. Такая опция есть далеко не у всех вендоров, что объясняется использованием иностранными системами специального аппаратного обеспечения. Но такую возможность предоставляет Procera на PacketLogic/V Platform и Sandvine на PTS Virtual Series. Что касается отечественного рынка, то развернуть свое решение в виртуальной среде предлагает Peter-Service.

Платформы обладают теми же функциями, что и аппаратные решения, но отличаются большей гибкостью и потребляют то количество ресурсов, которое необходимо при текущей нагрузке. Также они легко интегрируются с виртуальной инфраструктурой оператора, в том числе с виртуальной сетью.

Заключение

Подводя итоги: российские решения обладают более низкой стоимостью (по сравнению с зарубежными) и, соответственно, быстрой окупаемостью. Универсальная аппаратная и программная платформа позволяет легко добавлять сетевые интерфейсы, увеличивать память и количество ядер процессоров, но может повлечь за собой снижение стабильности.

Что касается иностранных поставщиков, то большинство из них работает на рынке уже более 15 лет и имеет широкие линейки продуктов для всех сегментов. Также они выпускают производительные и стабильные системы на собственных аппаратных платформах, однако такие возможности влекут за собой несколько недостатков: высокую стоимость систем и дополнительных модулей плюс дополнительные расходы на лицензию при масштабировании.

Дополнительное чтение

Бурный рост и распространение большого количества современных приложений в сетях приводит к тому, что их становится всё труднее и труднее идентифицировать и классифицировать. Это приводит к тому, что современные корпоративные сети становятся невидимыми для IT-служб организаций.

Организации не знают, как используются ресурсы корпоративной сети, какие приложения в ней работают, сколько ресурсов используется нежелательными приложениями. Отсутствие этих знаний приводит к тому, что компании не могут контролировать и оптимизировать использование приложений и ресурсов своей корпоративной сети. Как следствие, из-за большого количества нежелательных приложений в сети, перегружающих каналы связи и ресурсы сети, пользователи испытывают проблемы с производительностью важных и критичных бизнес-приложений.

Трудности с обнаружением приложений связаны, в первую очередь, с эволюцией самих приложений и сетевых протоколов которые они используют. Всё больше приложений используют динамически назначаемые порты, и поэтому традиционных методов квалификации сетевых соединений по статическим портам TCP/UDP уже недостаточно. Приложения становятся более закрытыми и непрозрачными, зачастую используются различные механизмы шифрования и туннелирования. Многие приложения в рамках сессий предполагают как передачу данных, так и одновременную передачу голосовых и видео потоков. Для доступа к приложениям удобно использовать Web-интерфейс, так как при этом не требуется инсталляции дополнительного клиентского программного обеспечения – пользователю достаточно иметь только Web-браузер. Использование Web-браузера удобно, доступно, и позволяет использовать любое устройство (персональный компьютер, мобильный телефон, планшет и т.д.) для доступа к приложению. Таким образом, многие приложения становятся “скрытыми” за протоколами шифрования HTTP/HTTPS, которые обеспечивают их передачу, и по сути становятся новыми транспортными протоколами.

Многие традиционные средства классификации сетевого трафика (например, NBAR) неспособны обнаруживать приложения которые используют протокол IPv6 в своем трафике.

Другая тенденция, связанная с распространением так называемых облачных технологий, предполагает консолидацию всех ресурсов организации в центре обработки данных хостинг провайдера. Консолидация всех сервисов в одном центре приводит к тому, что организации тем самым удаляют ресурсы от своих филиалов и конечных пользователей и становятся зависимыми от производительности и пропускной способности каналов связи. Многие существующие распределенные WAN-сети построены на устаревшем оборудовании, которое не может обеспечить эффективное взаимодействие пользовательской и облачной инфраструктур и внедрение облачных сервисов по причине невысокой производительности, отсутствия возможностей для безопасной и надежной передачи облачных приложений, а также недостатка средств для мониторинга и управления облачным трафиком. Поэтому необходимо понимать, насколько хорошо работают приложения и какое время отклика у удаленных пользователей.

Для таких целей и используется технология DPI — deep packet inspection, устройство или программный комплекс предназначенные для «глубокого»(вплоть до 7 уровня модели OSI) анализа и классификации проходящих через него пакетов. Помимо изучения пакетов по неким стандартным правилам, по которым можно однозначно определить принадлежность пакета к определённому приложению, скажем, по формату заголовков, номерам портов и т.п., система DPI осуществляет и так называемый поведенческий анализ трафика, который позволяет распознать приложения, не использующие для обмена данными заранее известные заголовки и структуры данных. Яркий пример тому – Bittorrent. На основе анализа протоколов, портов, сигнатур и т.д., DPI определяет к какому типу трафика принадлежит данный пакет и в зависимости от заданных правил может произвести какие либо действия над трафиком.

Стоит отметить, что наиболее крупными игроками и их продуктами на рынке standalone DPI являются Allot Communications , Procera Networks , Cisco , Sandvine . Всё более и более популярными становятся интегрированные в маршрутизаторы решения DPI. Так поступают многие - Cisco, Juniper, Ericsson и т.д. по списку. Такие решения, как правило, достаточно компромиссные, и не могут предоставить весь спектр сервисов, доступных standalone решениям. Важной отличительной особенностью настоящего DPI является возможность аналитики трафика за счёт сбора различного рода статистики с разбивкой по приложениям, по тарифным планам, по регионам, по типам абонентских устройств и т.д. По этой причине замечательный NBAR имени Cisco хоть и позволяет детектировать и осуществлять контроль трафика по приложениям, полноценным решением DPI не является, т.к. в нём отсутствует ряд важных компонентов. Система DPI, как правило, устанавливается на границе сети оператора в разрыв существующих аплинков, уходящих от пограничных маршрутизаторов. Тем самым, весь трафик, который покидает или входит в сеть оператора, проходит через DPI, что даёт возможность его мониторинга и контроля. Для решения специфических задач можно устанавливать эту систему не на границе сети, а спускать её ниже, ближе к конечным пользователям, на уровень BRAS/CMTS/GGSN/… Это может быть полезно тем операторам, которые по ряду причин помимо утилизации внешних каналов также хотят решать задачу контроля внутренних. Естественно, здесь речь идёт о достаточно крупных сервис-провайдерах с большой распределённой сетью масштабов страны и с достаточно дорогими канальными ёмкостями.

Основная проблема всех существующих решений DPI заключается в том, что для того, чтобы однозначно определить принадлежность того или иного потока данных к одному из сетевых приложений, устройство, осуществляющее анализ трафика, должно увидеть оба направления сессии. Иными словами, входящий и исходящий трафик в пределах одного flow должны пройти через одно и то же устройство. Если оборудование понимает, что видит только одно направление в рамках сессии, оно не имеет возможности соотнести данный flow с какой-либо известной категорией трафика со всеми вытекающими последствиями. В связи с этим, когда речь заходит о контроле аплинков, встаёт очень логичный вопрос об асимметричном трафике, который для более-менее крупных операторов является не экзотикой, а обыденностью. Разные вендоры решают эту задачу по-разному.

Что дальше?

Реализация QoS

С точки зрения эксплуатации, оператор может контролировать утилизацию подключенных через DPI каналов на уровне приложений. Раньше задачи реализации QoS (Quality of Service) решались исключительно средствами построения очередей на основании маркировки трафика служебными битами в заголовках IP, 802.1q и MPLS, выделяя наиболее приоритетный трафик (разного рода VPN’ы, IPTV, SIP и т.д.), и гарантируя ему определённую пропускную способность в любой момент времени. Трафик типа Best Effort, к которому относится весь интернет трафик домашних абонентов (HSI - High Speed Internet), оставался фактически без контроля, что давало возможность тому же Bittorrent забрать себе всю свободную полосу, что, в свою очередь, вело к деградации любых других веб-приложений. С использованием DPI у оператора появляется возможность распределить канал между различными приложениями. К примеру, в ночные часы разрешить трафику Bittorrent забирать себе больше полосы, чем днём, в часы-пик, когда в сети ходит большое количество другого веб-трафика. Другая популярная мера у многих мобильных операторов – блокировка Skype-трафика, а также любых видов SIP-телефонии. Вместо полной блокировки оператор может разрешать работу данных протоколов, но на очень низкой скорости с соответствующей деградацией качества предоставления сервиса у конкретного приложения, чтобы вынудить пользователя платить за услуги традиционной телефонии, либо за специальный пакет услуг, разрешающий доступ к VoIP-сервисам.

Subscriber Management

Важным моментом является то, что правила, на основании которых выполняется шейпинг/блокировка, могут быть заданы посредством двух основных базисов – per-service или per-subscriber. В первом случае простейшим образом оговаривается, что конкретному приложению позволяется утилизировать определённую полосу. Во втором привязка приложения к полосе осуществляется для каждого подписчика или группы подписчиков независимо от других, что производится через интеграцию DPI с существующими OSS/BSS системами оператора. Т.е. можно настроить систему таким образом, что подписчик Вася, который за неделю накачал торрентов на 100 гигабайт, до конца месяца будет ограничен по скорости скачивания этих же торрентов на уровне 70% от купленного им тарифа. А у подписчика Пети, который купил дополнительную услугу под названием «Skype без проблем», трафик приложения Skype не будет блокироваться ни при каких условиях, но любой другой – легко. Можно сделать привязку к User-Agent и разрешить браузинг только при помощи рекомендуемых браузеров, можно делать хитрые редиректы в зависимости от типа браузера или ОС. Иными словами, гибкость тарифных планов и опций ограничена лишь здравым смыслом. Если же речь идёт о трафике мобильных операторов, то DPI позволяет контролировать загрузку каждой базовой станции в отдельности, справедливо распределяя ресурсы БС таким образом, чтобы все пользователи остались довольны качеством сервиса. Разумеется, данную задачу можно решать силами мобильного ядра, но это не всегда бюджетно.

Зачем это всё надо?

Звучит это всё, конечно, не очень оптимистично, но для многих операторов по экономическим причинам значительно дешевле поставить систему DPI для контроля утилизации каналов, чем расширять аплинки. Причём, сделать это без особых потерь абонентской базы, т.к. давно известно, что большая часть трафика генерируется примерно 5% наиболее активных абонентов. И в этом случае оператору экономически целесообразней снизить абонентскую базу, но платить меньше денег за аплинки, т.к. уйдут самые активные качальщики, из-за которых оператор вынужден каждый месяц платить немаленькую сумму за аплинки. Это ночной кошмар любого маркетолога, но в некоторых случаях потерять клиентов – выгодно. Деликатность ситуации заключается в том, что рано или поздно наступит такой момент, когда все операторы так или иначе будут что-либо шейпить при помощи DPI. Т.е. если сегодня один оператор начнёт рубить торренты, самые активные качальщики разом уйдут к другому. После этого у того сильно скакнёт загрузка его каналов и клиенты начнут жаловаться на то, что плохо работает веб-браузинг. Оператор подумает, подсчитает, и в итоге купит DPI. И так до тех пор, пока все игроки на рынке не обзаведутся подобной системой. Разумеется, установка DPI не снимает с оператора задачу по периодическому расширению аплинков и увеличению скорости доступа для подписчиков. Просто теперь эти расширения не будут бесконтрольными. Т.е. оператор всегда будет знать трафик какого типа и в каком количестве пойдёт через его каналы, это будет прогнозируемо. Разумеется, когда речь идёт о коробках стоимостью $1M, дело не только в аплинках, необходимо это понимать.

Новая модель услуг

Мы плавно перешли к задаче развития сети и её услуг. Глядя на то, как подписчики пользуются купленной ими полосой, какие приложения используют, оператор может изучать потребности каждой категории подписчиков и предлагать им более гибкие и совершенные тарифные планы. К примеру, основываясь на том, что подписчики тарифа Silver активно пользуются услугами сторонней SIP-телефонии, можно предложить им дополнительный пакет, позволяющий использовать аналогичный сервис, предоставляемый оператором, но со скидкой. Остальные подписчики при желании воспользоваться более дешёвой телефонией будут мотивированы переходить на более дорогой тариф, приобретая дополнительные бонусы в виде повышения скорости. Можно придумать много кейсов, это лишь один из них. Подход очень интересный, и выгодный как для пользователя, так и для оператора. Тенденции развития телекоммуникационного рынка таковы, что для операторов продавать трубу, как они делают сейчас, скоро будет просто невыгодно, есть масса исследований, подтверждающих это. ARPU не увеличивается, конкуренция высока, оборудование необходимо апгрейдить всё чаще и чаще, расходы операторов растут, а желание получать прибыль никуда не девается. Задача DPI в данном разрезе - реализовать новые модели предоставления услуг конечному пользователю. Некоторые мировые операторы маленькими шагами уже двигаются к данной идее. В России, очевидно, процесс этот будет долгим и мучительным, т.к. для достижения задачи необходимо перестраивать мозги абонентов на другую частоту, что очень непросто, т.к. отучить человека не качать торренты, а покупать легальный контент - непросто.

DPI отлично умеет работать в связке с различными VAS (Value Added Services) системами, такими как антиспам, антивирус, видеооптимизаторы и т.п. Суть функционала заключается в отводе части трафика по заданным администратором критериям, на сторонние устройства, для осуществления более глубокого анализа и обработки.

Довольно легко можно организовать предоставление пользователям услуг по родительскому контролю, которые становятся всё более и более актуальными.

Спецслужбы

В конце хотелось бы сказать пару слов о том, для чего также закупается DPI, кроме как для издевательств над абонентами. Оборудование DPI, в связи со своим умением видеть всё и вся, что происходит на сети, является весьма интересным устройством для товарищей в погонах, без которых сейчас никуда. При помощи DPI спецслужбы могут вести наблюдение за сетевой активностью того или иного пользователя. Можно перекрыть ему VPN, HTTPS и прочие прелести, делающие невозможным анализ контента. Разумеется, можно закрывать доступ пользователей к неугодным властям сайтам, что очень актуально в связи с последними событиями в законотворческой деятельности в России.

Сетевой нейтралитет

И, наконец, хотелось бы сказать пару слов о многострадальном сетевом нейтралитете, который существует в некоторых странах. Если коротко, то операторам в отсутствие перегрузок на аплинках нынче запрещено блокировать трафик законных/легальных приложений. Т.е. начать выборочную блокировку любого трафика теперь разрешается только в случае возникновения перегрузки. Но, в то же время, ещё нет чётких формулировок на тему того, какие именно приложения являются законными, а какие – нет. По логике, незаконным может быть только контент, а не приложения. К примеру, детская порнография явно относится к незаконному контенту, но протоколы HTTP и Bittorrent, посредством которых можно осуществлять его передачу – вполне себе легальны. Так что тут имеется ещё достаточно большой простор для споров, а тема, на мой взгляд, весьма интересна. Пока что у нас сетевым нейтралитетом не пахнет, посему у операторов на руках - все карты для управления трафиком при помощи DPI.

Предлагаем вашему вниманию интервью с человеком, не понаслышке знакомым с устройством и спецификой работы . В сегодняшнем разговоре с ним мы обсудили вопросы, актуальные в последнее время и для русскоязычного сегмента интернета: роль государства и его сетевая цензура, а также коснулись примеров скрытого управления Интернетом и обществом на примере Китая.

Сам герой интервью пожелал остаться анонимным. Это бывший российский ИТ-специалист, который уже 6 лет проживает в континентальном Китае, работая в местной телекоммуникационной компании старшим инженером-администратором. Это серьёзный разговор о сетевых технологиях... обращённых против самой сети, а также о будущем глобальной сети и открытости нашего общества.

Дело даже уже не в инициативах государства российского — как грибы стали появляться уже частные фирмы, которые предлагают собственные решения цензурирования сети, те же фильтры трафика по спискам Роскомнадзора и Минюста, например широко известный Carbon Reductor . Поэтому стоит взглянуть на этот китайский опыт со всей серьёзностью и внимательностью, дабы заранее осознать всю глубину той норки, в которую нас так старательно пытаются затолкнуть.

— Расскажите про Великий китайский фаервол, который китайцы сами называют как «Золотой щит», что он из себя представляет в техническом плане? Каково его главное предназначение?

На данный момент это три составляющие, три дракона, на которых он базируется — технологии Deep Packet Inspection (DPI), Connection probe и Support vector machines (SVM). Все вместе они представляют собой очень продвинутый фильтр, который блокирует доступ к запрещенным коммунистической партией ресурсам из внешнего интернета.

Официальными идеологами при этом заявляется, что он якобы должен оградить психику китайцев от тлетворного влияния Запада, по мнению других же, это откровенная государственная цензура международной части сети Интернет.

— Давайте подробно рассмотрим каждую из названных составляющих. Итак, что такое Deep Packet Inspection?

Говоря кратко, это технология низкоуровневой проверки и фильтрации сетевых пакетов по их содержимому. Тут сразу нужно провести красную черту: коренное отличие от уже всем привычных брандмаеров в том, что DPI анализирует не столько заголовки пакетов (что, конечно, тоже может), сколько зарывается в содержимое транзитного трафика на уровнях модели OSI со второго и выше.

Подчеркну, всё это делается в режиме реального времени и с точки зрения внешнего наблюдателя никаких задержек или манипуляций с трафиком практически не заметно.

— В России в последнее время очень много пишут о внедрении DPI, многие федеральные операторы (особенно это касается мобильных операторов) даже якобы уже имеют его в рабочем виде. Можно ли сказать, что нами перенимается китайский опыт?

Российские и китайские DPI кроме общего названия и принципов работы практически ничего не объединяет. Дело тут, прежде всего в масштабе и серьёзности их реализации. Как очевидно из описанного ранее способа работы, DPI потребляет прорву ресурсов, ведь все многочисленные операции производимые им (например, дефрагментация пакетов, их распаковка, распознавание типов данных и протоколов, сканирование содержимого, многочисленные эвристики и многое-многое другое) должны происходить в режиме реального времени. Поэтому главный критерий степени серьёзности DPI, это глубина анализа транзитного трафика, который может позволить себе эта система, чтобы при этом сохранять приемлемый уровень латентности.

Если провести аналогии с антивирусными технологиями — насколько глубоко может позволить погрузиться в код эмулятор процессора для проверяемого файла? Даже если технические возможности и ресурсы позволяют трассировать код до бесконечности, погружаясь во всё новые ветвления и процедуры, общие требования к латентности системы всегда имеют волне конкретные ограничения, поэтому глубина погружения всегда ограничена.

Часто в этой ситуации применяются технологические или оптимизирующие ноу-хау, а можно пойти иначе — просто радикально увеличить вычислительную мощность. Так вот когда мы говорим о китайском DPI, нужно понимать, что это именно последний путь — реально это датацентр размером с самый настоящий районный город, который применяет роевой интеллект (Swarm Intellegence) для управления балансировкой и обработкой данных между его бесчисленными частями-узлами.

Возвращаясь к вопросу — если отечественные реализации DPI стоят, насколько я себе представляю, до 50 млн. долларов, то китайская национальная система приближается примерно к миллиарду. Российский DPI чисто технически не в состоянии осуществлять действительно глубокий анализ проходящих пакетов, а, значит, его заградительные барьеры потенциально будут обходиться со стороны квалифицированных пользователей множеством различных способов. Поэтому российская DPI китайской рознь...

— Переходим ко второму китайскому дракону — что такое «connection probe»?

Это дальнейшая эволюция DPI — сращивание прокси-сервера и низкоуровневого фильтрующего механизма. В этом случае при попытке подключения к любому сервису за пределами национального сетевого шлюза сначала происходит «заморозка» такого запроса, и последующее опережающее подключение по целевому адресу уже от имени DPI. Это, так сказать, проактивная система тестирования и идентификации типа запрашиваемых во внешнем интернете сервисов.

Если, например, вы используете запрещённый в Китае сервис, то его клиентский протокол должен быть серьёзно обфусцирован, чтобы суметь преодолеть сигнатурный механизм поиска DPI. При использовании против вас connection probe потребуется обфускация ответа уже и со стороны сервера, т.е. в общем случае вы не сможете пользоваться стандартными публичными сервисами в случае их запрета.

На данный момент connection probe позволяет достаточно точно и малыми ресурсами определить тип внешнего сервиса, которым желает воспользоваться пользователь из Китая. Если приводить более жизненный пример, то именно эта технология была с успехом применена против оверлейной сети i2p, после чего оная в Китае была заблокирована.

— Кстати говоря, что можно сказать о системах типах Tor, i2p или VPN? Насколько они реально эффективны в условиях подобной агрессивной сетевой цензуры?

Не хочу никого огорчать, но они малоэффективны и вовсе не так живучи, как об этом шумит «народная молва» — все упомянутые системы в Китае давно заблокированы. Более того, заблокировать Tor или i2p можно десятком разных способов, самый простой из которых — блокировка bootstrap-процедуры в момент инициализации их клиентов. Заблокировать подобным образом входные ноды этих сетей (например, Tor directory nodes) — тривиальная задача даже для администратора средней руки. Если же говорить с учётом тех возможностей, которые есть у правительства Китая, в первую очередь я имею в виду высокотехнологическую дубинку DPI — это и вовсе тривиальная задача.

Вы можете заглянуть в i2p netDB — там нет нод с китайскими IP, если же посмотреть на открытую статистику пользователей сервиса Tor, то они фиксируют максимум 1000 уникальных китайских IP в месяц, и это на такую многомиллиардную страну как Китай, у которой самое большое количество интернет-пользователей в мире.

Кстати, в этом случае «прорыва» китайцами применяется obfsproxy, хотя и его блокировка, насколько я могу судить, на данном этапе развития Великого китайского фаервола не представляет технических сложностей, просто это лишено смысла в силу малочисленности пользователей этой экзотической технологии, а также постоянным сбоям в её работе.

— Как обстоят дела с VPN и SSH?

Ситуация с VPN довольно противоречивая — отдельные провайдеры его агрессивно подавляют, некоторые — почти нет. Своими блокировками широко известен China Unicom — один из крупнейших магистральных провайдеров континентального Китая. На данный момент им определяется и блокируется более 5 разновидностей VPN. Если быть более конкретным, это: OpenVPN, PPTP, L2TP, SSTP и Cisco .

К тому же, когда проходит очередной съезд Коммунистической партии Китая, интернет фильтруют так, что даже то, что работало в спокойные времена, может перестать работать в эти дни.

Говоря более общо, насколько мне известно, правительство Китая собирается лицензировать сферу использования VPN, то есть после соответствующей государственной регистрации разрешить применение VPN в целях легального бизнеса, и это будет своя собственная версия протокола на базе OpenVPN. После вступления этого закона в силу, все отличные от государственного варианта VPN-протоколы будут тотально «резаться» на трансграничном шлюзе.

Что же касается сервиса SSH — попытки его блокировок также имеют место быть. По ряду косвенных признаков подобные испытания проводятся и в публичных сетях, в таких случаях в логах можно найти множество сброшенных или неудачных соединений с типичной ошибкой «Bad protocol version identification». При этом при попытке подключения к серверам вне Китая, на них впоследствии можно увидеть несколько ложных попыток подключения с китайских IP, предшествующих самому сброшенному подключению. Предположительно, это скрининг принимающего сервера по типу connection probe, который мы уже обсудили выше.

Часто подобные тестовые подключения принимают за brute force, хотя в данном случае это скорее попытка пассивной идентификации удаленной системы/протокола по характерным паттернам отклика (fingerprint scanning).

После идентификации подобного сервиса его адрес вносится (как правило, на 1-3 месяца) в соответствующие фильтры и стоп-списки, чтобы впредь в целях экономии ресурсов избегать рекурсивных запросов по уже однажды обнаруженному и идентифицированному хосту. Подобные фильтры постепенно пополняются запрещенными в Китае сервисами. Так, в том числе благодаря connection probe, полностью в автоматическом режиме растёт и расширяется база Великого китайского фаервола.

— Чтобы сделать наше описание полным, давайте рассмотрим и последнего зловещего дракона — Support vector machines (SVM).

Я бы хотел подчеркнуть, что и connection probe, и тем более SVM, следует рассматривать как расширение, ещё большую интеллектуализацию DPI. Метод опорных векторов (SVM) — ещё один шаг в этом направлении. Это алгоритм машинного обучения, применяемый для автоматической классификации больших массивов разнородных данных.

Мы уже обсуждали, что DPI — это фильтрующая машина, вычленяющая некие данные в потоке согласно статическим правилам или сигнатурам. В противоположность к этому SVM даёт возможность сканировать интернет-поток на основе статистического анализа без жесткого набора правил. Например, проводить анализ частоты определённых символов, длин пакетов, анализа подозрительной активности с заданных адресов, замечать различные диспропорции и сетевые аномалии, этим выявляя скрытые закономерности. SVM — это интеллектуальная насадка на DPI, которая, продолжая нашу антивирусную аналогию, привносит эвристические возможности («shrinking» heuristic) к процессу фильтрации интернет-трафика.

Приведу пример: в Китае нельзя упоминать о годовщине протестов на площади Тьянаньмэнь в Пекине 4 июня 1989 года, когда на волне крупных беспорядков множество студентов были буквально раздавлены танками. DPI, динамически сканируя национальный трафик, блокирует любые URL с упоминаниями указанной даты.

После того как китайцы стали обозначать эту дату как 35-го мая (и множеством других остроумных способов), обычный сигнатурный анализ значительно затруднился. Но эвристика SVM пришла на помощь, она способна, распознавая контекст, обнаруживать такие «подозрительные даты» с минимальным вмешательством человека.

— Подводя черту, учитывая всё сказанное, можно ли сказать, что планируемое внедрение «всероссийского» DPI со стороны Ростелекома — это некое зловещее предзнаменование, чёрная метка для всего Рунета?

Нужно понимать, что DPI сам по себе — это мощнейший современный инструмент, и как он будет использован — это уже дело моральных и профессиональных принципов тех людей, в чьих руках он окажется.

Так DPI позволяет выполнять огромное количество полезной для сети работы — многие мировые провайдеры применяют его для контроля и балансировки своего трафика, мобильные операторы с его помощью собирают подробную статистику для каждого отдельного пользователя, также эта технология даёт возможность адаптивно управлять скоростью передачи отдельных пакетов (QoS) и многое другое. В целом, DPI обеспечивает огромное количество уникальных возможностей в широком спектре, от высококачественного шейпинга до создания продвинутых шпионских систем типа PRISM.

— Абстрагируясь от китайских городов-датацентров и их ультрасовременной технической начинки, что из себя представляет китайский интернет с точки зрения внешнего наблюдателя? Какие у него особенности развития, какова его специфика адаптации к подобной цензурирующей среде?

— Дело в том, что интернет сам по себе — не только в Китае, — достаточно реактивная среда. Методы обычной цензуры, основанные на технических средствах и грубых запретах, слабо применимы к ней.

К примеру, если популярный блогер оставляет собственное критическое мнение о правительстве КНР в своем блоге, прежде чем цензура заметит и заблокирует его, как правило, успеет появиться несколько кросс-постов исходного сообщения. И далее, если цензоры начинают охотиться за всеми ними, часто самопроизвольно срабатывает эффект Стрейзанд — попытка закрыть какую-то информацию, наоборот, привлекает к ней еще большее внимание сообщества. Этот феномен — следствие большой реактивности и саморефлексии сетевой среды.

Поэтому, несмотря на огромное количество реальной цензуры в Китае и блокирования подчас целых порталов масштаба крупного новостного агентства, в последнее время в стране набирает обороты альтернативный тренд по использованию именно нетехнических методов воздействия на общественное мнение. Их главная суть — если заткнуть рот оппоненту в сети не всегда возможно, то почему бы тогда не возглавить подобные дискуссии в нужном для государства русле?

— Я читал, что недавно было официально заявлено, что Китай создал подразделение государственных аналитиков мнений в Интернете, в которое набрал 2 миллиона сотрудников. Предполагается, что эти аналитики будут патрулировать виртуальное пространство в качестве своей основной работы. У них нет никаких прав по удалению какой-либо информации — их задача контролировать интернет-тренды, изучать общественные настроения граждан КНР, а также манипулировать ими согласно специальной методике.

— Да, это та самая невидимая сетевая армия, оружие которой — специальные методы скрытого воздействия на Сеть. Чтобы пояснить эту стратегию более выпукло, приведу реальный случай.

Примерно два года тому назад китайский интернет взорвался от довольно странного случая смерти. Молодой парень, который был арестован за незаконную вырубку леса рядом с домом, попал в китайскую тюрьму. Там он скончался через пару дней при довольно странных обстоятельствах. Власти официально объяснили причину его смерти якобы тем, что «в тюрьме он играл в прятки с сокамерниками и, споткнувшись, упал, ударившись при этом головой о стенку». Китайский интернет очень живо подхватил эту историю, назову лишь одну цифру: на QQ.com в течение суток появилось более 50 000 комментариев по этому делу, все остальные интернет-платформы также были буквально переполнены возмущением от нелепости этого инцидента. Сказать, что цензоры просто физически не справлялись с удалением следов «народного гнева» в эти дни — не сказать ничего.

По забавному стечению обстоятельств иероглиф «играть в прятки» в китайском языке имеет и второе значение — «убегать от кошки», чем и воспользовались китайские блогеры. Даже по прошествии нескольких лет в интернете можно нагуглить огромное количество упоминаний этой истории про погибшего в китайской тюрьме заключенного, «который разбился о стенку, пытаясь спастись бегством от кошки ». Блогеры своей версией про роковую кошку пытались довести абсурд официального объяснения до предела, что породило то, что сейчас бы назвали «интернет-мемом». Тогда китайский сегмент интернета просто бурлил, цензоры не могли повлиять на ситуацию, своими действиями замалчивания и удаления сообщений лишь подливая масла в огонь, раскручивая маховик недоверия и острой критики в адрес правительства КНР.

И тут на пике недовольства что-то произошло: в игру включилась совсем другая правительственная команда, которая вместо прежних попыток массированного закрытия ресурсов неожиданно предложила конкурс среди самых известных блогеров Китая. Самим интернетчикам путем сетевого голосования было предложено отобрать 5 самых авторитетных для них блогеров, которым впоследствии дали полный доступ к месту происшествия. Власть дала им все данные, все факты, свободный доступ ко всем свидетелям. Эти блогеры завалили сеть своими фотографиями и комментариями с места событий, впрочем, так и не сумев что-то добавить нового по существу этой странной смерти.

Но зато с общественным мнением что-то произошло — как только информация с места происшествия стала поступать из независимых источников и в огромных дозах, как только все данные стали максимально открытыми — люди почти сразу потеряли интерес к этому делу, а градус негодования быстро сошел на нет. Таким образом, после этого вмешательства получилось очень быстро подавить тайфун антиправительственной эпидемии.

По понятным причинам нет возможности рассказать множество похожих инцидентов в китайнете, но важно нечто общее для всех подобных историй — методы контроля эволюционируют, становятся более тонкими, скрытыми и многоходовыми. Помимо жесткой и безаппеляционной цензуры путем чисто технических блокировок, в случае сетевых эпидемий применяются совершенно иные технологии воздействия на общественное мнение.

Поэтому не стоит акцентировать внимание лишь на технических средствах, которые в Китае также бурно развиваются, ведь прямо на наших глазах создаются и оттачиваются принципиально новые технологии управления, где зачастую все плюсы интернета как открытой среды власти пытаются использовать с обратным знаком — уже для скрытого контроля и ограничения свободы мнений.

— Можно ли как-то сравнить интернет Китая с привычным Рунетом по степени свободы их граждан?

— На самом низшем уровне в Китае действительно практически нет цензуры — если вы посмотрите их социальные сети, то они переполнены слухами и обвинениями власти, где на общий клубок эмоций туго намотаны правда и откровенная чушь. Практически никто не читает это, равно как личную стену, я думаю, 70% безвестных участников нашей соцсети ВКонтакте, которые вольны писать там все, что им только вздумается.

Следующий уровень — это систематическая критика, аргументация, яркие и активные блогеры со своей аудиторией, вот здесь уже наблюдается определенное напряжение, есть активная цензура и удаление провокационных сообщений. За квартал, по данным киетолога Г.Кинга из Гарварда, органами сетевой цензуры КНР удаляются до миллиона сообщений и комментариев к ним. И, наконец, третий уровень — топ-блогеры с огромной аудиторией. Либо же это ситуации, когда какая-то тема выстреливает и получает широкий общественный и сетевой резонанс.

Тут возможны самые разные варианты активного противодействия и наказания: если блогера-инициатора можно в чем-то обвинить, его могут арестовать, вырвав «больной зуб с корнем». Если сетевая эпидемия слишком сильна и делокализована, то к делу подключают «сетевой спецназ», который пытается «спустить пар» с помощью различных хитроумных технологий контроля общества через soft power (например, описанная ранее история с неудачной попыткой бегства заключенного от кошки).

Все эти три одновременно существующих уровня создают противоречивое мнение и определенную путаницу, часто пуская первое впечатление стороннего человека по ложному следу. Так случайные и внешние по отношению к стране люди («туристы») видят множество антиправительственной критики в безымянных акаунтах, что создает ложное ощущение относительной свободы. С другой стороны, в прошлом году власти арестовали сразу 6 известных блогеров и бросили в тюрьму, обвинив их в «распространении слухов о готовящемся военном перевороте».

В последнем случае не стоит пытаться слишком серьезно осмысливать официальные формулировки, ведь когда здесь закрывали Википедию, это обосновали борьбой «с пропагандой агрессии и насилия», которую якобы и осуществляет по всему миру эта свободная онлайн-энциклопедия.

— Насчет трех «китайских уровней» всё ясно. Что можно сказать насчет анонимности?

— В Китае нет анонимности. В КНР действуют законы, обязывающие блогеров регистрироваться с указанием своих реальных паспортных данных. Это делается под предлогом «улучшения доверия в сети друг к другу и защиты интересов сторонних пользователей».

Также действует закон, обязывающий документально удостоверять свою личность при заключении любых соглашений на получение услуг доступа в интернет. Все сайты, физически расположенные в самом Китае, проходят в Министерстве промышленности и информационных технологий обязательную регистрацию, в которой достаточно педантично расписано, что это за сайт и кто за что на нем отвечает. Таким образом, при любом исходе событий всегда есть конкретный ответственный за любые потенциальные нарушения.

Добавьте к этому постоянный фоновый контроль (я говорю не только про интернет, вспомните хотя бы недавний запрет в США продаж оборудования от Huawei, которое оказалось нашпигованным жучками, или питерскую историю про китайские утюги, которые самовольно подключаются к публичным сетям Wi-Fi), где весь ваш трафик и активность в сети тщательно контролируют и логируют. Здесь любой, даже самый технически отсталый пользователь сети прекрасно понимает, что его активность фиксируется.

Например, вы можете попробовать использовать VPN или переписываться с кем-то за рубежом посредством PGP, и при должной сноровке и квалификации это может даже сработать. Но при этом каждому очевидно, что сам факт использования подобных технологий будет зафиксирован, что в будущем при диспозиции с другими отягчающими обстоятельствами может привести к вашему преследованию. Эвристические технологии фильтрации типа SVM, кстати, способны автоматически засекать использование вами практически любой криптографии, что дополнительно привлекает внимание сначала к трафику, а затем уже к вашей персоне.

Сформулирую главное наблюдение. После 6 лет местной жизни у меня сложилось впечатление, что Китай со своей системой тотального фонового контроля и периодических жестко-демонстративных наказаний, пытается настойчиво выработать модель поведения граждан, в рамках которой человек добровольно и подсознательно подвергал бы себя акту самоцензуры, постоянно отдавая себе отчет, что каждый его шаг или высказывание в рамках сети тщательно фиксируется. Желание сдерживать себя, движимое прежде всего подспудным страхом, со временем становится второй натурой.

Так мы приходим к странной дихотомии для более либерального европейца: формально можно писать что думаешь, но большинство китайцев предпочитает этого не делать. Затем дети учатся этому у своих отцов, так выращиваются целые поколения перманентно лояльных стране граждан без собственной точки зрения. В этом, кстати, дурные корни их хваленой коллективности и патриархальности...

— Глядя со стороны, каков ваш прогноз в отношении Рунета? Во главе нашей большой страны, физически обслуживающей главный кластер русскоязычного интернета, стоит бессменный президент, полковник КГБ и член КПСС с 1975 года, какие тенденции в развитии сети вы ожидаете в связи с этим?

— Безусловно, все будет ужесточаться. Но позвольте выразить свой скепсис — лично я не думаю, что этот будет именно «китайский вариант», потому что этот подход, поверьте, чрезвычайно высокотехнологичен. Напомню, в России до сих пор не умеют даже фильтровать отдельные запрещенные судом веб-странички, варварски баня сразу пачку ресурсов по их общему IP.

Поэтому, повторю еще раз, не надо пугать местную сеть «китайским вариантом». Скорее всего отсутствие реальных технических возможностей будет компенсироваться бурным законотворчеством и чисто административной «грубой силой». Единственное общее с Китаем — со временем такой прессинг сформирует у населения синдром самоцензуры по китайскому типу. То есть манеру думать одно, а говорить (комментировать) другое, с постоянной оглядкой на «как бы чего не вышло», что, мягко говоря, далеко от нормального человеческого общения и самовыражения.

Впрочем, в российских широтах, ИМХО, это приведёт скорее не к покорности, а к непредсказуемости уже хватанувшего «глотка свободы» населения.

— Завершим наше описание азиатского Интернета последним вопросом, поставленным ребром: назовите самые экстремальные для своей безопасности вещи, которые можно сделать в Китайском интернете прямо сейчас?

— Я бы выделил два серьёзных момента: это любые высказывания против самих цензоров и цензуры, а также любые призывы к коллективным народным действиям в офлайне.

В первом случае Китай прикладывает титанические усилия, чтобы сам факт цензуры, контроля и слежки никак внешне не ощущался большинством обычных граждан страны, то есть, чтобы это явление не обсуждалось и никак не фиксировалось. Любые ваши попытки открыто обсуждать именно эту проблематику, указывать на факты контроля, скорее всего, будут иметь очень серьёзные последствия (прямо пропорционально степени убедительности и серьёзности представленных фактов). Парадокс в том, что сегодня безопаснее критиковать само руководство коммунистической партии, чем его методы контроля Сети или общества.

Что касается второго — если вы хотите собрать людей с какой-либо целью — это будет жестко пресечено. Ещё раз напомню про основную часть стратегии: личные критические высказывания или фрагментированная критика со стороны граждан чаще всего приемлемы, а вот любые попытки коллективных обсуждений, самоорганизации или объединений на почве общих взглядов и, тем более, выход с ними в офлайн — категорически недопустимы. По этой причине в сети блокируют даже группы любителей велосипедной езды, если они пытаются массово собраться в офлайне. Китайская власть панически боится любой консолидации граждан, впрочем, именно эту функцию, как я считаю, и будет обеспечивать более «взрослый» интернет будущего.