Данное исследование объясняет, каким образом отказ одной автономной системы (AS) влияет на глобальную связность отдельного региона, особенно в том случае, когда речь идет о крупнейшем провайдере интернета (ISP) данной страны. Связность интернета на сетевом уровне обусловлена взаимодействием между автономными системами. По мере увеличения количества альтернативных маршрутов между AS возникает устойчивость к отказам и повышается стабильность интернета в данной стране.

Глобальная связность любой AS, независимо от того, представляет ли она собой международного гиганта с миллионами потребителей услуг или небольшого регионального ISP, зависит от количества и качества его путей к Tier-1 провайдерам. Tier-1 – крупные транснациональные и часто трансконтинентальные операторы, обеспечивающие глобальную связность между континентами и странами. Эти операторы находятся на самой вершине “пищевой цепочки” в иерархии провайдеров и поэтому не платят друг другу за услуги по предоставлению IP-транзита. Тем не менее, внутри данного элитного клуба нет обязательства поддерживать взаимные связи друг с другом. Только рынок может придать мотивацию таким компаниям устанавливать стыки друг с другом. Достаточный ли это стимул? Мы ответим на этот вопрос ниже — в секции, посвященной связности IPv6.

Если провайдер интернета теряет связь хотя бы с одним из собственных Tier-1 соединений, он, вероятнее всего, окажется недоступен в некоторых частях Земли.

Методология измерения надежности интернета

Представьте, что AS недоступна или испытывает значительную сетевую деградацию. Мы ищем ответ на следующий вопрос: «Какой процент AS в этом регионе может потерять связь с Tier-1 операторами, тем самым утратив глобальную доступность»?

Зачем моделировать подобную ситуацию? Строго говоря, когда BGP и мир междоменной маршрутизации находились на стадии проектирования, создатели предположили, что каждая нетранзитная AS будет иметь по меньшей мере двух вышестоящих поставщиков (“апстримов”), чтобы гарантировать отказоустойчивость в случае, если один из них упадёт. 
Однако в реальности в 2023 году всё совсем иначе — более 41% ISP имеют соединение только с одним IPv4 провайдером. В мире IPv6 связности ситуация еще хуже – более 54%. Итак, падают ли транзитные ISP? Ответ — да, и это происходит довольно часто. Правильный вопрос в данном случае: «Когда конкретный интернет-провайдер испытает деградацию связности?». Если кому-то такие проблемы кажутся отдаленными, стоит вспомнить закон Мерфи: «Все, что может пойти не так, пойдет не так».

Чтобы смоделировать подобный сценарий, мы применяем одну и ту же модель восьмой год подряд. Для оценки надежности AS реализуются следующие шаги:

• Для каждой AS в мире строим все альтернативные пути до Tier-1 операторов с помощью модели отношений AS Qrator.Radar;
• При помощи базы Maxmind GeoIP, отображаем адресное пространство каждой AS на страны, в которых анонсируются эти адреса;
• Каждой AS в каждой стране присутствия назначаем вес, равным доле адресного пространства этой AS, анонсируемого в данной стране;
• Каждой стране назначаем вес равной сумме страновых весов всех AS, которые в ней присутствуют;
• Следующим шагом оцениваем влияние возможного отказа заданной AS на другие AS в регионе;
• Для каждой страны выбираем как критическую ту АС, отключение которой приведет к недоступности наибольшей доли AS в регионе.
   

Надежность IPv4

Общий тренд в IPv4 устойчивости

Год за годом мы отмечаем положительную глобальную тенденцию к повышению надежности и общей доступности. И текущий 2023 год не стал исключением. 

Для иллюстрации данного тезиса мы отобразили средние и медианные значения IPv4-устойчивости по всем странам за всю историю выпуска отчета (последние 8 лет). 

Мы отображаем и среднее и медианное значение, чтобы сгладить ситуации резкого снижения устойчивости в странах с небольшим количеством локальных AS, которое порождает усиление зависимости наших метрик от каждой из них.  Подобное отображение надежности также необходимо для нивелирования случаев, когда 100% монополия AS внутри страны сильно влияет на оценку общей средней стабильности по миру.

Можно наблюдать, что в мире продолжает прослеживаться тенденция повышения уровня отказоустойчивости: средний показатель надежности улучшился с 26,7% в 2022 году до 25,7% в 2023-м.

Рейтинг IPv4

Ниже представлен Топ-20 надежности стран с точки зрения отказоустойчивости в случае сбоя единственной AS. На практике это означает, что в стране хорошая связность интернета, а процент отражает долю автономных систем, которая потеряет глобальную связность в случае отказа в работе наиболее значимого оператора связи. 

Таблица 1. IPv4 рейтинги устойчивости

Ключевые изменения:

• Сингапур потерял 11 позиций, опустившись с 4-ого на 15-тое место, критическая AS изменилась со StarHub (AS4657) на SingNet (AS3758),
• Тайвань вернулась в рейтинг на 17 место (в 2021 году была на 20 позиции),
• Спустя 7 лет отсутствия, Филиппины вернулись в рейтинг на 20 позицию, в 2022 году были на 24 месте,
• США вернулись в рейтинг с 28 на 18 место,
• Люксембург вышел из рейтинга, переместившись с 16-ого на 39-ое место, а критическая AS изменилась с AS174 на AS6661,
• Индонезия опустилась на четыре позиции с 17-ого места и покинула рейтинг.

Рейтинг отказоустойчивости интернета который год подряд демонстрирует устойчивый тренд планомерного улучшения связности. Бразилия, Германия, Нидерланды прочно удерживаются в Топ-3 уже два года, а значит, число связей между их автономными системы настолько велико, что отказ критической автономной системы не приведет к недоступности этих регионов. 

Обращает на себя внимание резкая потеря позиций в рейтинге Люксембургом, который не только вышел из Топ-20, но опустился сразу на 39 место. Его критическая AS сменилась с международного Tier-1-оператора Cogent (AS174) на локального игрока Post Group Luxembourg (AS6661), который, в свою очередь, имеет достаточно много локальных клиентов. В 2023 году несколько клиентов Post Group Luxembourg отказались от всех других провайдеров, оставив эту AS в качестве единственного поставщика данных и оказавшись таким образом полностью зависимыми от политик маршрутизации этой автономной системы. Соответственно критичность отказа Post Group Luxembourg для страны существенно возросла, а в силу небольших размеров государства уже одно это событие привело к колоссальному снижению отказоустойчивости интернета.

В Сингапуре, потерявшем 11 позиций в 2023 году, также произошла смена автономной системы со StarHub (AS4657) на SingNet (AS3758), обладающую большим уровнем критичности. А чем выше уровень критичности, тем больше автономных систем (и, в целом, конечных потребителей доступа в Интернет) останется без связи при отключении данного оператора и тем ниже его позиция в рейтинге. 
Вероятнее всего, критичность SingNet возросла за счет того, что из клиентов StarHub ушло несколько автономных систем, которые остались только с одним провайдером – SingNet, и его отключение грозит им полной потерей связанности.

Если продолжать смотреть на крупнейших провайдеров Сингапура, то необходимо  отметить общенациональный сбой  в австралийском подразделении SingTel (AS7473) – Optus (AS7474) – в ноябре 2023 года. По нашим данным, Optus является четвертой AS в стране, по количеству локальных AS клиентов, и пользователи этих клиентских AS испытывали проблемы с работой интернет-сервисов на протяжении почти 14 часов. Дополнительно отметим, что с точки зрения BGP, Optus не имеет резервных провайдеров, у него есть только один апстрим – SingTel.

Среди новичков 2023 года можно выделить Филиппины, которые стабильно улучшали свои позиции на протяжении последних 4-х лет и теперь, наконец, добрались до первой 20-ки рейтинга.

Россия немного улучшила свои позиции в рейтинге как в абсолютном выражении (за счет повышения уровня надежности), так и в относительном — за счёт резкого падения Сингапура. Российские автономные системы всегда стараются иметь как минимум по два upstream-провайдера для обеспечения высокой отказоустойчивости, и в данном случае эта “традиция” демонстрирует положительные результаты уже второй год подряд. Тем не менее, стоит учитывать, что на позиции в рейтинге могут оказать негативное влияние укрупнения и объединения операторов связи, если таковые случатся в будущем.

Надежность IPv6

Внедрение IPv6

Многим известно, что, несмотря на похожее название протоколов IPv4 и IPv6, их реализация совершенно разная. Конечно, относительная новизна и существенные отличия в работе этих двух протоколов замедляют темпы внедрения IPv6-маршрутизации в Интернете. Это подтверждает статистика использования IPv6 от Google, которая показывает, что распространение этого протокола в мире растет, но не экспоненциально, что присуще многим интернет-технологиям, а линейно (график иллюстрирует процент от всех сеансов, использующих IPv6 для подключения к серверам Google). Тем не менее, за 8 лет публикации нашего отчета этот параметр вырос с 10 до 44,87% в 2023 году. 

Частичная связанность в IPv6

Одно из интересных явлений в IPv6 – это частичная связность операторов. Давайте попробуем объяснить, что это такое. Для этого представим связи между магистральными Tier-1 операторами, в виде графа, условное изобразив Ядро интернета:

Связность Tier-1 IPv4 (слева) и Tier-1 IPv6 (справа)

Пунктирная линия на графе IPv6 отражает отсутствие линков между магистральными Tier-1 провайдерами.

Видно, что если в IPv4 все Tier-1 операторы имеют пиринговые отношения друг с другом, то в IPv6 связности между несколькими магистральными операторами стыки отсутствуют:

– между Hurricane Electric (AS6939) и Cogent (AS174),
– между XO Communications (AS2828), поглощенной Verizon, и DTAG (AS3320),
– между XO Communications (AS2828) и Sprint (AS1239),
– между XO Communications (AS2828) и Telecom Italia (AS6762).

В прошлых отчетах мы уже писали про ставшее уже “классикой” отсутствие линка между 174 (Cogent) и 6939 (HE), которые из-за продолжающейся пиринговой войны не хотели устанавливать пиринговый стык.

Однако в этом году стык ненадолго появлялся, что дает надежду на восстановление отношений между компаниями, конкурирующими годами:

Ранее наблюдались "мигания" в стыках Verizon, но на момент проведения исследования ссылок не было:

2828, США – 3320, Германия - стык наблюдался в 2019-м, но пропал в том же году,
2828, США – 1239, США - линк мигал и пропал в мае 2022,
2828, США – 6762, Италия - стык периодически появляется.

Что значит отсутствие стыка? Если рассматривать только вертикальные отношения (провайдер-клиент), то это значит, что трафик не сможет течь между множествами клиентов (“клиентскими конусами”) двух операторов наивысшего уровня, поскольку последние не обмениваются трафиком друг с другом.  

Через цепочку из более двух Tier-1 операторов или низлежащего транзитного оператора пройти не удастся, так как в этом случае произойдет нарушение Valley Free-принципа маршрутизации и образуется утечка маршрутов. Напомним, что Valley Free-принцип это общепринятое правило маршрутизации в соответствии с которым префиксы, полученные рассматриваемой AS от провайдера или пира, могут быть переданы только клиентам.

Отсутствие маршрутов от AS из региона до хотя бы одного из магистральных Tier-1-операторов порождает явление
частичной связанности. Пользователям это грозит недоступностью их любимых сервисов. 

В приведенном ниже рейтинге устойчивости IPv6 добавлена информация о частичной связности всех AS в каждой стране.

Таблица 2. Рейтинги устойчивости IPv6

Краткие факты:

• Топ-2 не меняется второй год подряд: первые позиции удерживают Бразилия и Германия
• Нидерланды набрали 5 позиций, заняв почетное третье место и сдвинув Англию на 4 ступень рейтинга
• Япония, отсутствовавшая в Топ-20 с 2021 года, ворвалась в рейтинг сразу на 5 место
• Китай оказался на 12 месте спустя два года отсутствия в первой двадцатке 
• Индонезия потеряла 13 позиций, резко опустившись с 4 на 17 место 

Возвращение Японии в рейтинг спустя 2 года отсутствия можно объяснить снижением уровня критичности ее наиболее значимого оператора связи –  National Institute of Informatics (AS2907)  – с 20,27% до 4,33%. При этом число клиентов этой AS не уменьшилось, из чего следует, что клиенты начали подключать резервные каналы связи (других провайдеров). В случае отказа критической AS доступность у них не потеряется, а, значит, и стабильность больше, и место в рейтинге выше.

В рейтинге снова появился Китай, который был в Топ-20 и в 2021 году. В стране наблюдается парадокс: с одной стороны,  процент отказа, который произойдет в случае отключения Chinatelecom (AS4134), здесь совсем небольшой (5,85%), но с другой – огромная частичная недоступность (почти 90%). 

Высокий процент частичной недоступности Китая обусловлен наличием большого количества автономных систем, которые анонсировали префиксы, принадлежащие China Education and Research Network, CERNET (AS4538). При этом данные анонсы шли от обычно не используемых, но выделенных APNIC автономных систем, то есть создавалось большое число BGP Hijacks, о чем мы упоминали в отчете за третий квартал 2023 в разделе BGP-инцидентов. 

С точки зрения наших метрик глобальной связности, нужно отметить, что распространение этих анонсов, в сторону магистральных операторов, завершается в двух ключевых AS: Hurricane Electric (AS6939) и Hong Kong Internet Exchange (AS4635).

В случае с Hong Kong IX это означает региональную связность ввиду специфики распространения трафика через IX и не влияет на глобальную связность. В случае Hurricane Electric (AS6939) глобальная связность не будет достигнута, поскольку, как упоминалось выше, стык между AS6939 и AS174 отсутствует. Это значит, что большое число AS, анонсировавших китайские префиксы CERNET, имело частичную доступность, по нашей метрике. Причем в момент кратковременной установки соединения между AS6939 и AS174 глобальная связность появилась, и множество частично доступных AS стали доступны глобально, через AS6939, а AS6939 стала критической для страны (с 88% критичности).

Отметим, что появление огромного количества малоиспользуемых AS хоть и зашумляет значение наших метрик по Китаю, но не отображает реального положение дел. С нашей стороны лишь отражен факт отсутствия глобальной связности для этих малоиспользуемых AS. Обычного пользователя это явление вряд ли не затронет. 

Резкое падение Индонезии в рейтинге можно объяснить тем, что автономная система Cyberindo Aditama (AS38158) в 2023 году начала активно набирать клиентов, в том числе локальных, за счет чего стала более критичной автономной системой региона, сместив прошлогоднего лидера  PT Mora Telematika Indonesia (AS23947).

Практически ежегодная смена лидеров свидетельствует о динамичности развития IPv6. Отметим, что в отличие от IPv4 средняя устойчивость и частичная связанность для IPv6 не улучшается. Однако если посмотреть на лидеров рейтинга (первые 20 стран), для которых, очевидно, надежность является одним из приоритетов, то можно видеть улучшения в средней доле отказа – с 7,06% в 2022 до 5,34% в 2023.

Тупиковые сети

Несколько лет подряд мы наблюдаем тот факт, что значительную часть критических AS из наших рейтингов составляют автономные системы с большим количеством тупиковых AS (Stub AS). Тупиковыми мы называем AS, которые имеют только одного вышестоящего провайдера и ни для кого не являются транзитами.   

Ниже приведены таблицы, в которых критические AS стран нашего рейтинга одновременно являются крупнейшими “хабами” для тупиковых сетей.

Можно заметить, что для IPv4 адресного пространства 75% нашего рейтинга обладают этим свойством, в то время как
для IPv6 – менее половины.

Обновления на сайте Qrator.Radar

Каждый год мы добавляем новую функциональность на сайт Qrator.Radar. В этом году мы вынесли информацию по устойчивости всех стран и ежемесячно обновляем ее, чтобы вы могли получать актуальные данные в любое удобное для вас время.

Выводы

• Устойчивость IPv4 год от года продолжает улучшаться, демонстрируя рост с 26,7% в 2022 году до 25,72% в 2023-м.
• Распространение IPv6 в мире продолжает линейно расти, но несмотря на это, частичная доступность в IPv6 и не падает, и стабильно не растет. Это интересная возможная тема для исследования.
• Филиппины демонстрируют стабильный рост общего уровня отказоустойчивости в IPv4.
• Практически ежегодная смена лидеров свидетельствует о динамичности развития IPv6. 
• Высокая частичная IPv6 связность в Китае связана с локальным анонсированием префиксов CERNET от имени малоиспользуемых азиатских АС.
• Вы можете получать актуальную информацию о национальной устойчивости всех стран мира в любой момент времени на сайте Qrator.Radar.
  
   

По любым возникающим вопросам обращайтесь к нам по адресу radar@qrator.net.