Как устроена инфраструктура интернета?
Интернет является неотъемлемой частью жизни современного человека. Сегодня один щелчок мыши позволяет мгновенно оказаться на нужной странице и получить необходимую информацию. Однако мало кто задумывается об устройстве инфраструктуры интернета. Речь идёт не только о протоколах TCP/IP или точках доступа Wi-Fi, а об инфраструктуре Интернета в целом: о километрах подводных кабелей, об обширных дата-центрах и сетях, подключающих миллиарды пользователей к Интернету.
В современной жизни человек всё больше полагается на свои мобильные устройства и повсеместную связь с Интернетом. При этом жажда трафика порой не имеет границ.
Каким же образом обеспечивается стабильная работа интернета круглые сутки?
Ни одному отдельно взятому провайдеру не под силу обеспечить работу интернета. Качественное функционирование интернета возможно лишь при комплексном подходе к построению, обслуживанию и дальнейшему развитию инфраструктуры связи.
Так, на примере, Великобритании можно отметить, что оператор British Telecom (BT) предлагает своим клиентам провести оптоволокно в каждый дом для повышения скорости передачи, другой же оператор Virgin Media посредством гибридной волоконно-коаксильной сети предлагает достаточно качественные услуги по доступу в Интернет, со скоростями до 200 Мбит/с для физических лиц. Каждый оператор обладает своим определенным потенциалом для того, чтобы в совокупности с другими игроками телекоммуникационного рынка создавать всемирную сеть.
Рассмотрим один из наиболее интересных кабелей, посредством которого выполняется передача данных. Речь идёт о необычном месте на берегу Англии, где заканчивается непростой путь в 6500 км подводного оптического кабеля из американского Нью-Джерси. Отметим, что связь с Соединёнными Штатами играет важную роль для любой международной компании.
Единственной же организацией с одним владельцем, чья оптоволоконная сеть опоясывает всю планету, является Tata’s Global Network (TGN). Сеть TGN – это 700 000 километров кабелей подводного и наземного типа с 400 узлами связи по всему свету. Каждую секунду на сеть Tata приходится 24% всего мирового интернет-трафика.
Подводные оптические кабели требуют особого подхода, определенных усилий и технического оснащения для монтажа и обслуживания систем. Вице-президент Tata Карл Осборн в прошлом непосредственно работал на корабле-кабелеукладчике. По его словам, конструкция кабеля должна подбираться в зависимости от глубины прокладки. Чем ближе находится кабельная линия к поверхности, тем выше риск повреждения, соответственно увеличивается защитный слой проводника. На мели для прокладки кабеля выкапывают специальные траншеи, на большой же глубине судоходство не представляет опасности для проводников. Проводящие элементы кабеля опоясывает толстый слой изолирующих материалов. Оптоволоконную сердцевину окружает также медный проводник, без которого существование оптоволокна было бы невозможно. Оптоволоконные технологии обладают высочайшей скоростью, однако не могут работать на длинных дистанциях без помощи специальных устройств-повторителей. На суше данный эффект легко получить от местной электроэнергии. Под водой же усилители получают ток как раз от медного кабеля.В связи со спецификой месторасположения подводного кабеля усилители изготавливают с расчётом на эксплуатацию в течение 25 лет. Так, на восемь проводов требуются усилители вдвое большего размера, для чего в свою очередь необходимо больше энергии. На станции же восемь проводов образуют четыре пары, каждая из которых включает в себя волокно приема и волокно передачи. При этом элементы системы имеют свою определенную маркировку для того, чтобы в случае неполадок техники могли оперативно решить проблему. Специалист технической поддержки волоконно-оптических сетей в Virgin Media Питер Джеймисон, пояснил, как происходит процесс восстановления поврежденного кабеля. После обнаружения отрезка поврежденного кабеля он доставляется на корабль для восстановительных работ, а на его место монтируется исправный элемент. Как правило, устранение неполадок производится в течение десяти дней с момента обнаружения неполадки. Но как отмечают в Virgin Media за последние семь лет деятельности компании с повреждением на подводной кабельной линии организация сталкивалась лишь дважды.
Подводные оптоволоконные системы устанавливаются с расчётом на долгий период эксплуатации. Поэтому на установленной в океане линии отрегулировать уже ничего нельзя. Характеристики, которые подлежат регулировке, корректируются на станциях.
Для корректировки показателей применяются следующие манипуляции: QPSK (квадратурная фазовая манипуляция) и BPSK (двоичная фазовая манипуляция). На настоящий момент разрабатывается технология 8QAM, являющаяся промежуточной между 16QAM и BPSK. Технология DWDM, в свою очередь, позволяет сильно повышать пропускную способность оптического волокна, т.к. способна создавать множество оптоволоконных каналов.
На сегодняшний день можно с уверенностью утверждать, что в системе сети Tata имеется до 80% потенциала, что позволяет увеличивать пропускную способность и соответственно отвечать растущим потребностям абонентов.
Основной проблемой, влияющей на работу оптоволоконных систем, является дисперсия в волокне. И сегодня данная проблема решается при помощи электроники, что позволяет максимально повышать пропускную способность, и соответственно отвечать требованиям абонентов. Оптоволоконный кабель TGN сложно не заметить ввиду ярко-желтой его окраски. Однако его вполне можно принять за элементы системы распределения электроэнергии. На кабеле, как правило, имеется маркировка TGN. Если произойдет ситуация, когда потребуется дополнительная прокладка оптического кабеля, то в системе проводники будут соединены посредством подводного оптоволокна из щитка.
На проводниках имеется маркировка «TGN Atlantic Fiber»; справа же располагается кабель TGN-WER, оснащенный другим устройством, в котором пары оптоволокна находятся отдельно друг от друга в распределительной коробке. Слева от коробок расположены силовые кабели: два для TGN-A, два для TGN-WER. Стоит отметить, что у данных кабелей имеются два подводных кабельных маршрута, которые оканчиваются в испанском Бильбао и в португальском Лиссабоне. Расстояние от данных пунктов до Великобритании значительно меньше, чем от США, соответственно можно использовать более тонкий кабель. Современные кабельные системы позволяют предоставлять самые различные услуги абонентам.
Если потребителю нужен одиночный канал на 100 Гбит, который поступает от одного из щитков, то он вполне может быть ему предоставлен. Если же такие скорости абоненту не требуются, то трафик поставляется на оборудование, которое в последствие разделяется на части с более низкими скоростями. В целом подводные кабели дают огромную пропускную мощь и соответственно большие возможности по части эксплуатации.
Основную часть пропускной способности, получаемой посредством подводного кабеля, TGN применяет для своего собственного интернета, либо же подается другим интернет-компаниям, у которых нет собственных подводных линий связи.
По словам одного из сотрудников TGN, повысить пропускную способность абсолютно просто. В пример приводится один из клиентов, который используется систему в 560 Гбит/с, которую удалось обновить дополнительными 1,6 Тбит/с. Данная мощность, в свою очередь, была достигнута при использовании двух дополнительных модулей по 800 Гбит/с, работающих на основе 100G с трафиком более 2,1 Тбит/с.
Инфраструктура сети Tata выстроена таким образом, что все объекты имеют копии. Соответственно существует два помещения SLT1 и SLT2.
S1 соединена с Португалией, S2 с Испанией. В выделенном отсеке наземного помещения занимаются контролем над поступлением трафика в лондонский ЦОД Tata. Также в сети предусмотрена «лишняя пара», которая ведёт путь прямо до офиса компании в Лондоне.
По подсчетам сотрудников максимально возможная скорость передачи информации производится на скорости 703 759 397,7 км/ч. При этом переход с оптического на медный слаботочный кабель всегда приводит к временным потерям и задержкам. Поэтому на сегодняшний день основные усилия сосредоточены на установке более мощных усилителей и высококачественной оптики. Соответственно, пересекая Атлантический океан, сигнал остается оптическим на протяжении всего пути.Тестирование оптоволоконного кабеля производится следующим образом. Проводник погружают в устройство EXFO FTB-500, оборудованное модулем спектрального анализа FTB-5240S и работающее на платформе Windows XP Pro Embedded. Оборудование погружают для того, чтобы показать установленные модули и запустить необходимую процедуру диагностики. Если быть более точным, то просто отводится 10 % светового потока из тестируемой кабельной системы, далее создается точка доступа для устройства спектрального анализа, таким образом, чтобы вернуть отведённые 10% обратно для анализа сигнала.
При изучении подводной кабельной системы можно увидеть боковые полосы частот. Зная, какие процессы происходят при смещении показаний прибора, можно судить о корректности работы системы и факторах, снижающих её эффективность.
Оборудование, эксплуатируемое на наземных платформах DWDM занимает намного меньше пространства в сравнении с подводной кабельной системой. Так оборудование ADVA FSP 3000 аналогично Ciena 6500 kit. В целом использующиеся полки аппарата ADVA – это простые недорогие системы, работающие на коротких дистанциях.
В подводной оптоволоконной системе действует правило: чем дальше отправлен сигнал, тем больше шумов появится на пути, а, значит, зависимость от фотонных систем Ciena значительно возрастает, вследствие возможности данной системы компенсировать шумы.
И в заключении, стоит отметить ту огромную энергию, которая необходима для работы всей системы телекоммуникационного оборудования. Повышенным энергопотреблением обладает не только само оборудование, но и все вспомогательные системы. Место закладки подводного кабеля характеризуется необычными энергетическими характеристиками, соответственно и системы питания отличаются от стандартных. Так, аккумуляторное помещение скорее имеет вид экспериментальной лаборатории: на большой площади расположены свинцово-кислотные аккумуляторы в прозрачных резервуарах. Подобный набор в сумме дает 1600 А*ч, обеспечивая тем самым 4 часа автономного функционирования.
НОУ ИНТУИТ | Лекция | Функциональное назначение и ресурсы Интернет
10.1. Технология Интернет в маркетинге
Технологии взаимодействия между покупателем и продавцом можно представить как индивидуальные (один с каждым) и массовые (один со многими), каждая из них обладает достоинствами и недостатками и использует свои средства коммуникации (взаимодействия).
Индивидуальные технологии между покупателем и продавцом устанавливают обратную связь, повышающую эффективность такого взаимодействия, и чаще всего используют такие методы, как устная реклама (глашатаи, зазывалы), письмо, телефон. К недостаткам таких методов следует отнести последовательное взаимодействие и, как следствие, небольшое число покупателей, охваченных одним продавцом в единицу времени.
Массовые технологии характеризуются отсутствием обратной связи при взаимодействии и параллельный (одновременный) контакт с аудиторией. Применяемые методы — газеты и журналы, радио и телевидение. Достоинство — большое число слушателей (массовая аудитория). Недостаток — отсутствие обратной связи, позволяющей гибко реагировать на индивидуальные требования и особенности покупателя.
Технология Интернет, применяемая в маркетинге, получила название WWW (World Wide Web — всемирная паутина) и вобрала в себя все достоинства этих двух технологий и одновременно избавилась от их недостатков. Она характеризуется тем, что позволяет одновременно работать с огромным числом пользователей, создавая иллюзию индивидуальной работы за счет высокого уровня автоматизации процессов коммуникации. Эта технология формирует новое информационное пространство на базе методов, апробированных в телефонии и радио.
Под термином интернет-маркетинг понимается теория и методология организации маркетинга в гипермедийной среде Интернет. Особенности интернет-маркетинга: переход ключевой роли от производителей к потребителям; глобализация деятельности и снижение транзакционных издержек; персонализация взаимодействия и переход к маркетингу «один — каждому»; снижение трансформационных издержек.
10.1.1. Инфраструктура Интернет
Первым WWW (World Wide Wireless — всемирное беспроволочное) было радио, а три одинаковые буквы WWW впервые появились на логотипе американской радиовещательной корпорации RCA, образованной в 1920 г. Основной целью деятельности компании была передача в труднодоступные места и на суда, находящиеся в море, сообщений и телеграмм. Но уже через два года компания осуществляла радиовещание с помощью 575 станций для широкого круга народных масс. Радио положило начало развитию массовой культуры, а вместе с ним появилась и радиореклама, благодаря которой существенно стал меняться и маркетинг. Позиционирование товара стало на рынке гораздо более гибким.
Появление Интернет
В 1969 г. управление перспективных исследований (Advanced Research Project — ARPA) министерства обороны США начало разработку компьютерной сети, которая должна была, с одной стороны, обеспечить сохранение коммуникаций в случае ядерной атаки противника, а с другой стороны, поддержать совместную работу исследовательских центров университетов и некоторых корпораций. Основную роль в финансировании проекта, который получил название ARPANet, играло министерство образования США (National Science Foundation NSF). На начальном этапе развития сети NSF запрещал любую коммерческую деятельность в сети, включая распространение коммерческой информации и использование сети для осуществления коммерческих операций. Допускался обмен сообщениями между университетскими учеными и исследователями частных корпораций только в том случае, если они касались тематики научных исследований, проводимых в университетах. Для подключения к сети нужно было иметь две рекомендации от организаций-членов сети, которые бы поручались и несли ответственность за некоммерческое использование сети новичком. Несмотря на эти ограничения, число узлов сети продолжало быстро расти, так как все большее число университетов и исследовательских лабораторий стремились использовать сеть как очень эффективное средство коммуникации. Финансирования NSF процессов развития и поддержания сети стало не хватать, поэтому в 1991 г. правительство США приняло решение о разрешении использовать Интернет в коммерческих целях. Эта дата считается началом становления эры электронной коммерции и интернет-маркетинга.
Что скрывается под названием Интернет?
Интернет — глобальная информационная система, части которой логически взаимосвязаны друг с другом посредством уникального адресного пространства, основанного на протоколе IP (Internet Protocol) или его последующих расширениях, способная поддерживать связь посредством комплекса протоколов TCP/IP (Transmission Control Protocol/Internet Protocol), их последующих расширений или других совместимых с IP протоколов и публично или частным образом обеспечивающая, использующая или делающая доступной коммуникационную службу высокого уровня.
Другими словами, Интернет можно определить как взаимосвязь сетей, базирующуюся на едином коммуникационном протоколе — TCP/IP.
С точки зрения конечных пользователей, Интернет представляет собой единую виртуальную сеть, к которой подсоединены все компьютеры — независимо от их реальных физических соединений. Фундаментальным принципом Интернета является равнозначность всех объединенных с его помощью физических сетей: любая система коммуникаций рассматривается как компонент Интернета, независимо от ее физических параметров, размеров передаваемых пакетов данных и географического масштаба. Семейство протоколов ТСР/IP позволяет построить универсальную сеть, осуществляющую указанные выше принципы. Оно включает в себя протоколы четырех уровней коммуникаций (рис. 10.1-1).
Рис. 10.1-1. Взаимодействие двух компьютеров с использованием стека протоколов TCP/IP (на базе стандарта OSI/ISO)
Канальный уровень (уровень сетевого интерфейса) отвечает за установление сетевого соединения в конкретной физической сети (см. гл. 19). На этом уровне работают драйвер устройства в операционной системе и соответствующая сетевая плата компьютера.
Сетевой уровень — основа ТСР/IP. Именно на этом уровне реализуется принцип межсетевого соединения, в частности маршрутизация пакетов через Интернет. На сетевом уровне протокол реализует ненадежную службу доставки пакетов по сети от системы к системе без установления соединения (connectionless packet delivery service). Это означает, что будет выполнено все необходимое для доставки пакетов, однако эта доставка не гарантируется. Пакеты могут быть потеряны, переданы в неправильном порядке, продублированы и т. д. Служба, работающая без установления соединения, обрабатывает пакеты независимо друг от друга. Но главное, что именно на этом уровне принимается решение о маршрутизации пакета по межсетевым соединениям.
Транспортный уровень реализует надежную передачу данных с помощью двух основных протоколов, TCP и UDP, которые осуществляют связь между машиной — отправителем пакетов и машиной — адресатом пакетов.
Следующие два уровня стандарта OSI/ISO — сеансовый и представительский — для подключения к сети Интернет не используются.
Прикладной уровень — это приложения типа клиент-сервер, базирующиеся на протоколах нижних уровней. В отличие от протоколов остальных трех уровней, протоколы прикладного уровня занимаются деталями конкретного приложения и для них обычно не важны способы передачи данных по сети. Среди основных приложений ТСР/IP, имеющихся практически в каждой его реализации, — протокол эмуляции терминала Telnet, протокол передачи файлов FTP, протокол электронной почты SMTP, протокол управления сетью SNMP, используемый в системе World Wide Web протокол передачи гипертекста НТТР и др.
Достаточно ли перечисленных протоколов, чтобы Интернет смог быть использован в маркетинге и электронной коммерции? Нет, для этого существует громадное количество компонентов, в конечном итоге составляющих среду, которая дает пользователям широчайший диапазон действий, и которая завоевала популярность и признание многих миллионов людей по всему миру.
Поэтому, для того чтобы далее можно было перейти непосредственно к рассмотрению всех составляющих интернет-маркетинга, в этой главе мы рассмотрим совокупность вопросов, раскрывающих ряд базовых элементов функционирования Сети.
Универсальная метка (URL)
Для того чтобы обращение ко всем ресурсам Интернета было наиболее простым и прозрачным с точки зрения пользователей, в Сети используется универсальная метка (Universal Resource Locator — URL), которая (так же как и почтовый адрес на конверте) имеет свою структуру, состоящую из трех элементов. Например, статья на английском языке, расположенная на сайте Санкт-Петербургского государственного университета экономики и финансов (ФИНЕК) может иметь следующую универсальную метку, используемую для ее поиска в Интернет: ( http://www.finec.ru/eng/article.html).
Первый элемент содержит информацию об используемом протоколе прикладного уровня (в данном случае это Hyper Text Transfer Protocol) и имеет следующий вид: http://. Могут использоваться и другие виды протоколов ftp://, news:// и т. д.
Второй элемент содержит информацию о месторасположении сервера в сети, на котором хранится информационный ресурс, носит название доменного имени и состоит из следующих основных элементов: название зоны, собственно название домена и название имени машины. Например: /www.finec.ru/. Это доменное имя говорит, что ресурс расположен в географическом домене ru, имеет собственное название finec и функциональное имя www, т. е. выполняет функции WWW-сервера. Система доменных имен (Domain Name System — DNS) существует для удобства маршрутизации и простоты запоминания в Интернете. Она предназначена для того, чтобы любой ресурс (кроме уникального IP-адреса, состоящего из четырех байтов адреса, записанных десятичным числом, например, 192.168.10.5) имел легко запоминающееся доменное имя. Служба доменных имен призвана соотносить IP-адреса с доменным именем машины и наоборот.
Третий элемент адреса содержит путь до интересующей нас информации, расположенной на этом сервере, например: если статья в формате hypertext markup language (html) находится в папке с именем «eng», то путь будет иметь следующий вид — /eng/article.html.
Службы Интернета
Службы Интернета — это системы, предоставляющие услуги пользователям Интернета. Услуги, предоставляемые Интернетом, можно разделить на две основные категории:
- Отложенные (off-line) — основным признаком этой группы является наличие временного перерыва между запросом и получением информации.
- Прямые (on-line) — характерны тем, что информация по запросу возвращается немедленно. Если от получателя информации требуется немедленная реакция на нее, то такая услуга носит интерактивный характер.
К ним относятся: электронная почта, www (world wide Web), телеконференции, списки рассылки, FTP (file transfer protocol), IRC (Internet Relay Chat), Интернет пейджеры (ICQ), средства передачи голоса по каналам связи Интернета (услуги факсимильной и телефонной связи), программные средства для проведения видео- и аудио-конференций через Интернет, системы широковещательной передачи мультимедийной информации, службы поиска информации (поисковые машины — spiders, crawlers; каталоги; мета-средства поиска), системы безопасности, электронные платежные системы, а также другие продукты, использующие Интернет как среду передачи информации.
Интернет-аудитория
Одним из основных и привлекающих наибольшее внимание является вопрос об общем количестве пользователей Интернета, которое характеризует степень его влияния на общество. Внимание к этому вопросу обусловлено тем, что эффективность коммерческого использования Интернета, как и большинства традиционных средств массовой информации, в значительной степени определяется степенью его распространенности в среде, для которой он предназначен. Считается, что по достижении определенной критической величины (критической массы), в данном случае обычно за эту цифру принимается примерно 10-15%, применение средства становится адекватным затратам на его внедрение и эксплуатацию, и его распространение приобретает лавинообразный характер.
Проводимые исследования позволяют оценить приблизительное количество пользователей и, тем самым, служат критерием роста и развития Интернета. Согласно исследованиям Nua Internet Surveys (www.nua.ie/surveys/) в мае 2002 г. доступ в Интернет имели порядка 580 млн человек (это составляет менее 10% от общего населения нашей планеты), к концу 2003 г. — более 600 млн, а в 2005 г. — более 800 млн человек. По прогнозам экспертов к концу 2006 года интернет-аудитория составит 1 млрд человек (рис. 10.1-2).
Рис. 10.1-2. Динамика роста числа пользователей в сети Интернет 1991-2006 гг.
Если построить график роста пользователей Интернет во времени, опираясь на кибернетический подход, то мы получим экспоненциальную зависимость, уходящую в бесконечность, которая может точно описывать процесс увеличения числа пользователей только на начальном этапе роста.
На смену кибернетическим представлениям об Internet приходят синергетические законы. Необходимость такой смены хорошо иллюстрирует широкое применение принятого всеми допущения Л. Клейнрока о взаимной независимости информационных потоков в сетях. На этом предположении и пуассоновском распределении трафиков строились все расчеты сетей. Истинная природа потоков оказалась взаимозависимой и фрактальной. Опираясь на синергетический подход, можно построить логистическую кривую, описывающую рост числа хост-компьютеров (доменных имен) вид которой приведен на (рис. 10.1-3). Из этой кривой видно, что рост числа хост-компьютеров стабилизируется к концу 2007 г. на отметке 350 млн.
Наблюдаемая динамика роста количества пользователей колеблется в достаточно широких пределах. Максимальный рост этого показателя составляет порядка 100% в год. Однако для высокоразвитых стран, таких как США, Канада, где уже порядка 60% процентов населения имеет доступ в Интернет, этот показатель, естественно, значительно меньше и со временем продолжает уменьшаться. Ориентировочное распределение интернет-аудитории по регионам приведено на рис. 10.1-4. Наибольшее число пользователей сети Интернет находятся в США и Канаде (45%), затем идут Европа (27%), Азия и Австралия (23%) и замыкают список Южная Америка (4%), Африка и Ближний Восток (1%).
Рис. 10.1-4. Пользователи Интернет по регионам
Уровень развития сети Интернет в каждой стране тесно связан с общим уровнем развития инфраструктуры телекоммуникаций и компьютеризации в ней. Поэтому неудивительно, что наиболее развитой страной в этом смысле в настоящее время являются США. Более 60% американцев старше 12 лет имеют доступ в Интернет, а половина из них каждый день выходит в Сеть и проводит в ней не менее часа.
В Европе наибольший вклад дают Германия и Великобритания. Россия пока отстает от этих стран. Распространенность Интернета в России оценивается около 10% от общего населения страны.
Активно развивается азиатский рынок Интернета: Японии, Китая, Индии. Темпы прироста количества пользователей в Китае и Индии составляют примерно 100% в год.
По среднему количеству времени, проводимого в Интернете, первое место занимают американцы (более 9 ч в месяц). В Европе лидером является Великобритания, где пользователи выходят в Сеть 5,1 ч каждый месяц. За ней следуют Германия и Франция с показателем в 4,9 ч.
Порядка 2/3 пользователей Интернета сегодня представлено мужским полом и только 1/3 — женским. На начальном этапе развития Интернета разница была еще более существенной, и теперь из года в год происходит постоянный рост процента женского пола и постепенное приближение этого показателя к общемировой статистике распределения полов.
Средний возраст пользователей Интернета составляет чуть более 30 лет, и наблюдается его постепенный рост. Как показывают проведенные исследования, наибольшим опытом работы в Интернете обладают молодые люди в возрасте от 21 до 30 лет.
Средний годовой доход пользователей превышает средний, но с количественным ростом аудитории Сети наблюдается его постепенное снижение.
Как в России развивается инфраструктура Интернета вещей
Во многих регионах России инфраструктура Интернета вещей находится на сравнительно высоком уровне. Дело в том, что одна из основных компонент – сети передачи данных, уже развиты (мобильные 2G/3G/4G) или активно строятся (LPWAN). В ближайшем времени развитие инфраструктуры будет базироваться на спросе корпоративного рынка, госрегулировании и других факторов. Об этом iot.ru рассказали опрошенные эксперты.
Эксперты:
Алексей Королюк, генеральный директор REG.RU
Алексей Сечкин, директор центра инновационных технологий «Инфосистемы Джет»
Никита Уткин, руководитель программ РВК, председатель Технического комитета «Кибер-физические системы»
Насколько в России развита инфраструктура для Интернета вещей?
Никита Уткин: Поскольку развитие инфраструктуры Интернета вещей во многом происходит на уже созданной ранее инфраструктуре беспроводной связи, то первоначально речь уместно вести именно про нее. Во многих регионах России такая инфраструктура уже находится на сравнительно высоком уровне. И главное для пользователей соотношение “цена-качество” пользования этой инфраструктурой является одним из самых низких в мире.
Тот путь развития Интернета вещей, которого в настоящее время придерживаются основные игроки, базируется на простой идее о том, что можно и нужно в максимальной степени использовать потенциал уже существующей инфраструктуры. Это решение имеет понятные финансово-экономические обоснования, ведь развивать самостоятельную инфраструктуру с нуля было бы долго и дорого.
Алексей Сечкин: Если говорить об инфраструктуре M2M на базе мобильной сети GSM, то ситуация в России и в мире схожая. Сети уже давно построены и используются. Отдельный вопрос — сети LPWAN. Сети NBIoT, LTE-M, LoRaWAN, Sigfox только набирают обороты. В России и Европе мобильные операторы развивают NBIoT, в США — LTE-M. Два оператора в России строят сети Lorawan. В целом, слабая развитость и точечное покрытие пока не позволяют полномасштабно внедрять решения на базе LPWAN.
Какие элементы инфраструктуры Интернета вещей в России развиты в меньшей степени?
Алексей Сечкин: Сети LPWAN пока слабо развиты. Мобильные операторы разворачивают небольшие тестовые зоны NBIoT. Некоторые мобильные операторы также тестируют LTE-M, а в нескольких городах появилась сеть Lorawan.
Не думаю, что нужно как-то дополнительно стимулировать развитие сетей LPWAN. Для мобильных операторов это является приоритетным направлением. Так что разворачивание NBIoT — вопрос ближайшего будущего. Развитие LPWAN безусловно подстегнет рынок IoT. Хотя для многих задач хватает и существующей инфраструктуры. В целом растет уровень цифровизации в стране и IoT является одним из важных трендов этого процесса.
Какие факторы ускорят развитие инфраструктуры Интернета вещей в России в ближайшие два года?
Алексей Сечкин: В конце прошлого года президент подписал закон № 522 «О внесении изменений в отдельные законодательные акты Российской Федерации в связи с развитием систем учета электрической энергии (мощности) в Российской Федерации», устанавливающий порядок внедрения в России интеллектуальной системы учета электроэнергии в многоквартирных домах. Подобные законодательные меры безусловно являются существенным драйвером.
Никита Уткин: В России традиционно с большей готовностью на технологические сдвиги и изменения реагирует массовый потребительский рынок, то есть пользователи разного рода девайсов и сервисов с технологиями Интернета вещей. Корпоративный сектор и частично госсектор тоже включились в эту игру, но явно запаздывают не только по сравнению с иностранными рынками, но и с отечественным рынком B2C. Отсюда и некоторые деформации в развитии инфраструктуры Интернета вещей, диспропорции по его применению.
Кроме того, некоторые попытки крупных корпораций напоминают поведение слона в посудной лавке, когда отдельные шаги по внедрению технологии Интернета вещей не увязываются с другими процессами организации, часто оставаясь лишь пилотами или имиджевыми демонстрационными проектами.
Кроме того, в России у некоторых пионеров движения Интернета вещей долгое время было глубоко ошибочное убеждение в том, что рынок, а вместе с ним и их бизнесы, можно эффективно развивать на закрытых стандартах и протоколах. Логика развития этой технологии показывала совершенно обратное – и сейчас мы уже видим как лидируют концепции открытых стандартов, концепции обеспечения совместимости и т.д. Однако для многих время было упущено и их развитие пошло не тем путем, шансы на лидерство были упущены. Да и антирекламу рынку эту игроки сделали немалую.
Как в ближайшие два-три года будет развиваться инфраструктура Интернета вещей?
Алексей Королюк: Ключевым вопросом для работы Интернета вещей является инфраструктура передачи данных с использованием радиоканалов. В ближайшие 2-3 года во всём мире ожидается революция, когда операторы сотовой связи смогут использовать mobile IoT как базовый протокол для передачи данных между опорной сетью и устройствами Интернета вещей.
Почему это настолько важно? Потому что для IoT-устройств, которые работают без постоянного источника питания (то есть автономно), энергопотребление является ключевым вопросом. И чем оно (энергопотребление) меньше, тем дольше это устройство работает и более полезено. При этом, передача данных больше всего потребляет энергии внутри таких устройств. Поэтому существуют радиосети и радиостандарты, но все они работают на небольшом расстоянии. Приблизительно в радиусе 7 километров. Получается для того, чтобы отслеживать на большой территории любой объект, который оснащён датчиком IoT, необходимо большое количество вышек, снабжающих постоянной связью с датчиком. И это большая проблема. Это то, что тормозит развитие Интернета вещей в том объеме, в котором это могло бы быть.
И вот развитие инфраструктуры радиосвязи, которое впрямую упирается в законодательное регулирование, выделение частот, в стандарты и в их применение в конкретных чипах — это и есть основной стоп-фактор.
Никита Уткин: В ближайшем будущем развитие будет базироваться на трех ключевых составляющих. Первая — насколько интенсивно и умело корпоративный сектор освоит эту технологию вслед за потребительским рынком. Вторая — насколько государство проявит благоразумие в части «неудушения» этой сферы излишним нормативно-правовым регулированием. Третья — насколько рынку удастся пройти фазу роста со всеми его инженерными перегибами и искажениями, выражающимися в попытках создавать множественные самостоятельные платформы, независимые протоколы и т.д. В решении по крайней мере третьей проблемы очень помогает нормативно-техническое регулирование, которое одновременно позволяет «расти всем цветам» (что важно для учета специфики рынка и его отдельных ниш) и обеспечивает совместимость (интероперабельность) отдельных протоколов и решений, закладывает фундамент развития технологии на «внехайповый период».
Правительство США утратило контроль над инфраструктурой Интернета / Habr
Первого октября истек контракт между ICANN, международной организацией отвечающей за присвоение доменных имен и IP-адресов в сети Интернет, и Национальным агентством по телекоммуникациям и информации США, о чем сообщается на официальном сайте организации.
С 1998 ICANN управляла присвоением доменных имен и IP-адресов через IANA — другую некоммерческую американскую организацию. Правительство США имело право вето в работе IANA и, фактически, контроллировало Интернет.
Процессы вывода сети из под контроля правительства Соединенных Штатов начались еще несколько лет назад. С 2006 года рассматривались возможности непродления контракта с Национальным агенством по телекоммуникациями со стороны ICANN, однако отношения с правительством США были окончательно разорваны только сейчас.
Последние годы несколько государств были озабочены единоличным влиянием США на инфраструктуру сети Интернет, которое могло быть употреблено последними с политическими мотивами. Так, за вывод ICANN под управление межправительственных организаций, например, ОНН или Международному союзу электросвязи (МСЭ), в свое время выступал Минкомсвязи РФ.
Эти предложения имели вполне конкретные цели: переход управления национальными доменными зонами к национальным правительствам. В 2012 году инициативу РФ по изменению регламента МСЭ (при передаче прав со стороны ICANN) и последующей передаче контроля за территориальными доменными именами суверенным правительствам поддержали такие государства как Китай, Иран, Судан, Саудовская Аравия, Алжир и Бахрейн. Страны Запада в лице США, Канады, Австралии и государств Евросоюза выступили против подобной инициативы.
Теперь ICANN полностью выведен из под влияния каких-либо политических сил и процесс управления инфраструктурой сети Интернет полностью перешел в частный сектор.
Правление организации надеется на построение диалога между общественными организациями, бизнесом, учеными, техническими экспертами и суверенными правительствами по вопросам управления Сетью. «… это лучший способ убедиться в том, что Интернет завтрашнего дня останется таким же свободным, открытым и доступным, как и Интернет дня сегодняшнего», — так прокоментировал позицию ICANN председатель правления организации Стивен Д. Крокер.
По информации издания «Ведомости» у либерализации и переходу управления сетью Интернет в частные руки были противники в лице американских штатов Аризона, Техас, Оклахома и Невада.
Министерство обороны США фактически является создателем Интернета после запуска в 1969 году сети ARPANET. С тех пор Сеть активно развивалась в том числе и при поддержке Соединенных Штатов, а в 2012 году государство и вовсе заявило эксклюзивные права на все, что касается Интернета.
Переход управления инфраструктурой в частные руки по мнению истцов из вышеперечисленных штатов наносит ущерб национальным интересам США и произошел при попустительстве самих Соединенных Штатов, министерства торговли США, министра торговли США Пенни Прицкера, Национального управления информации и связи (NTIA) и помощника секретаря NTIA Лоуренса Стриклинга, которые все заявлены как ответчики.
Основной мотивацией иска является то, что переход контроля за инфраструктурой к ICANN ставит под угрозу функционирование Сети целиком. Ранее ICANN требовалось согласовывать свои действия с подконтрольной правительству IANA, но теперь контракт истек и организация сможет принимать решения единолично.
Сеть Интернет является стратегической областью и многие государства относятся к вопросам обеспечения ее функционирования как к вопросу национальной безопасности. Вывод инфраструктуры Сети из-под контроля США сможет частично ослабить обеспокоенность суверенных правительств по данному вопросу, а также поспособствует либерализации Интернета.
Как устроена инфраструктура интернета. Часть вторая — Альтернативный взгляд Salik.biz
— Часть первая —
Изменение в потоке данных
— Salik.bizОбычный день для Пола и его коллег, работающих удаленно, состоит из подключения аппаратного оборудования новых клиентов и заданий вроде выгрузки жестких дисков и твердотельных накопителей (SSD). Это не подразумевает особо глубокое выявление неисправностей. Например, если клиент потерял связь с одним из своих устройств, его команда, находящаяся здесь для поддержки, проверяет, работает ли связь на физическом уровне и, если это необходимо, меняет сетевую плату и все такое прочее, чтобы убедиться в том, что доступ к устройству или платформе восстановлен.
В последние годы он заметил некоторые изменения. Стеллажи с серверами размером 1U или 2U начали заменять блоками 8U или 9U, которые поддерживают множество разных плат, включая ультракомпактные сервера. В результате, просьб об установке индивидуальных сетей серверов стало намного меньше. За последние 4 или 5 лет произошли и другие перемены.
«В Tata большую часть оборудования представляют HP или Dell, их устройства мы сейчас используем для выделенных серверов и облачных протоколов. Раньше еще пользовались Sun, но сейчас он очень редко встречается. Для хранения и резервных копий мы стандартно использовали NetApp, но сейчас, как я вижу, появился еще и EMC, а в последнее время я заметил много запоминающих устройств Hitachi. Кроме того, многие клиенты выбирают выделенные системы резервного хранения, а не управляемые или совместно используемые».
Центры управления центра управления сетью
Планировка в отведенной под ЦУС (центр управления сетью) части помещения во многом похожа на обычный офис, хотя большой экран и камера, посредством которых осуществляется связь между британским офисом и работниками ЦУС в индийском Ченнаи, могут оказаться неожиданностью. Впрочем, они служат своего рода способом тестирования сети: если экран потухает, в обоих офисах понимают, что возникла какая-то проблема. Здесь, фактически, функционирует служба поддержки первого уровня. Сеть контролируется из Нью-Йорка, а за хостингом наблюдают в Ченнаи. Поэтому если что-то серьезное действительно произойдет, в этих местах, расположенных далеко друг от друга, об этом узнают первыми.
Рекламное видео:Джордж описывает организационную структуру работы центра: «Поскольку мы центр управления сетью, нам звонят люди, у которых возникли проблемы. Мы оказываем поддержку 50-и приоритетным потребителям (все они — те, кто платят за услуги больше всего) и каждый раз, когда они сталкиваются с проблемой, она и правда является приоритетной. Наша сеть предоставляет собой совместную инфраструктуру, и серьезная проблема может затронуть многих потребителей. В таком случае необходимо, чтобы у нас была возможность своевременно их информировать. У нас есть договоренность с некоторыми потребителями, согласно которой мы каждый час предоставляем им последнюю информацию, а некоторым — каждые 30 минут. В случае чрезвычайных происшествий на линии мы постоянно держим их в курсе, пока решаем проблему. Круглосуточно».
Как работает провайдер инфраструктуры
Поскольку речь идет о международной кабельной системе, провайдеры связи по всему миру сталкиваются с одинаковыми проблемами: это, в частности, повреждение наземных кабелей, которое чаще всего происходит на строительных площадках на находящихся под менее тщательным контролем участках. Это и, разумеется, сбившиеся с траектории якори на дне моря. К тому же, нельзя забывать про DDoS-атаки, в ходе которых системы подвергаются нападению, и всю доступную пропускную способность заполняет трафик. Разумеется, команда прекрасно оснащена для того, чтобы противодействовать этим угрозам.
«Оборудование настроено так, чтобы отслеживать обычные модели трафика, которые ожидаются в конкретный период дня. Они могут последовательно сверить трафик в 4 часа дня прошлого четверга и сейчас. Если при проверке выявится что-нибудь необычное, оборудование может превентивно ликвидировать вторжение и перенаправить трафик с помощью другого брандмауэра, что может отсеять любое вторжение. Это называется продуктивным смягчением последствий DDoS. Другой его вид — ответный. В таком случае потребитель может сказать нам: „О, у меня в этот день угроза в системе. Вам лучше бы быть начеку». Даже в такой ситуации мы можем в качестве упреждающей меры произвести фильтрацию. Также существует законная активность, о которой нас уведомят, к примеру, Гластонбери (Музыкальный фестиваль, проходящий в Великобритании — прим. Newочем), так что когда билеты поступают в продажу, возросший уровень активности не блокируется».
За задержками в работе системы также приходится вести упреждающий контроль из-за клиентов вроде Citrix, которые занимаются сервисами виртуализации и облачными приложениями, чувствительными к существенным задержкам сети. Жажду скорости ценит и такой клиент, как Формула-1. Tata Communications управляет сетевой инфраструктурой гонок для всех команд и различных вещательных компаний.
«Мы отвечаем за всю экосистему Формулы-1, включая инженеров гонок, находящихся в месте их проведения и также являющихся частью команды. Мы создаем точку входа на каждом месте проведения гонки — устанавливаем ее, протягиваем вся кабели и обеспечиваем всех пользователей. Мы ставим различные точки доступа Wi-Fi для гостевой зоны и других мест. Находящийся там инженер выполняет всю работу, и он может продемонстрировать, что в день гонок вся связь находится в рабочем состоянии. Мы следим за ней с помощью программы PRTG (Paessler Router Traffic Grapher — программа, предназначенная для мониторинга использования сети — прим. Newочем), так что мы можем проверять состояние ключевых показателей эффективности. Поддержку мы осуществляем отсюда, круглые сутки и без выходных.
Такой активный клиент, который на протяжении года регулярно проводит мероприятия, означает, что команда по управлению объектом должна назначать даты тестирования резервных систем. Если речь идет о неделе проведения гонки F1, то со вторника по понедельник следующей недели этим парням придется держать свои руки при себе и не начинать тестировать линии в центре обработки информации. Даже во время моей экскурсии, которую проводил Пол, он поосторожничал и, показывая на блок оборудования для F1, не стал открывать щиток, чтобы я мог более детально его рассмотреть.
И, кстати, если вам любопытно, как действуют резервные системы, то в них установлены 360 батарей на каждый ИБП и 8 источников бесперебойного питания. В сумме это дает более 2800 батарей, и, поскольку каждая из них весит по 32 кг, их общий вес — около 96 тонн. Срок службы батарей — 10 лет, и за каждой из них ведется индивидуальный контроль температуры, влажности, сопротивления и других показателей, проверяемых круглосуточно. При полной загрузке они смогут поддерживать работу центра обработки информации около 8 минут, что даст кучу времени на то, чтобы включились генераторы. В день моего посещения загруженность была такой, что батареи, включись они, смогли бы обеспечивать работу всех систем центра на протяжении пары часов.
В центре установлено 6 генераторов — по три на каждый зал дата-центра. Каждый генератор может принять полную загруженность центра — 1,6 МВА. Каждый из них производит по 1280 киловатт энергии. В целом туда поступает 6 МВА — такого количества энергии, возможно, хватило бы на то, чтобы обеспечить энергией половину города. В центре есть и седьмой генератор, который покрывает потребность в энергии, нужной для обслуживания здания. В помещении находится около 8000 литров топлива — достаточно, чтобы прекрасно пережить сутки в условиях полной загруженности. При полном сгорании топлива в час потребляется 220 литров дизеля, что, если бы это было машиной, движущейся со скоростью 96 км/ч, могло бы вывести на новый уровень скромный показатель в 235 литров на 100 км — цифры, из-за которых Humvee выглядит как Prius.
Последняя миля
Завершающий этап — последние несколько километров от сетевого шлюза или центра управления сетью до вашего дома — не так уж впечатляет, даже если бегло взглянуть на конечные ответвления сетевой инфраструктуры.
Однако и здесь происходили изменения. Устанавливая новые телекоммуникационные шкафы бок о бок со старыми зелеными шкафами, Virgin Media и Openreach организовывают линии DOCSIS и VDSL2, увеличивая число подключенных к сети домов и предприятий.
VDSL2
Внутри новых шкафов Openreach для линий VDSL2 находится мультиплексор DSLAМ (мультиплексор доступа цифровой абонентской линии в терминологии BT). Во времена технологий ADSL и ADSL2 мультиплексоры DSLAМ устанавливали недалеко от локальных коммутаторов, но использование уличных шкафов позволяет усилить сигнал оптического кабеля, идущего к коммутатору, чтобы увеличить скорость широкополосного доступа для конечного потребителя.
Шкафы DSLAM запитываются отдельно и подключаются соединительными парами к существующим уличным шкафам, такая связка — это узловой телекоммуникационный шкаф. Медная пара до конечного пользователя остается нетронутой, в то время как VDSL2 дает возможность широкополосного доступа за счет использования обычных уличных шкафов.
Это апгрейд, который не может быть осуществлен без присутствия техников, и панель NTE5 (оконечное оборудование сети) внутри дома тоже должна быть модифицирована. Но всё же это шаг вперед, который позволяет провайдерам увеличить скорость с 38 Мбит/с до 78 Мбит/с в миллионах домов, минуя объем работ, необходимых для прокладки FTTH.
DOCSIS
Это совсем иная технология гибридной оптико-коаксиальной сети Virgin Media, которая позволяет обеспечить домашнему потребителю скорость до 200 Мбит/с и до 300 Мбит/с для предприятий. Несмотря на то, что технологии, позволяющие обеспечить такую скорость основаны на DOCSIS 3 (стандарт передачи данных по коаксиальному кабелю), а не на VDSL2, здесь есть кое-какие параллели. Virgin Media прокладывает оптоволоконные линии до уличных шкафов, далее используя медный коаксиальный кабель для широкополосного доступа и ТВ (для телефонии по-прежнему используется витая пара).
Стоит отметить, что DOCSIS 3.0 — это самый распространенный в США вариант последней мили, 55 миллионов из всех 90 миллионов стационарных линий широкополосного доступа используют коаксиальный кабель. На втором месте ADSL — 20 миллионов, далее FTTP — 10 миллионов. Технология VDSL2 в США почти не используется, но время от времени встречается в некоторых городских районах.
DOCSIS 3 до сих пор имеет запас скорости, который позволит кабельным провайдерам при необходимости увеличить скорость до 400, 500 или 600 Мбит/с — а после этого появится DOCSIS 3.1, который уже ждет своего часа.
При использовании стандарта DOCSIS 3.1 входящая скорость превышает 10 Гбит/с, а исходящая достигает 1 Гбит/с. Достигнуть таких мощностей можно за счет метода квадратурной амплитудной модуляции — она же используется на коротких расстояниях в подводных кабелях. Однако на суше получены КАМ более высокого порядка — 4096КАМ по схеме цифровой модуляции мультиплексирования с ортогональным частотным разделением каналов (OFDM), где, как и в DWDM, сигнал разделяется на несколько поднесущих, передаваемых на разных частотах в ограниченном спектре. Метод ODFM также используется в ADSL/VDSL и G.fast.
Последние 100 метров
Несмотря на то, что FTTC и DOCSIS последние несколько лет доминируют на рынке проводного интернет-доступа Великобритании, будет большим упущением не упомянуть о другой стороне проблемы последней мили (или последних 100 м): мобильные устройства и беспроводная связь.
Вскоре ожидается появление новых возможностей для управления и развертывания мобильных сетей, но пока давайте просто взглянем на Wi-Fi, которая в основном является расширением для FTTC и DOCSIS. Наглядный пример: недавно внедренное и почти полное покрытие городских районов точками доступа Wi-Fi.
Сперва это были всего несколько смелых кафе и баров, но затем BT превратила абонентские маршрутизаторы в открытые точки доступа, назвав это «BT Fon». Сейчас это превратилось в игру крупных инфрастуктурных компаний — Wi-Fi сеть в лондонском метро или интересный проект Virgin «умный тротуар» в Чешаме, Бакингемшир
Для этого проекта Virgin Media просто поместили точки доступа под крышки канализационных люков, которые изготовлены из специального радиопрозрачного композита. Virgin используют множество линий и узлов по всей Британии, так почему бы не добавить несколько Wi-Fi точек, чтобы поделиться доступом с людьми?
В беседе с Саймоном Клементом, старшим технологом Virgin Media, создается впечатление, что внедрение умного тротуара сперва казалось более трудной задачей, чем вышло на самом деле.
«Раньше мы сталкивались с трудностями взаимодействия с местными властями, но в этот раз такого не произошло, — говорит Клемент, — городской совет Чешама активно сотрудничал с нами в работе над этим проектом, и складывалось общее впечатление того, что чиновники повсеместно открыты к внедрению коммуникационных услуг для населения и понимают какую работу необходимо проделать, чтобы реализовать эти услуги»
Большинство трудностей возникают сами по себе или связаны с регламентами.
«Главная задача в том, чтобы мыслить нестандартно. К примеру, стандартные проекты беспроводного доступа предполагают установку радиоточек настолько высоко, насколько позволяет административный регламент, и эти точки работают с мощностью, максимальный уровень которой ограничивается тем же регламентом. Мы же попытались установить точки доступа под землей, чтобы они работали на мощности простого домашнего Wi-Fi»
«Нам пришлось идти на множество рисков по ходу проекта. Как и во всех инновационных проектах, предварительная оценка рисков актуальна до тех пор, пока объем работ остается неизменным. На практике это случается крайне редко, и мы вынуждены регулярно производить динамическую оценку рисков. Существуют ключевые принципы, которых мы стараемся держаться, особенно в работе с беспроводным доступом. Мы всегда придерживаемся ограничений стандарта EIRP (эффективная изотропно излучаемая мощность) и всегда используем безопасные рабочие методы применительно к радио. Когда имеешь дело с радиоизлучением, лучше быть консерватором».
Назад в будущее кабельного Интернета
Далее на горизонте для сети POTS от Openreach стоит G.fast, который лучше всего можно описать как конфигурацию FTTdp (оптическое волокно к точке раздачи). Опять же, это переходник от оптоволокна к медному кабелю, но DSLAM будет размещен еще ближе к конечному пользователю, над телеграфными столбами и под землей, а на последних десятках метров кабеля будет привычная медная витая пара.
Идея заключается в том, чтобы расположить оптоволокно как можно ближе к клиенту, одновременно минимизируя длину медного кабеля, что теоретически позволяет достигать скорости подключения от 500 до 800 Мбит/с. G.fast работает с гораздо большим диапазоном частот нежели VDSL2, так что длина кабеля сильнее влияет на работоспособность сети. Однако, некоторые сомневаются, что при таком раскладе BT Openreach будет оптимизировать скорость, так как, по причине высокой стоимости, для предоставления таких услуг им придется вернуться к узловому телекоммуникационному шкафу и пожертвовать скоростью: она снизится до 300 Мбит/с.
Есть еще FTTH. Openreach изначально отложили FTTH — они разработали лучший (читай: дешевый) способ передачи, но недавно заявили о своей «амбиции» начать широкомасштабное внедрение FTTH. Технологии FTTC или FTTdp наиболее вероятно станут краткосрочным и промежуточным решением для многих пользователей, которые пользуются услугами кабельных провайдеров, в свою очередь являющихся оптовыми клиентами Openreach.
С другой стороны, нет основания полагать, что Virgin Media собирается почивать на коаксиальных лаврах: пока их конкурент-телекоммуникационный гигант обдумывает свои ходы, Virgin стабильно поставляет услуги FTTH, охватывая 250 тысяч пользователей и ставит целью достичь 500 тысяч в этом году. Проект Lightning, с помощью которого в течение следующих нескольких лет к сети Virgin подключатся еще четыре миллиона домов и офисов, включает один миллион новых подключений по FTTH.
В нынешней ситуации Virgin использует технологию RFOG (радиочастота по стекловолокну) и таким образом появляется возможность использовать стандартные коаксиальные роутеры и TiVo, но значительное влияние в сфере FTTH в Великобритании дает компании несколько дополнительных опций в будущем, когда спрос на широкополосный пользовательский доступ возрастет.
Последние несколько лет также были благоприятны для мелких и независимых игроков вроде Hyperoptic и Gigaclear, которые выпускают свои собственные оптоволоконные сети. Их площадь покрытия все еще крайне ограничена парой тысяч жилых домов в центре города (Hyperoptic) и сельскими поселениями (Gigaclear), но рост конкуренции и вложений в инфрастуктуру никогда не ведет к плохому.
Вот так история
Вот и все дела: в следующий раз, смотря видео на YouTube, вы в подробностях будете знать, как оно движется с облачного сервера на ваш компьютер. Это может казаться очень легким, — особенно с вашей стороны — но теперь вы знаете правду: всё работает на смертоносных кабелях в 4000 вольт, 96 тоннах батарей, тысячах литров дизельного топлива, миллионах миль кабелей «последней мили» и излишестве в избытке.
Сама система тоже будет становиться все больше и безумней. Для умных домов, носимой электроники и ТВ с фильмами по запросу понадобится больший диапазон, большая надежность и больше мозгов в колбах. Хорошо жить в наше время.
Свою технологическую одиссею Боб Дормон начал еще подростком, работая в GSHQ, однако, из-за страсти к музыке он поехал осваивать звукозапись в Лондон. Больше двенадцати лет он регулярно писал для журналов музыкальной и Mac направленности. Восхищенный отношением человека и технологий, он стал полноценным журналистом, и больше шести лет был членом редакторской команды журнала The Register. Боб проживает в Лондоне, и у него до неприличного много гаджетов, гитар и винтажных MIDI-синтезаторов.
Боб Дормон (Bob Dormon)
Перевод осуществлен проектом Newочём.
— Часть первая —
IT-гиганты начали активно строить собственные подводные магистральные сети / ITSumma corporate blog / Habr
Мы уже давно привыкли, что крупные IT-компании занимаются не только выпуском продуктов и оказанием услуг, но и активно участвуют в развитии интернет-инфраструктуры. DNS от Google, облачные хранилища и хостинг Amazon, дата-центры Facebook по всему миру — пятнадцать лет назад это казалось слишком амбициозным, а сейчас является нормой, к которой все привыкли.И вот, четверка крупнейших IT-компаний в лице Amazon, Google, Microsoft и Facebook дошли до того, что начали вкладываться не только в непосредственно дата-центры и серверы, но и в сами магистральные кабели — то есть зашли на территорию, которая традиционно являлась зоной ответственности совершенно иных структур. Причем, судя по выводам в блоге APNIC, упомянутый квартет технологических гигантов замахнулся не просто на наземные сети, а на магистральные трансконтинентальные линии связи, т.е. на всем нам знакомые подводные кабели.
Самое удивительное, что острой необходимости в новых сетях сейчас нет, но компании активно наращивают пропускную способность «про запас». К сожалению, найти внятную статистику о мировой генерации трафика почти невозможно благодаря многочисленным маркетологам, которые оперируют размерностями вида «65 миллионов постов в инстаграме ежедневно» или «N поисковых запросов в Google» вместо прозрачных и понятных техническим специалистам петабайт. Можно осторожно предположить, что ежедневный трафик составляет ≈2,5*10^18 байт или около 2500 петабайт данных.
Одной из причин, по которым современные магистральные сети должны расширяться, называется рост популярности стримингового сервиса Netflix и параллельный рост мобильного сегмента. При общем тренде на повышение визуальной составляющей видеоконтента в плане разрешения и битрейта, а также увеличение потребления мобильного трафика отдельным пользователем (на фоне общего замедления продаж мобильных устройств по всему миру), магистральные сети все еще нельзя назвать перегруженными.
Давайте обратимся к карте подводного интернета от Google:
Визуально сложно определить, как много новых трасс было проложено, а сам сервис обновляется чуть ли не ежедневно, не предоставляя при этом внятной истории изменений или каких-либо других сведенных воедино статистических данных. Поэтому обратимся к более старым источникам. Согласно информации уже на этой карте (50 Mb !!!), пропускная способность существующих межконтинентальных магистральных сетей в 2014 году составляла около 58 Тбит/с из которых реально использовалось только 24 Тбит/с:
Для тех, кто гневно разминает пальцы и готовится написать: «Не верю! Слишком мало!», напомним, что речь идет о межконтинентальном трафике, то есть он априори намного ниже, чем внутри конкретно взятого региона, так как квантовую телепортацию мы еще не обуздали и от пинга в 300-400 мс не спрятаться, не скрыться.
В 2015 году был сделан прогноз, что с 2016 по 2020 годы по океанскому дну будет протянуто в общей сложности еще 400 000 км магистральных кабелей, что значительно увеличит пропускную способность всемирной сети.
Однако если обратиться к статистике, приведенной на карте выше, конкретно о 26 Тбит/c нагрузки при общем канале в 58 Тбит/с, возникают закономерные вопросы: зачем и почему?
Во-первых, IT-гиганты занялись прокладкой собственных магистральных сетей ради увеличения связности элементов внутренней инфраструктуры компаний на разных континентах. Именно по причине ранее упоминаемого пинга в почти полсекунды между двумя противолежащими точками земного шара, IT-компаниям приходится изощряться в вопросах обесепечения стабильности работы своего «хозяйства». Наиболее остро эти вопросы стоят перед Google и Amazon; первые начали прокладку собственных сетей еще в 2014 году, когда решили «прокинуть» кабель между восточным побережьем США и Японией для соединения своих дата-центров, о чем тогда писали на Хабре. Только для соединения двух отдельных дата-центров, поисковой гигант был готов потратить $300 млн и протянуть около 10 тыс. километров кабеля по дну тихого океана.
Если кто-то не знал или забыл, то подводная кабелеукладка — это квест повышенной сложности, начиная от погружения армированных конструкций диаметром до полуметра в прибрежных зонах и заканчивая бесконечной ландшафтной разведкой для укладки основной части магистрали на глубине от нескольких километров. Когда же речь идет о Тихом океане, то сложность лишь возрастает пропорционально глубине и количеству горных кряжей на океанском дне. Для подобных мероприятий нужны специализированные суда, специально обученная команда специалистов и, по сути, несколько лет напряженной работы, если рассматривать укладку от этапа проектирования и разведки, до, собственно, окончательного ввода участка сети в эксплуатацию. Плюс, сюда можно добавить согласование работ и постройку ретрансляционных станций на берегу с местными правительствами, работу с экологами, которые следят за сохранением наиболее обитаемой прибрежной линии (глубина <200 м) и так далее.
Возможно, за последние годы в эксплуатацию были введены новые суда, но еще пять лет назад на основные кабелеукладчики той же Huawei (да, китайская компания один из лидеров этого рынка), была солидная очередь на много месяцев вперед. На фоне всей этой информации активность технологических гигантов в этом сегменте выглядит все интереснее и интереснее.
Официальная позиция всех крупных IT-компаний: обеспечение связности (независимости от общих сетей) их дата-центров. А вот как выглядят подводные карты разных игроков рынка согласно данным telegeography.com:
Как видно на картах, наиболее впечатляющие аппетиты не у Google или Amazon, а у Facebook, которая давно перестала быть «просто социальной сетью». Также прослеживается явный интерес всех крупных игроков к азиатско-тихоокеанскому региону, и только Microsoft еще тянется к Старому свету. Если банально посчитать отмеченные магистрали, то можно узнать, что только эта четверка компаний являются совладельцами либо полными собственниками 25-ти уже построенных или окончательно запланированных к прокладке магистральных линий, большинство из которых тянутся в сторону Японии, Китая и всей Юго-Восточной Азии. При этом мы приводим только статистику по упоминаемой ранее четверке IT-гигантов, а кроме них активно строят собственные сети еще Alcatel, NEC, Huawei и Subcom.
В целом, количество частных или с участием частного капитала трансконтинентальных магистралей значительно выросло с 2014 года — с момента, когда Google заявила о ранее упоминаемом соединении своего дата-центра в США с дата-центром в Японии:
Собственно, мотивация «мы хотим связать наши дата-центры» недостаточна: едва ли компаниям нужно связывание ради связывания. Скорее, они желают изолировать передаваемую информацию и обезопасить собственную внутреннюю инфраструктуру.
Если же достать из ящика стола шапочку из фольги, расправить ее и натянуть потуже, то можно сформулировать очень и очень осторожную гипотезу следующего плана: сейчас мы наблюдаем за зарождением интернета новой формации, по сути, мировой корпоративной сети. Если вспомнить, что на Amazon, Google, Facebook и Microsoft приходится минимум половина мирового потребления трафика (хостинг Amazon, поиск и сервисы Google, социальные сети Facebook и Instagram и десктопы под управлением Windows от Microsoft), то нужно доставать уже вторую шапочку. Потому что в теории, в очень смутной теории, если проекты вида Google Fiber (это тот, в котором Google попробовала себя в качестве провайдера для населения) будут появляться в регионах, то сейчас мы наблюдаем зарождение второго интернета, который пока сосуществует вместе с уже построенным. Насколько это антиутопично и бредово — решайте сами.
MPLS повсюду. Как устроена сетевая инфраструктура Яндекс.Облака
Пост подготовили: Александр Вирилин xscrew — автор, руководитель службы сетевой инфраструктуры, Леонид Клюев — редакторМы продолжаем знакомить вас с внутренним устройством Яндекс.Облака. Сегодня поговорим о сетях — расскажем, как устроена сетевая инфраструктура, почему в ней активно применяется непопулярная для дата-центров парадигма MPLS, какие ещё сложные решения нам приходилось принимать в процессе построения облачной сети, как мы ей управляем и какие мониторинги используем.
Сеть в Облаке состоит из трёх слоёв. Нижний слой — уже упомянутая инфраструктура. Это физическая «железная» сеть внутри дата-центров, между дата-центрами и в местах присоединения к внешним сетям. Поверх сетевой инфраструктуры строится виртуальная сеть, а поверх виртуальной сети — сетевые сервисы. Эта структура не является монолитной: слои пересекаются, виртуальная сеть и сетевые сервисы напрямую взаимодействуют с сетевой инфраструктурой. Поскольку виртуальную сеть часто называют overlay, то сетевую инфраструктуру мы обычно называем underlay.
Сейчас инфраструктура Облака базируется в Центральном регионе России и включает в себя три зоны доступности — то есть три географически распределенных независимых дата-центра. Независимые — не зависящие друг от друга в контексте сетей, инженерных и электрических систем и т. д.
О характеристиках. География расположения дата-центров такова, что время приема-передачи в оба конца между ними (round-trip time, RTT) всегда составляет 6–7 мс. Суммарная емкость каналов уже перевалила за 10 терабит и постоянно наращивается, потому что Яндекс обладает собственной волоконно-оптической сетью между зонами. Поскольку мы не арендуем каналы связи, то можем оперативно наращивать ёмкость полосы между ДЦ: в каждом из них используется оборудование спектрального уплотнения.
Вот максимально схематичное представление зон:
Реальность, в свою очередь, немного другая:
Здесь изображена текущая опорная сеть Яндекса в регионе. Поверх неё работают все сервисы Яндекса, часть сети используется Облаком. (Это картинка для внутреннего пользования, поэтому сервисная информация сознательно скрыта. Тем не менее, можно оценить количество узлов и соединений.) Решение задействовать опорную сеть было логичным: мы могли ничего не изобретать, а переиспользовать текущую инфраструктуру — «выстраданную» за годы развития.
В чем отличие между первой картинкой и второй? В первую очередь, зоны доступности не связаны между собой напрямую: между ними расположены технические площадки. Площадки не содержат серверного оборудования — на них размещаются только сетевые устройства по обеспечению связности. К техническим площадкам подключаются точки присутствия, где происходит стыковка Яндекса и Облака с внешним миром. Все точки присутствия работают на весь регион. Кстати, важно отметить, что с точки зрения внешнего доступа из интернета все зоны доступности Облака равнозначны. Другими словами, они обеспечивают одинаковую связность — то есть одну и ту же скорость и пропускную способность, а также одинаково низкие задержки.
Кроме того, на точках присутствия находится оборудование, к которому — при наличии on-premise-ресурсов и желании расширить локальную инфраструктуру облачными мощностями — могут подключиться клиенты по гарантированному каналу. Это можно сделать с помощью партнёров или самостоятельно.
Опорная сеть используется Облаком как MPLS-транспорт.
MPLS
Multi protocol label switching (мультипротокольная коммутация по меткам) — крайне широко используемая в нашей отрасли технология. Например, когда какой-либо пакет передаётся между зонами доступности или между зоной доступности и интернетом, то транзитное оборудование обращает внимание только на верхнюю метку, «не думая» о том, что под ней. Таким образом MPLS позволяет скрыть сложность Облака от транспортного уровня. Вообще, мы в Облаке очень любим MPLS. Мы даже сделали её частью нижнего уровня и используем непосредственно на коммутационной фабрике в дата-центре:
(На самом деле между Leaf-свитчами и Spines огромное количество параллельных линков.)
Почему MPLS?
MPLS и правда совсем не часто можно встретить в сетях дата-центров. Зачастую используются совсем другие технологии.
Мы используем MPLS по нескольким причинам. Во-первых, мы посчитали удобным унифицировать технологии control plane и data plane. То есть вместо одних протоколов в сети дата-центра, других протоколов в опорной сети и мест стыка этих протоколов — единый MPLS. Тем самым мы унифицировали технологический стек и снизили сложность сети.
Во-вторых, в Облаке мы используем различные сетевые appliances, например Cloud Gateway и Network Load Balancer. Им нужно коммуницировать между собой, отправлять трафик в интернет и наоборот. Эти сетевые appliances могут горизонтально масштабироваться при росте нагрузки, а поскольку Облако строится по модели гиперконвергентности, они могут быть запущены в абсолютно любом месте с точки зрения сети в дата-центре, то есть в общем пуле ресурсов.
Таким образом, эти appliances могут запуститься за любым портом стоечного свитча, где находится сервер, и начать общаться по MPLS со всей остальной инфраструктурой. Единственной проблемой в построении такой архитектуры была сигнализация.
Сигнализация
Классический стек протоколов MPLS достаточно сложный. Это, кстати, является одной из причин нераспространённости MPLS в сетях дата-центров.
Мы, в свою очередь, не стали использовать ни IGP (Interior Gateway Protocol), ни LDP (Label Distribution Protocol), ни другие протоколы распространения меток. Используется только BGP (Border Gateway Protocol) Label-Unicast. Каждый appliance, который запускается, например, в виде виртуальной машины, строит сессию BGP до стоечного Leaf-свитча.
BGP-сессия строится по заранее известному адресу. Нет необходимости автоматически настраивать свитч под запуск каждого appliance. Все свитчи настроены заранее и единообразно.
В рамках сессии BGP каждый appliance отправляет свой loopback и получает loopbacks остальных устройств, с которыми ему нужно будет обмениваться трафиком. Примеры таких устройств — route reflectors нескольких видов, пограничные маршрутизаторы и другие appliances. В итоге на устройствах появляется информация о том, как им достичь друг друга. Из Cloud Gateway через Leaf-свитч, Spine-свитч и сеть до пограничного маршрутизатора строится Label Switch Path. Свитчи — это L3-коммутаторы, которые ведут себя как Label Switch Router и «не знают» об окружающей их сложности.
MPLS на всех уровнях нашей сети, помимо прочего, позволила нам использовать концепцию Eat your own dogfood.
Eat your own dogfood
C точки зрения сети эта концепция подразумевает, что мы живем в той же инфраструктуре, которую предоставляем пользователю. Здесь схематично изображены стойки в зонах доступности:
Cloud host принимает на себя нагрузку от пользователя, содержит его виртуальные машины. А буквально соседний хост в стойке может нести на себе инфраструктурную с точки зрения сети нагрузку, включающую в себя route reflectors, сервера менеджмента, мониторинга и т. д.
Для чего это было сделано? Существовал соблазн запускать route reflectors и все инфраструктурные элементы в отдельном отказоустойчивом сегменте. Тогда, если бы где-то в дата-центре сломался пользовательский сегмент, инфраструктурные сервера продолжили бы управлять всей сетевой инфраструктурой. Но нам такой подход показался порочным — если мы не доверяем собственной инфраструктуре, то как мы можем предоставлять её нашим клиентам? Ведь поверх неё работает абсолютно всё Облако, все виртуальные сети, пользовательские и облачные сервисы.
Поэтому мы отказались от отдельного сегмента. Наши инфраструктурные элементы запускаются в той же сетевой топологии и с той же сетевой связностью. Естественно, они запускаются в тройном экземпляре — подобно тому, как наши клиенты запускают в Облаке свои сервисы.
IP/MPLS-фабрика
Вот примерная схема одной из зон доступности:
В каждой зоне доступности около пяти модулей, а в каждом модуле около сотни стоек. Leaf — стоечные свитчи, они внутри своего модуля связаны уровнем Spine, а межмодульная связность обеспечивается через сетевой Interconnect. Это следующий уровень, включающий в себя так называемые Super-Spines и Edge-свитчи, которые уже связывают между собой зоны доступности. Мы сознательно отказались от L2, речь идёт только про L3 IP/MPLS-связность. Для распространения маршрутной информации используется протокол BGP.
На самом деле параллельных соединений гораздо больше, чем на картинке. Такое большое количество соединений ECMP (Equal-сost multi-path) накладывает особые требования к мониторингу. Кроме того, возникают неожиданные, на первый взгляд, лимиты в оборудовании — например, количество ECMP-групп.
Подключение серверов
Яндекс за счёт мощных инвестиций строит сервисы таким образом, чтобы отказ одного сервера, серверной стойки, модуля или даже целого дата-центра никогда не приводил к полной остановке сервиса. Если у нас случаются какие-то сетевые проблемы — предположим, сломался стоечный свитч, — внешние пользователи этого никогда не видят.
Яндекс.Облако — особый случай. Мы не можем диктовать клиенту, как ему строить собственные сервисы, и решили нивелировать эту возможную единую точку отказа. Поэтому все сервера в Облаке подключаются к двум стоечным свитчам.
Мы точно так же не используем какие-либо протоколы резервирования на уровне L2, а сразу начали использовать только L3 с BGP — опять же, из соображения унификации протоколов. Такое подключение обеспечивает каждому сервису IPv4- и IPv6-связность: какие-то сервисы работают по IPv4, а какие-то — по IPv6.
Физически каждый сервер подключается двумя 25-гигабитными интерфейсами. Вот фото из дата-центра:
Здесь вы видите два стоечных свитча со 100-гигабитными портами. Видны расходящиеся breakout-кабели, делящие 100-гигабитный порт свитча на 4 порта по 25 гигабит на сервер. Мы называем такие кабели «гидра».
Управление инфраструктурой
Сетевая инфраструктура Облака не содержит никаких проприетарных решений для управления: все системы или опенсорсные с кастомизацией под Облако, или полностью самописные.
Как происходит управление этой инфраструктурой? В Облаке не то чтобы запрещено, но крайне не приветствуется заходить на сетевое устройство и вносить какие-то корректировки. Существует текущее состояние системы, и нам нужно применить изменения: прийти к какому-то новому, целевому состоянию. «Пробежаться скриптом» по всем железкам, что-то изменить в конфигурации — так делать не стоит. Вместо этого мы вносим изменения в шаблоны, в единую систему source of truth и коммитим наше изменение в систему контроля версий. Это очень удобно, потому что всегда можно сделать rollback, посмотреть историю, узнать ответственного за коммит и т. д.
Когда мы внесли изменения, генерируются конфиги и мы их выкатываем на лабораторную тестовую топологию. С точки зрения сети это маленькое облако, которое полностью повторяет весь существующий продакшен. Мы сразу увидим, если желаемые изменения что-то ломают: во-первых, по мониторингам, а во-вторых, по фидбеку от наших внутренних пользователей.
Если мониторинги говорят, что всё спокойно, то мы продолжаем выкатку — но применяем изменение только к части топологии (две и более доступности «не имеют права» сломаться по одной и той же причине). Кроме того, мы продолжаем пристально следить за мониторингами. Это достаточно сложный процесс, о котором мы расскажем чуть ниже.
Убедившись, что всё хорошо, мы применяем изменение ко всему продакшену. В любой момент времени можно откатиться и вернуться к предыдущему состоянию сети, оперативно отследить и исправить проблему.
Мониторинги
Нам нужны разные мониторинги. Один из самых востребованных — мониторинг End-to-End-связности. В любой момент времени каждый сервер должен иметь возможность покоммуницировать с любым другим сервером. Дело в том, что если где-то есть проблема, то мы хотим как можно раньше узнать, где именно (то есть какие сервера имеют проблемы с доступом друг к другу). Обеспечение End-to-End-cвязности — наша основная задача.
На каждом сервере перечислен набор всех серверов, с которыми он должен иметь возможность коммуницировать в любой момент времени. Сервер берёт случайное подмножество этого набора и отправляет на все выбранные машины ICMP-, TCP- и UDP-пакеты. Тем самым проверяется, есть ли потери на сети, не увеличилась ли задержка и т. д. «Прозванивается» вся сеть в пределах одной из зон доступности и между ними. Результаты отправляются в централизованную систему, которая их для нас визуализирует.
Вот как выглядят результаты, когда всё не очень хорошо:
Здесь видно, между какими сегментами сети есть проблема (в данном случае это A и B) и где всё хорошо (A и D). Здесь могут отображаться конкретные сервера, стоечные свитчи, модули и целые зоны доступности. Если что-либо из перечисленного станет источником проблемы, мы это увидим в реальном времени.
Кроме того, есть событийный мониторинг. Мы пристально следим за всеми соединениями, уровнями сигналов на трансиверах, BGP-сессиями и т. д. Предположим, из какого-то сегмента сети строится три BGP-сессии, одна из которых прервалась ночью. Если мы настроили мониторинги так, что падение одной BGP-сессии для нас не критично и может подождать до утра, то мониторинг не будит сетевых инженеров. Но если падает вторая из трёх сессий, происходит автоматический звонок инженеру.
Помимо End-to-End- и событийного мониторинга, мы используем централизованный сбор логов, их реалтайм-анализ и последующий анализ. Можно посмотреть корреляции, выявить проблемы и узнать, что творилось на сетевом оборудовании.
Тема мониторинга достаточно большая, тут огромный простор для улучшений. Хочется привести систему к большей автоматизации и настоящему self-healing.
Что дальше?
У нас множество планов. Необходимо совершенствовать системы управления, мониторинга, коммутационной IP/MPLS-фабрики и многое другое.
Ещё мы активно смотрим в сторону white box-свитчей. Это готовое «железное» устройство, коммутатор, на который можно накатить свой софт. Во-первых, если всё сделать правильно, можно будет к коммутаторам «относиться» так же, как к серверам, выстроить по-настоящему удобный CI/CD-процесс, инкрементально раскатывать конфиги и т. д.
Во-вторых, если есть какие-то проблемы, лучше держать у себя группу инженеров и разработчиков, которые эти проблемы исправят, чем подолгу ждать исправления от вендора.
Чтобы всё получилось, ведётся работа в двух направлениях:
- Мы существенно снизили сложность IP/MPLS-фабрики. С одной стороны, уровень виртуальной сети и средства автоматизации от этого, наоборот, немного усложнились. С другой — сама underlay-сеть стала проще. Иными словами, есть определенное «количество» сложности, которое никуда не деть. Его можно «перекидывать» с одного уровня на другой — например, между уровнями сети или с уровня сети на уровень приложений. А можно эту сложность грамотно распределить, что мы и стараемся делать.
- И конечно, ведётся доработка нашего набора инструментов по управлению всей инфраструктурой.
Это всё, что мы хотели рассказать о нашей сетевой инфраструктуре. Вот ссылка на Телеграм-канал Облака с новостями и советами.