Распределённая трассировка: мы всё делали не так / Хабр

Что такое трассировка. для чего нужна трассировка узлов

Трассировка маршрута пакета до сетевого хоста показывает все промежуточные узлы, через которые проходит пакет, пока доберётся до указанной цели. То есть с помощью трассировки можно узнать, по каким узлам, с какими IP адресами, передаётся пакет прежде чем быть доставленным до точки назначения.

Трассировка может применяться для выявления связанных с работой компьютерной сети проблем, а также для исследования сети (определения структуры сети, поиска промежуточных сетевых узлов).

Default

Метод по умолчанию — используется если не указан другой, либо можно указать явно опцией -M default. Это традиционный, древний метод трассировки маршрута.

Пакетами зондирования являются udp датаграммы с так называемым «unlikely» (маловероятным) портом назначения. Первым «unlikely» портом зондирования является 33434 затем для каждого следующего зонда он увеличивается на единицу. Поскольку ожидается, что порт не используется, то хост назначения обычно возвращает конечный ответ «icmp unreach port». Номер порта можно поменять (об этом ниже).

Данный метод могут выполнять непривилегированные пользователи.

Mtr и mtr-gtk (консольная и графическая версия)

Программа mtr совмещает в себе функциональность программа traceroute и ping в едином инструменте диагностики сети. То есть эта программа показывает маршрут до указанного узла и непрерывно пингует каждые хоп и при этом собирает общую статистику потерь — на основе этих данных можно определить проблемный узел, на котором теряются пакеты.

Пример запуска:

mtr suip.biz

Пример вывода:

Данная программа поддерживает несколько методов трассировки.

Также она поддерживает разные форматы вывода для сохранения результатов, например, опция -C, —csv для сохранения результатов в формате CSV (обратите внимание, что на самом в качестве разделителя используется не запятая, а точка с запятой), а также опция -j, —json для сохранения в формате вывода JSON.

С помощью опции -n, —no-dns можно отключить преобразование IP в имена хостов.

Опцией -b, —show-ips можно включить отображение и имён хостов, и IP адресов.

Опцией -y n, —ipinfo n можно настроить вывод дополнительной информации о каждом IP хопа. В качестве n нужно указать цифру, которая означает:

              0   Показывать номер автономной системы (AS) (эквивалент -z)
              1   Показывать префикс IP
              2   Показать код страны на основе AS
              3   Показать RIR (ripencc, arin, ...)
              4   Показать дату выделения IP префикса

У меня при любых значениях -y всегда показывается только номер автономной системы. К счастью, между различными видами можно переключаться по кругу используя кнопку y:

Опция -z, —aslookup отображает номер Автономной Системы (AS) для каждого хопа.

Опция -f NUM используется для установки номера первого TTL. По умолчанию равно 1.

Опция -m указывать максимальное число хопов (максимальное значение time-to-live) которое будет обрабатываться при трассировке. По умолчанию равно 30.

Опция -U ЧИСЛО устанавливает максимум незнакомых хостов. По умолчанию равно 5. Видимо, после достижения этого значения дальнейшая трассировка будет остановлена.

Span’ы слишком низкоуровневые

Фундаментальная проблема с traceview в том, что

span’ы

являются слишком низкоуровневыми примитивами как для анализа задержек (latency), так и для анализа исходных причин. Это все равно что анализировать отдельные команды процессора в попытке устранить исключение, зная, что существуют гораздо более высокоуровневые инструменты вроде backtrace, работать с которыми значительно удобнее.

Более того, я возьму на себя смелость утверждать следующее: в идеале нам вовсе не нужна полная картина произошедшего во время жизненного цикла запроса, которую представляют современные инструменты для трассировки. Вместо этого требуется некая форма абстракции более высокого уровня, содержащая сведения о том, что пошло не так (по аналогии с backtrace), вместе с некоторым контекстом.

Вместо того, чтобы наблюдать весь trace, я предпочитаю видеть его часть, где происходит что-то интересное или необычное. В настоящее время поиск осуществляется вручную: инженер получает trace и самостоятельно анализирует span’ы в поисках чего-нибудь интересного.

Подход, когда люди таращатся на span’ы в отдельных trace’ах в надежде обнаружить подозрительную активность, абсолютно не масштабируется (особенно когда им приходится осмысливать все метаданные, закодированные в различных span’ах, такие как span ID, имя метода RPC, продолжительность span’а, логи, теги и т.д.).

Tcpconn

Начальная реализация tcp метода просто использующего вызов connect(2), который открывает полную tcp сессию. Не рекомендуется для нормального использование, поскольку всегда влияет на приложение прослушивающее порт на хосте назначения.

Для задействования этого метода используйте опцию -M tcpconn.

Tracepath

Программа tracepath схожа с traceroute, но использует только одну технику трассировки: UDP, для которой можно указать свой порт. Из-за выбранной техники, программа не требует повышенных привилегий.

Пример запуска:

tracepath suip.biz

Пример вывода:

 1?: [LOCALHOST]                      pmtu 1500
 1:  _gateway                                              1.247ms 
 1:  _gateway                                              1.031ms 
 2:  10.20.48.1                                            9.097ms 
 3:  10.246.245.241                                       14.034ms 
 4:  10.185.252.194                                       14.379ms 
 5:  10.185.252.29                                        11.530ms asymm  4 
 6:  58-97-121-237.static.asianet.co.th                   13.849ms asymm  5 
 7:  171-102-247-184.static.asianet.co.th                 15.737ms asymm  6 
 8:  171-102-250-1.static.asianet.co.th                   64.185ms asymm  7 
 9:  171-102-254-232.static.asianet.co.th                 14.962ms asymm  8 
10:  171-102-250-156.static.asianet.co.th                 13.509ms asymm  9 
11:  122.155.226.89                                       18.793ms 
12:  61.19.9.66                                           58.829ms 
13:  no reply
14:  87.226.181.87                                       399.972ms asymm 23 
15:  81.177.108.86                                       263.969ms asymm 14 
16:  j37-ae9-3001.marosnet.net                           307.140ms 
17:  suip.biz                                            304.644ms reached
     Resume: pmtu 1500 hops 17 back 17

В первой колонке рядом с номера узла может стоять знак вопроса — он означает, что в присланном ответе отсутствует номер TTL и программа пытается его предположить.

Вместо звёздочек, если IP не узнан, пишется no reply.

В последнем столбце может быть цифра и слово asymm. Слово asymm означает, что маршрут является ассиметричным — то есть от нас до этого узла пакет идёт по одному пути, а от этого узла к нам пакет проходит по другому пути. Цифра означает возможное количество хопов от этого узла до нас — но информация не является надёжной.

У tracepath не очень много опций:

Использовать только IPv4

Использовать только IPv6

Не печатать имя хоста, а печатать цифровое значение IP.

Печатать и имя хоста и IP адрес в цифровом виде.

Установить начальную длину пакета вместо 65535 для tracepath или 128000 для tracepath6.

Установить максимальное число хопов (или максимум TTL) — то есть количество максимально «простукиваемых» узлов. По умолчанию 30.

Установить начальный порт назначения.

Udplite

Использует для зондов датаграммы udplite (с постоянным портом назначения, по умолчанию 53). Для активации этого метода укажите опцию -M udplite или -UL.

Этот метод не требует повышенных прав.

Опции:

coverage=ЧИСЛО

Устанавливает покрытие отправки udplite на ЧИСЛО.

Альтернативы traceview

инертным

и зависит от способности пользователя подмечать верные корреляции, проверять правильные части системы или собирать кусочки мозаики воедино — в отличие от

инструмента

, помогающего пользователю формулировать эти гипотезы.

Я не визуальный дизайнер и не специалист в области UX, однако в следующем разделе хочу поделиться несколькими идеями о том, как могут выглядеть подобные визуализации.

Виды трассировки

Имеется несколько видов трассировки. В основном они различаются отправляемым пакетом — это может быть пакет транспортного протокола TCP или UDP, либо протокола межсетевых управляющих сообщений ICMP, либо сырой IP пакет.

Иногда из-за файерволов или настройки сетевых узлов не удаётся получить IP адрес узла. В этом случае можно попробовать использовать другой метод, который может дать результаты.

Это можно проиллюстрировать на следующих двух примерах трассировки до одного и того же хоста:

Выбор интерфейса для трассировки

По умолчанию пакеты отправляются с того интерфейса, для которого настроен маршрут по умолчанию. Но следующей опцией можно сделать так, что traceroute будет отправлять пакеты с указанного в строке команды интерфейса:

-i ИНТЕРФЕЙС, --interface=ИНТЕРФЕЙС

Изменение порта

Поменять порт назначения можно с помощью опции:

-p ПОРТ, --port=ПОРТ

Для UDP трассировки указанный порт будет использовать в качестве базового (номер порта назначения будет увеличиваться для каждого зонда).

Для ICMP трассировки указанное число будет использоваться в качестве начальное значение ICMP последовательности (также увеличенное для каждого зонда).

Для TCP и других указанный порт будет использоваться в качестве постоянного порта назначения к которому нужно подключиться.

Обычно это не требуется, но также можно указать и порт источника, это делается опцией:

--sport=ПОРТ

Эта опция подразумевает -N 1 -w 5 . Обычно исходные порты (если это примениму к выбранному методу трассировки) выбираются системой.

Инструмент трассировка

Инструмент геообработки Трассировка используется для трассировки сети и включает набор стандартных элементов трассировки, который можно настроить для создания составного элемента трассировки.

Более подробно об инструменте, см. Трассировка. Более подробно о различных типах трассировки см. Типы трассировки инженерных сетей.

Возможности построения, предоставленные вместе с инструментом Трассировка, позволяют уточнить, какие пространственные и непространственные объекты участвуют в трассировке и какие из них возвращаются в результатах. Они также используются для сбора дополнительной информации о подсети с помощью атрибутов сети.

Для трассировок на уровне подсети можно настроить предварительно конфигурацию трассировки для всех подсетей в уровне при помощи инструмента Установить определение подсети. Это часть настройки конфигурации инженерной сети, которая выполняется владельцем инженерной сети.

Более подробно об этих настройках трассировки, заданных на уровне администратора, см. Настройка трассировки и Задание и изменение определения подсети.

Инструмент Трассировка опирается на топологию сети для доступа к кэшированной информации о сетевых объектах. При сложной трассировке в больших сетях производительность улучшается за счет считывания кэшированной информации из топологии, а не с карты.

Поскольку инструмент Трассировка опирается на топологию сети, результаты трассировки не будут гарантированно точными, если в трассируемой области существуют измененные области или измененные подсети.

Как выбрать квартиру в новостройке?

Как показать к какой автономной системе принадлежит узел при трассировке

Каждый IP адрес привязан к Автономной системе (AS). С помощью опции -A вы можете включить запрос номера AS для каждого узла по пути трассировки, например:

sudo traceroute -A -n suip.biz

Пример вывода:

 1  192.168.1.1 [AS198949]  1.102 ms  1.708 ms  2.720 ms
 2  10.20.48.1 [*]  7.121 ms  7.168 ms  11.242 ms
 3  10.246.245.241 [*]  15.368 ms  15.812 ms  15.788 ms
 4  10.185.252.29 [*]  16.243 ms  16.213 ms  16.181 ms
 5  58.97.121.237 [AS38082/AS7470]  16.802 ms  16.776 ms  16.976 ms
 6  171.102.247.244 [AS38082/AS7470]  17.405 ms 171.102.247.114 [AS38082/AS7470]  16.320 ms 171.102.247.74 [AS38082/AS7470]  21.324 ms
 7  171.102.250.1 [AS38082/AS7470]  20.946 ms  20.521 ms  21.542 ms
 8  171.102.254.232 [AS38082/AS7470]  21.896 ms  22.789 ms  23.755 ms
 9  171.102.250.156 [AS38082/AS7470]  23.431 ms  23.036 ms  24.393 ms
10  122.155.224.197 [as4651]  26.448 ms 122.155.226.85 [as4651]  25.531 ms 122.155.226.89 [as4651]  26.770 ms
11  61.19.9.66 [AS4651/AS3549]  76.868 ms  77.298 ms  56.532 ms
12  * * *
13  87.226.181.87 [AS12389]  306.596 ms  306.452 ms 87.226.183.87 [AS12389]  306.332 ms
14  81.177.108.86 [AS12389]  307.373 ms  307.322 ms  307.328 ms
15  94.142.138.40 [AS48666]  307.290 ms  307.268 ms  307.211 ms
16  185.117.153.79 [AS48666]  307.185 ms  307.181 ms  306.512 ms

Как можно видеть, автономная система не определена для локальных IP 10.*.*.* — что вполне логично, так как эти адреса никому не назначены. Что касается адреса 192.168.1.1 и автономной единицы AS198949, то это какая-то ошибка.

Как можно увидеть из вывода предыдущей команды, первые четыре узла имеют локальный IP адреса. Узлы с 5 по 9 принадлежат одной автономной системе AS38082/AS7470. Предпоследние два узла принадлежат одной автономной системе AS12389 и последние два узла также принадлежат одной автономной системе AS48666 — интернет-провайдеру, на котором размещён сайт suip.biz.

Как работает трассировка

Трассировка начинается с одной или нескольких начальных точек или от контроллера подсети для указанной подсети и идет от источника радиальным способом. Она проходит по сети по путям из связанных объектов и пространственных объектов, пока не достигнет конечного местоположения.

Конечное местоположение может быть барьером или конечной точкой пути. После завершения, результаты трассировки возвращаются в виде набора выборки или составного класса объектов. Результаты трассировки могут использоваться для различных целей. Например, результирующий набор выбранных объектов может использоваться в качестве входных данных для создания отчетов и может помещаться в другие виды карт или схем.

Более подробную информацию об этих объектах см. в разделах Начальные точки, Барьеры и Результаты трассировки.

Определение уровня специализированной сети влияет на то, как выполняются трассировки на основе подсетей. Для специализированных сетей с определениями разделенных уровней, трассировки подсетей останавливаются у контроллеров подсетей. Для специализированных сетей с определениями иерархических уровней, трассировки подсетей останавливаются у тех контроллеров подсетей, которые имеют имя уровня, совпадающее с уровнем, заданным в трассировке.

Для трассировок подсетей необходимо, чтобы в каждой подсети был хотя бы один контроллер подсети, чтобы определять на лету направление потока при трассировке. Направление потока от контроллеров подсети зависит от того, как настроена специализированная сеть для данного типа контроллера подсети (источник или приемник).

Более подробно см. в разделе Типы трассировки инженерной сети.

Терминалы отображают порты на таких сетевых объектах, как устройства или объекты соединений Сетевой объект, который определен как контроллер подсети, должен иметь терминал, назначенный одному порту, используемому как порт против течения. Вы можете выбрать, применять ли терминалы к ключевым объектам контроллера, не являющимся подсетью, например, к клапанам.

Использование терминалов обеспечивает лучший контроль над внутренними путями в сетевом объекте, поддерживая точные результаты трассировки. Например, устройство тройной переключатель используется для контроля потока электричества между одним проводом и другим.

Более подробно о терминалах см. Управление терминалом

Как ускорить трассировку. как отключить обратное преобразование ip в имена хостов при трассировке

Чуть выше описаны принципы работы трассировки — отправка пакетов с постоянно увеличивающимся сроком жизни. На самом деле — все пакеты (с TTL 1, с TTL 2, с TTL 3 и т. д.) можно отправить одновременно. И именно так это и происходит — по умолчанию отправляются 16 пакетов за раз (количество можно изменить опцией -N). Это делается для ускорения трассировки.

Поэтому в действительности трассировка выполняется очень быстро. Те 1-2 секунды, которые как нам кажется определяются узлы сети, на самом деле тратятся на получение имён хостов для IP. С помощью опции -n это можно отключить.

Используя программу time можно замерить время выполнения программы с опцией -n и без неё:

Методы проведения трассировки

Определение расположения подземных коммуникаций выполняется трассопоисковыми комплектами. Наиболее эффективно использование данной технологии для металлических труб.

• В точке доступа (колодец, пожарный гидрант, запорная арматура, ввод в здание) подключается генератор, который сообщает трубе электромагнитное поле определённой частоты.
• Затем, перемещаясь по поверхности с локатором, оператор определяет места, где именно проходят искомые коммуникации — локатор указывает точки максимума и минимума, глубину заложения труб.

В дополнение к трассопоисковым комплектам для поиска колодцев и сетей используются мощные металлоискатели и зонд. Зондирование эффективно для трассировки неметаллических труб, поиска потерянных (закопанных и заасфальтированных) колодцев.

• Мы помещаем зонд, излучающий вокруг себя электромагнитное поле, внутрь трубы, перемещаем его с помощью стеклопрутка. С поверхности местоположение зонда отыскивается локатором. Таким образом, двигая зонд в трубе и перемещаясь за ним с локатором, мы определяем трассировку сети.

Совместив зондирование и телеинспекцию, с максимальной точностью можно определить на местности места поворотов, дефекты трубы, точки присоединения, потерянные колодцы. При помощи видеодиагностики мы осматриваем трубу изнутри, и обнаружив повреждение или колодец, с помощью зонда мы точно укажем эту точку с поверхности, что позволит провести локальную раскопку и ремонт.

Методы трассировки

• Трассировка металлических труб (водопровода, тепловой сети) выполняется с использованием трассопоисковых комплектов,
• трассировка неметаллических (пластиковых, керамических, железобетонных) труб- акустическим методом,
• трассировка канализации – с помощью оборудования телеинспекции и специализированных зондов.

В результате работ составляется схема участка и определяется трасса на местности, указываются затерянные колодцы. Проведение подобных работ требуются как эксплуатирующим организациям, так и застройщикам, поскольку позволяет определить местонахождение всех коммуникаций на определенной площади.

Написание скриптов

При выполнении трассировки на основе подсети, с помощью инструмента Трассировка через Python, Конфигурация трассировки подсетиопределение подсети не используется для входных данных Уровня и должна быть задана вручную.

Некоторые параметры инструмента Трассировка доступны только в среде скрипта или модели. Эти параметры позволяют указать расположение класса, который будет использоваться для записи местоположений трассировки, а также изменить или настроить распространение и подстановку.

Дополнительные сведения см. в разделе Распространение атрибута и Замена атрибута.

Когда вы запускаете трассировку из скрипта или модели, используйте инструмент геообработки Установить местоположения трассировки. С помощью этого инструмента вы можете поместить ваши местоположения трассировки либо в классы UN_, либо в новый класс в указанном расположении.

Это похоже на использование панели Задать местоположения трассировки при работе в активном виде карты. Если вы задаете новый класс и местоположение, путь Трассировки к классу пространственных объектов должен быть задан с использованием параметров Starting Points и Barriers инструмента Трассировка, доступного только через скрипт или модель.

Оборудование

Для трассопоиска нами используется следующее основное оборудование:

• Трассопоисковые комплексы RD 4000 (Radiodetection. Великобритания), 2 комплекта.  Комплексы, предназначенные для поиска подземных металлических трубопроводов и кабелей. Оснащенные ЖК-дисплеем и 16 активными частотами эти приборы гарантируют высокую степень фильтрации от промышленных помех.
• Дополнительная опция – зонд, который можно поместить внутрь подземной трубы, перемещать и отыскивать с поверхности локатором. Это позволяет выполнять трассировку неметаллических коммуникаций, поиск потерянных колодцев.
• Локатор RD 500 (Radiodetection. Великобритания) для трассировки пластиковых труб акустическим методом.
• Металлоискатель RD 312 (Radiodetection. Великобритания) определяет затерянный колодец на глубине до 1 метра.
• Металлоискатель RD 316 (Radiodetection. Великобритания), позволяет определять расположение потерянного колодца на глубине до 1,5 метров.

Поиск подземных коммуникаций на участках под застройку жилья

• Применяемая методика трассировки сетей абсолютно безопасна, наш персонал имеет большой опыт работы в данной сфере, а приборы имеют все необходимые сертификаты.
• Работающие трубопроводные сети и коммуникации останутся в целости и будут работоспособны.
• Процесс согласования строительных работ с государственными органами и предприятиями инженерных коммуникаций намного упрощается.
• Количество поломок оборудования существенно снижается.
• Количество земляных работ сокращается.
• Вероятность аварийных ситуаций минимальная, сведена к 0.
• Наличие карты с указанием пролегания магистралей, упростит процесс ремонта и сократит время на него в будущем.
• У нас выгодные цены.
• Мы работаем во всех регионах России.

Построение топологии

Привязанные к конкретному сервису представления могут быть невероятно полезны, если пользователь знает,

какой

сервис или группа сервисов повинна в увеличении задержек или является источником ошибок. Однако в сложной системе определение сервиса-нарушителя может оказаться нетривиальной задачей во время сбоя, особенно если сообщения об ошибках от сервисов не поступали.

Примечания по использованию

Ниже перечислены элементы, которые должны быть приняты во внимание при трассировке сети.

Принципы работы трассировки

Пересылаемые сетевые пакеты состоят из двух областей: заголовки и данные. В заголовках находится разная информация, например, IP адреса пункта отправки и пункта назначения, порты отправки и назначения, тип пакета, контрольная сумма пакета и прочее. Среди полей заголовка, у IP протокола есть такое поле как time to live (TTL) — время жизни пакета.

Это счётчик с числом, которое уменьшается на единицу каждый раз, когда пакет проходит новый узел. Этот счётчик сделан для того, чтобы проблемный пакет (например, при ошибке, повлекшей закольцованный маршрут) не путешествовал по сети бесконечно. То есть любой пакет пройдя определённое количество узлов в конце-концов достигнет точки назначения или будет отброшен одним из узлов сети, когда закончится «время жизни».

Когда счётчик TTL становится равным нулю, очередной шлюз просто не пересылает этот пакет дальше. Но при этом шлюз на тот IP адрес, откуда пришёл пакет с истёкшим временем жизни, отправляет по протоколу ICMP ответ TIME_EXCEEDED (время жизни кончилось).

Так вот, суть трассировки в том, что отправляется один пакет с временем жизни (TTL) установленным на единицу — первый шлюз уменьшает значение на единицу, смотрит, что счётчик стал равен нулю, никуда не отправляет этот пакет, зато нам отправляет ответ, что пакет «умер».

Мы и так знаем, что пакет умер — из этого ответа нас интересует только IP адрес шлюза, где с пакетом случилось это несчастье. Затем отправляется пакет со счётчиком установленным на 2 — пакет проходит первый шлюз (его IP мы уже знаем), но несчастье (счётчик достигает нуля) с ним случается уже на втором шлюзе — мы получаем ICMP ответ с IP этого шлюза. Затем отправляется следующий пакет и т. д., пока не будут определены все узлы до нужного нам сетевого хоста.

Проблема с traceview

Предназначение

traceview

— предоставлять полную картину передвижения отдельного запроса по всем компонентам распределенной системы, к которым он имеет отношение. Некоторые более продвинутые системы трассировки позволяют детализировать отдельные span’ы и просматривать разбивку по времени

внутри

одного процесса (когда span’ы имеют функциональные границы).

Базовой предпосылкой архитектуры микросервисов является идея о том, что организационная структура растет вместе с потребностями компании. Сторонники микросервисов утверждают, что распределение различных бизнес-задач по отдельным сервисам позволяет небольшим, автономным командам разработчиков контролировать весь жизненный цикл таких сервисов, давая им возможность независимым образом создавать, тестировать и развертывать эти сервисы.

Однако недостатком подобного распределения является потеря информации о том, как каждый сервис взаимодействует с другими. В таких условиях распределенная трассировка претендует на роль незаменимого инструмента для отладки сложных взаимодействий между сервисами.

Если у вас действительно ошеломляюще сложная распределенная система, то ни один человек не способен удержать в голове ее полную картину. На самом деле разработка инструмента исходя из предположения, что это вообще возможно, является чем-то вроде антипаттерна (неэффективным и непродуктивным подходом).

В идеале для отладки требуется инструмент, помогающий сузить зону поиска, чтобы инженеры могли сосредоточится на подмножестве измерений (сервисах/пользователях/хостах и т. п.), имеющих отношение к рассматриваемому сценарию проблемы. При выяснении причины сбоя инженеры не обязаны разбираться в том, что происходило во всех сервисах сразу, поскольку такое требование противоречило бы самой идее микросервисной архитектуры.

Однако traceview представляет собой именно это. Да, некоторые системы трассировки предлагают сжатые traceview, когда число span’ов в trace настолько велико, что их невозможно отобразить в рамках одной визуализации. Однако из-за большого объема информации, содержащейся даже в такой урезанной визуализации, инженеры все равно вынуждены «просеивать» ее, вручную сужая выборку до набора сервисов-источников проблем. Увы, на этом поприще машины значительно быстрее человека, менее подвержены ошибкам, а их результаты более повторяемы.

Еще одна причина, по которой я считаю метод traceview неправильным, связана с тем, что он плохо подходит для отладки на основе гипотез. В своей основе отладка — это итеративный процесс, начинающийся с гипотезы, за которой следуют проверка различных наблюдений и фактов, полученных от системы по разным векторам, выводы/обобщения и дальнейшая оценка истинности гипотезы.

Возможность быстро и дешево тестировать гипотезы и соответствующим образом улучшать ментальную модель является краеугольным камнем отладки. Любой отладочный инструмент должен быть интерактивным и сужать пространство поиска или, в случае ложного следа, позволять пользователю вернуться назад и сфокусироваться на другой области системы.

Увы, traceview нельзя назвать инструментом с интерактивным интерфейсом. Лучшее, на что можно надеяться при его использовании, — это обнаружить некий источник повышенных задержек и просмотреть всевозможные теги и логи, связанные с ним. Это не помогает инженеру выявить закономерности в трафике, такие как специфика распределения задержек, или обнаружить корреляции между различными измерениями.

Обобщенный анализ trace’ов может помочь обойти некоторые из этих проблем. Действительно, имеются примеры успешного анализа с использованием машинного обучения по выявлению аномальных span’ов и идентификации подмножества тегов, которые могут быть связаны с аномальным поведением.

Программы для трассировки

Имеется много разных утилит для трассировки, некоторые из них поддерживают различные методы трассировки. Примеры таких программ:

• traceroute
• tracepath
• mtr и mtr-gtk (соответственно, консольная и графическая версия)
• lft
• tcptraceroute

Ещё определять узлы маршрута пакета можно с помощью Nmap (несколькими способами) и даже с помощью ping!

В этой статье я рассмотрю все перечисленные выше программы. Начнём знакомство с traceroute, поскольку в ней реализовано больше всего методов сканирования.

Профессионалы нашей компании при проведении трассировки трубопровода всегда учитывают важные факторы:

• Состав почвы, ее особенности, а также рельеф местности
• Рассчитывают и прогнозируют глубину трубопровода
• Учитывают тип застройки данной местности: промышленная или жилая зона
• Диаметры труб, наличие и размеры колодцев, растений

В процессе проведения трассировки водопроводной сети, канализации и других трубопроводов обнаруживаются потерянные колодцы (под грунтом, асфальтом), повороты, неизвестные ранее абонентские присоединения. В результате определения трассы составляется точная схема местоположения сетей с привязкой к существующим объектам и зданиям.

Также может быть определена глубина заложения коммуникаций в различных точках, что позволяет наиболее аккуратно проводить земляные работы, без повреждения ненанесённых на схемы кабелей и труб. Наше оборудование позволяет проводить поиск колодцев, поиск трубопроводов, высоковольтных кабелей. Используя техническое заключение, можно подбирать места для новых врезок и подключений, осуществляя локальные раскопки.

Услуга трассировки сети очень популярна среди строительных, коммунальных и дорожных организаций, а также используется частными застройщиками, покупающими участки земли под строительство жилья. Поиск трубопровода, колодца, коммуникаций осуществляется быстро и качественно.

Работа с несколькими выражениями с условиями

При настройке барьеров, фильтров или выходов с несколькими условными выражениями важно помнить, что логическое И имеет более высокий приоритет, чем логическое ИЛИ.

В качестве примера представим, что у вас есть три условия, X, Y, Z, и вы хотите, чтобы барьер для остановки трассировки соответствовал условию X И Y ИЛИ Z. Это может быть интерпретировано по-разному. Трассировка использует дизъюнктивную нормальную форму (DNF) при обработке нескольких условных выражений.

Следовательно, если входные данные конфигурации трассировки не соответствуют DNF, результаты трассировки могут отличаться от ожидаемых. Поскольку DNF придает логическому И более высокий приоритет, это выражение будет интерпретироваться как (X И Y) ИЛИ Z. Если требуется альтернативная интерпретация X И (Y ИЛИ Z), выражение будет записано как (X И Y) ИЛИ (X И Z).

Связность и проходимость

Существует два термина, описывающих отношения между объектами инженерной сети. Связность описывает состояние, в котором два объекта имеют связность на основе геометрического совпадения или соединены с помощью связи связности.

Проходимость описывает ситуацию, в которой два объекта соединены или связаны и имеют соответствующие атрибуты. Атрибуты и значения атрибутов, рассматриваемые во время трассировки, управляются с помощью конфигурации, заданной с использованием инструментов геообработки.

Операции трассировки проходят по сети с помощью одного из двух методов – с помощью связности или с помощью проходимости. Метод, используемый трассировкой, управляется типом используемой трассировки. Расширенные параметры в инструментах Установить определение подсети и Трассировка задают условия работы трассировки проходимости.

Более подробно см. Связность и проходимость.

Сравнительное отображение

Еще одной полезной визуализацией будет сравнительное отображение. В настоящее время trace’ы не слишком хорошо подходят для сравнения бок о бок, поэтому обычно сравниваются

span’ы

. А основная идея этой статьи как раз и состоит в том, что span’ы слишком низкоуровневые, чтобы извлекать наиболее ценную информацию из результатов трассировки.

Сравнение двух trace’ов не требует принципиально новых визуализаций. На самом деле достаточно чего-то вроде гистограммы, представляющей ту же информацию, что и traceview. Удивительно, но даже этот простой метод может принести гораздо больше плодов, чем простое изучение двух trace’ов по отдельности.

Еще более мощной стала бы возможность визуализировать сравнение trace’ов в совокупности. Было бы крайне полезно увидеть, как недавно развернутое изменение конфигурации базы данных с включением GC (сборки мусора) влияет на время отклика downstream-сервиса в масштабе нескольких часов.

Такая непохожая трассировка

Распределенная трассировка включает в себя несколько разрозненных компонентов:

Множество разговоров о распределенной трассировке сводятся к тому, чтобы рассматривать ее как некую унарную операцию, единственной целью которой является помощь в полной диагностике системы. Во многом это связано с тем, как исторически формировались представления о распределенной трассировке. В

, сделанной, когда открывались исходники Zipkin, упоминалось, что

Трассировка ipv6

С помощью опций -4 и -6 можно явно указать желаемый протокол.

Например:

Трассировка в windows

В Windows для трассировки сети имеется встроенная команда tracert. У неё практически отсутствуют опции. Для запуска команды достаточно указать имя удалённого хоста:

tracert suip.biz

Если вам недостаточно такой функциональности, то вы можете установить Nmap в Windows.

Трассировка наружных канализационных сетей — экспертные статьи

Трассировка сети в nmap

В Nmap для трассировки есть опция —traceroute, пример трассировки до сайта suip.biz:

sudo nmap --traceroute suip.biz

Если вы не хотите сканировать порты, а хотите просто выполнить трассировку, то добавьте опцию -sn:

sudo nmap --traceroute -sn suip.biz

Кстати, это значительно сократить время до вывода результатов.

Бывает, что выводимые при трассировке программой nmap данные не являются полными. В этом случае попробуйте дополнительно добавить опцию -PE:

sudo nmap --traceroute -sn -PE suip.biz

Источник.

В Nmap можно установить опции в заголовке пакета IP протокола. Среди этих опций имеется такая, которая сохраняет в заголовке пакета пройденный маршрут. Но у этого варианта есть ряд ограничений:

• всего 9 слотов
• некоторые устройства игнорируют эту опцию
• некоторые устройства вообще не пропускают пакеты с установленной этой опцией

Тем не менее иногда это работает, пример команды:

sudo nmap -sn --ip-options "R" -n --packet-trace suip.biz

Пример вывода:

Фокус на конкретных сервисах

В условиях, когда отрасль консолидируется вокруг идей

, кажется разумным, что отдельные команды должны в первую очередь следить за соответствием их сервисов этим целям. Из этого следует, что

ориентированная на сервис

визуализация лучше всего подходит для таких команд.

Trace’ы, особенно без выборки, являются кладезем информации о каждом компоненте распределенной системы. Эту информацию можно скормить хитрому обработчику, который будет поставлять пользователям ориентированные на сервис находки.Они могут быть выявлены заранее — еще до того, как пользователь взглянул на trace’ы:

1. Диаграммы распределения задержек только для сильно выделяющихся запросов (outlier requests);
2. Диаграммы распределения задержек для случаев, когда SLO-цели сервиса не достигаются;
3. Самые «общие», «интересные» и «странные» теги в запросах, которые чаще всего повторяются;
4. Разбивка задержек для случаев, когда зависимости сервиса не достигают поставленных SLO-целей;
5. Разбивка задержек по различным нижестоящим (downstream) сервисам.

На некоторые из этих вопросов встроенные метрики просто не могут ответить, заставляя пользователей тщательно изучать span’ы. В итоге мы имеем чрезвычайно враждебный к пользователю механизм.

В связи с этим возникает вопрос: как насчет комплексных взаимодействий между разнообразными сервисами, контролируемыми разными командами? Разве traceview не считается наиболее подходящим инструментом для освещения подобной ситуации?

Мобильные разработчики, владельцы stateless-сервисов, владельцы управляемых stateful-сервисов (вроде баз данных) и владельцы платформ могут быть заинтересованы в другом представлении распределенной системы; traceview — это слишком универсальное решение для этих в корне отличных нужд.

Даже в очень сложной микросервисной архитектуре владельцам сервиса не нужны глубокие знания более чем двух-трех upstream- и downstream-сервисов. В сущности, в большинстве сценариев пользователям достаточно отвечать на вопросы, касающиеся ограниченного набора сервисов.

Это похоже на разглядывание небольшого подмножества сервисов через увеличительное стекло ради скрупулезного изучения. Это позволит пользователю задавать более насущные вопросы, касающиеся комплексного взаимодействия между этими сервисами и их непосредственными зависимостями.

Продвигаемый мною подход — это полная противоположность к подходу «сверху вниз», основанному на traceview, когда анализ начинается со всего trace’а, а затем постепенно спускается до отдельных span’ов. Напротив, подход «снизу вверх» начинается с анализа небольшого участка, близкого к потенциальной причине инцидента, а затем пространство поиска расширяется при необходимости (с возможным привлечением других команд для анализа более широкого спектра сервисов).

Отзывы

В 2008 году проводились работы по ликвидации повреждений, экспертизе подземных коммуникаций и трассировке сетей различного назначения, в которых ООО «Гео Альянс» продуктивно сотрудничало с ЗАО «Экспертиза коммунальных сетей».

Диагностическая лаборатория ЗАО «Экспертиза коммунальных сетей» выполняла инструментальные работы по поиску мест повреждений, трассировке коммуникаций, телеинспекции трубопроводов различного назначения.

Результаты диагностических работ позволили на современном техническом уровне выполнить все заказы и сократить непроизводственные расходы.

В дальнейшем мы надеемся расширить область решаемых задач и увеличить объемы работ.

10.03.2009

Генеральный директор ООО «Гео Альянс» Д.Р. Феоктистов

посмотреть оригинал

ЗАО «Экспертиза коммунальных сетей» работает с нами около года, помогая локализовывать повреждения водопровода, трассировать сети, проводит телеинспекции трубопроводов, промывает канализацию. По началу мы сотрудничали в основном по аварийным ситуациям, но сейчас мы проводим большинство мероприятий уже в плановом режиме.

Хочу отметить высокое качество производимых работ, оперативность и результативность. Если случается какая-то непредвиденная ситуация в нашем сетевом хозяйстве, я знаю, к кому обратиться!

29.12.2008

Директор МУП «Водоканал» г. Климовск А.Н. Детковский

посмотреть оригинал

Заключение

Я не подвергаю сомнению полезность самой трассировки. Искренне верю, что нет другого метода собирать настолько же богатые, казуальные и контекстуальные данные, как те, что содержатся в trace’е. Однако я также считаю, что все решения для трассировки используют эти данные чрезвычайно неэффективно.

До тех пор, пока инструменты для трассировки будут зациклены на traceview-представлении, они будут ограничены в возможности по максимуму использовать ценную информацию, которую можно извлечь из данных, содержащихся в trace’ах. Кроме того, существует риск дальнейшего развития совершенно недружественного и неинтуитивного визуального интерфейса, который сильно ограничит способность пользователя устранять ошибки в приложении.

Отладка сложных систем, даже с использованием новейших инструментов, невероятно сложна. Инструменты должны помогать разработчику формулировать и проверять гипотезу, активно предоставляя релевантную информацию, выявляя выбросы и подмечая особенности в распределении задержек.

Для того, чтобы трассировка стала предпочтительным инструментом разработчиков при устранении сбоев в production или решении проблем, охватывающих различные сервисы, необходимы оригинальные пользовательские интерфейсы и визуализации, в большей степени соответствующие ментальной модели разработчиков, создающих и эксплуатирующих эти сервисы.

Потребуются серьезные умственные усилия, чтобы спроектировать систему, которая будет представлять различные сигналы, доступные в результатах трассировки, способом, оптимизированным для облегчения анализа и умозаключений. Необходимо продумать, как абстрагировать топологию системы во время отладки таким образом, чтобы помогать пользователю преодолевать слепые зоны, не заглядывая в отдельные trace’ы или span’ы.

Нам нужны хорошие возможности по абстрагированию и разбиению на уровни (особенно в UI). Такие, которые хорошо впишутся в процесс отладки на основе гипотез, где можно итерационно задавать вопросы и проверять гипотезы. Они не решат все проблемы с наблюдаемостью автоматически, однако будут помогать пользователям оттачивать интуицию и формулировать более взвешенные вопросы.