vSAN. Интерфейс VMkernl для трафика свидетеля — Witness Traffic Separation.

Сегодня хочу рассказать о такой технологии как Witness Traffic Separation, которая постоянно развивается и превращается в крепкий фундамент для новых фич vSAN, например для Mixed MTU support.

Как следует из названия, технология Witness Traffic Separation неразрывно связана с vSAN Witness Appliance и создание этой технологии обусловлено тем, что vSAN Witness это не полноценный хост, а вложенный ESXi (подробнее: vSAN Witness Appliance for vSAN 6.7. Размещение, версия, CPU и по тегу vsan-witness).  А траффик свидетеля — это всего лишь метаданные . И разработчики vSAN сделали закономерный вывод — если Witness Appliance не нужна сеть с  такой же пропускной способностью, как «полноценным хостам» vSAN кластера, то не создать ли отдельную сеть? Сказано — сделано! В vSAN 6.5 (а также обратно портировано на vSAN 6.2 с vSphere 6.0 Update 3), VMware добавила поддержку Witness Traffic Separation (WTS) в конфигурации 2-Node vSAN. В версии vSAN 6.7 Witness Traffic Separation был реализован для VSAN Stretched Clusters.

На данной картинке изображен 2-node Direct Connect (подробнее — 2-node vSAN cluster. Witness Appliance Failure)

Именование интерфейсов следующее:

• vmk0 – Management
• vmk1 – Witness Traffic
• vmk2 – vSAN Traffic
• vmk3 – vMotion Traffic

Некоторую путаницу вносит обозначение vmk1 у свидетеля как vSAN Traffic. Но это всего лишь обозначение. Поясню. У vSAN Witness есть два интерфейса, и изначально они называются:

• vmk0  – Management
• vmk1 – vSAN Traffic

При этом, как я говорил выше, vSAN Witness не полноценный хост, он не хранит файлы ВМ, а хранит лишь метаданные и поэтому через vmk1 не передается тот же траффик, который ходит между полноценными нодами кластера vSAN. Таким образом говоря про интерфейс vSAN Traffic у vSAN Witness мы просто имеем ввиду что это интерфейс взаимодействия vSAN Witness с другими нодами vSAN. Для лучшего понимания приведу картинку:

Как видим, линк между нодами — 10-гигабитный Ethernet, а между нодами и свидетелем — 1-гигабитный свитч. Таким образом, несмотря на одинаковое наименование интерфейсов у ноды и свидетеля трафик ходит разный.

Чтобы воспользоваться технологией Witness Traffic Separation на нодах необходимо тегировать интерфйс vmk1  для  Witness Traffic — это делается с помощью команды esxcli vsan network ip add -i vmk1 -T=witness.

У vSAN Witness интерфейс vmk1 не должен иметь адрес, который находится в той же подсети, что и vmk0. Поскольку vSAN использует стек tcp/ip по умолчанию, в случаях, когда vmk0 и vmk1 находятся в одной подсети, трафик будет использовать vmk0, а не vmk1. Это подробно описано в KB 2010877 . Vmk1 должен быть настроен с адресом в другой подсети, чем vmk0.

Примечание: указанная выше конфигурация может быть работоспособной при правильной настройке. В частности интерфейс VMkernel Management (vmk0) должен быть тегирован как vSAN Traffic вместо vmk1. Подробнее: vSAN Witness Host Networking Examples.

А вообще типовая сетевая конфигурация выглядит следующим образом:

На приведенном выше рисунке vSAN Witness Appliance в центральном центре обработки данных имеет IP-адрес управления (vmk0) 192.168.109.23. Этот интерфейс VMkernel будет использовать шлюз по умолчанию для связи с сервером vCenter. Интерфейс vmk1 имеет IP-адрес 192.168.110.23.

Конфигурация узла vSAN 2 имеет IP-адреса Managment (vmk0) 192.168.1.21 и 192.168.1.22 для Host 1 и Host 2 соответственно. Поскольку это интерфейсы управления для этих хостов, они также будут использовать шлюз по умолчанию для связи с сервером vCenter. Трафик помечен как «свидетель» для vmk1 как в хосте 1, так и в хосте 2 и настроен с IP-адресами 192.168.15.21 и 192.168.15.22 соответственно.

Поскольку трафик на основе vSAN (помеченный как «vsan» или «свидетель») использует шлюз по умолчанию, в этой конфигурации должны использоваться статические маршруты. Статический маршрут для хостов 1 и хоста 2 для их виртуальных интерфейсов vmk1 VMkernel для правильного подключения к интерфейсу vmk1 на vSAN Witness Appliance. Команда маршрутизации на Host 1 и Host 2 будет выглядеть так:

esxcfg-route -a 192.168.110.0/24 192.168.15.1

Кроме того, статический маршрут также должен быть настроен на vSAN Witness Appliance:

esxcfg-route -a 192.168.15.0/24 192.168.110.1

* Обратите внимание, что адрес xxx1 является шлюзом в каждой из этих сетей для этого примера. Это может отличаться от вашей среды.