Konrad (pozdr!) zagadnął mnie któregoś razu o
FCoE. Jako aktywny ekspert w zakresie pamięci masowych z szerokim portfolio wdrożeń posiada on najlepsze rozeznanie w zakresie tego, co klienci faktycznie kupują i - najwyraźniej - nie są to osławione już konwergentne konfiguracje. Pytanie to nurtuje mnie od dłuższego czasu, jako że zastosowanie jednego interfejsu fizycznego do sieci
LAN oraz
SAN bez dodatkowych ograniczeń już na pierwszy rzut oka wydaje się być dobrym pomysłem.
Mimo że nie mam dla Was dzisiaj definitywnej odpowiedzi, to chciałbym się już podzielić przemyśleniami w tym zakresie.
Problemy w skalowaniu
W dużych instalacjach centrów danych, gdzie serwery i pamięć masowa mieszczą się w wielu szafach, a te układają się w rzędy, zaś redundancja zapewniona jest przez co najmniej jedno dodatkowe centrum obliczeniowe, wyróżniamy na ogół przełączniki:
- egde, do których podłączone są serwery i inne urządzenia pracujące w sieciach LAN/SAN,
- top-of-the-rack, które agregują połączenia w obrębie szafy,
- core, które są centralnym węzłem połączeniowym dla wszystkich szaf.
Jest to grube uproszczenie, jednak zwykle odwzorowuje typy przełączników sieciowych używanych w co większej infrastrukturze. W sieciach IP, które w większości przypadków korzystają z połączeń ethernetowych w sieciach LAN, wraz z agregacją połączeń stosowany jest podział na podsieci oraz rutowanie pakietów pomiędzy nimi, aby poradzić sobie z ogromem ruchu LAN poprzez segmentację. Bardzo ładnie widać to w palecie oferty przełączników Cisco, gdzie obok przełączników dostępowych (Access) oraz dystrybucyjnych (Distribution) mamy przełączniki klasy Data Center, które zwykle są modularne i potrafią rutować pakiety pomiędzy setkami segmentów sieci z prędkością łącza fizycznego.
Przez lata rozwoju
FibreChannel powstały podobne mechanizmy radzenia sobie z wydzielaniem domen komunikacyjnych w SAN w postaci routerów FC (EX_port) oraz połączeń pomiędzy przełącznikami FC (E_port). Pozwoliło to odwzorować hierarchię przełączników LAN w sieci SAN oraz radzić sobie z konfiguracjami liczonymi w setki lub tysiące portów klienckich FC (np. 3 rzędy po 8 szaf i po 40 portów na szafę = 960 portów) oraz koniecznością zapewnienia łączności z innymi sieciami SAN (np. w centrum zapasowym).
Tymczasem rozszerzenia standardu Ethernet zwane
CEE, które umożliwiły umieszczenie ranek FC w ramkach Ethernet były początkowo skierowane na rozwiązanie głównie problemów w małej skali. W naszym przypadku jest to odpowiednik zastąpienia dwóch przełączników klasy edge/access jednym, ale konwergentnym. Tutaj szczególnie celne jest przywołanie przełączników do obudów kasetowych, gdzie zwykle jest mało miejsca i montaż dwóch redundantnych przełączników 10GE w miejsce czterech (2*Eth + 2*FC) jest szczególnie korzystne (np.
Cisco Nexus 4000). Kolejnym krokiem we wprowadzeniu FCoE było wprowadzenie funkcji FC Forwarder do urządzeń zgodnych z CEE w klasie top-of-the-rack, np.
Cisco Nexus 5000, które miały za zadanie przekazywać ruch Ethernet+FC pomiędzy klientami lub przełącznikami klasy edge/access do centralnego rdzenia sieci Ethernet oraz do natywnych sieci FibreChannel. Mimo dobrych wzorców pochodzących ze sprawdzonych w FC topologii sieciowych nie ma w tej chwili na rynku konwergentych przełączników klasy Core, które miałyby zaimplementowane funkcje typu
Director-class. Polecam Wam zapoznanie się z artykułem źródłowym
tutaj oraz przejrzenie prezentacji
tutaj. Technical Comittee 11 pracuje z dostawcami technologii SAN nad rozszerzeniami FC, które mogłyby zaadresować topologie mieszane z FCoE oraz rozwiązania
end-to-end.
W mojej ocenie to jest główny powód dla którego FCoE jest postrzegane przez specjalistów pamięci masowych jako rozwiązanie niedojrzałe. Z punktu widzenia standardów przemysłowych topologia sieci FCoE słabo skaluje się powyżej urządzeń klasy top-of-the-rack.
Tutaj jednak chciałbym podkreślić, że jesteśmy świadkami nowych możliwości konsolidacji, co zbliża nas do przechowywania centrum obliczeniowego w jednej lub dwóch szafach. Dla przykładu zestawienie w jednej szafie 48U:
stworzyłoby na 41U szafy domenę 640 rdzeni obliczeniowych, 4TB RAM oraz 57TB pamięci masowej, pracujące w jednym segmencie FCoE, dzięki połączeniom pomiędzy obudowami kasetowymi (patrz
tutaj, str 22). Przy użyciu współczesnych
hypervisorów można by oczekiwać brutto np. 160 maszyn wirtualnych posiadających średnio po 4 rdzenie, 25GB RAM i 360GB surowej pamięci masowej. Przy użyciu dwóch/trzech przylegających szaf konfiguracja ta może mieć dwukrotnie więcej serwerów oraz sześciokrotnie więcej dysków. Ewentualne centrum zapasowe mogłoby być zrealizowane poprzez lustrzane odbicie infrastruktury oraz odpowiednie oprogramowanie, zaś kopie zapasowe mogłyby korzystać z dedykowanych portów FC w Nexus 5000.
Jeżeli Wasza organizacja ma co najmniej kilkukrotnie wyższe potrzeby i chce mieć homogeniczną sieć pamięci masowej, to rzeczywiście warto rozważyć budowę SAN na sprawdzonych rozwiązaniach FC. Jednak nawet wtedy opłacalne będzie zachowanie konwergencji w obrębie szafy.
Przy okazji - warto zwrócić uwagę na rozwiązania Brocade oparte o własną technologię zwaną
VCS Fabric Technology (więcej
tutaj), które rozwiązują problemy związane z konfiguracją segmentów FCoE do poziomu
top-of-the-rack.
Koszty
Jeżeli spojrzymy na to kto faktycznie rozwija FCoE na rynku, to - wg mojej najlepszej wiedzy - zauważymy, że poza Intelem i Broadcomm, którzy ograniczyli się do implementacji CEE w swoich układach 1/10GE, mamy na rynku głównie Brocade, Cisco, QLogic oraz Emulex. Pozostali gracze to integratorzy używający rozwiązań w/w firm (np. IBM używa przełączników Brocade, a HP używa przełączników QLogic). Niestety są to gracze, którzy obecnie rozdają karty również na rynku Fiber Channel i nie spieszy im się do wprowadzenia na rynek Ethernetowych zamienników FC w cenach, które zagroziłyby ich zyskom. To im się zwyczajnie nie opłaca. Dlatego też karty
CNA 10GE są nierzadko dwukrotnie droższe niż ich wolniejsze odpowiedniki
HBA 8Gb FC. Jednak klienci sporo oszczędzają na ograniczeniu liczby interfejsów (szczególnie optycznych). Oszczędności na przełącznikach są istotne, a obniżenie kosztów zarządzania dzięki wyeliminowaniu kabli również nie pozostaje bez znaczenia. Myślę, że z chwilą wprowadzenia standardu przemysłowego wyczerpująco definiującego rozwiązania
end-to-end mógłby się pojawić na rynku gracz oferujący rozwiązania szybsze i dużo tańsze od czystego FC.
Sterowniki
Szybkie spojrzenie do
bazy kompatybilności sterowników dla rodziny VMware ESX pokazuje, że karty CNA QLogic i Emulex uzyskały wsparcie po raz pierwszy w wersji 4.0. Były one przedmiotem wielu poprawek zarówno w sterownikach, jak i samym ESX. Popularne układy, jak na przykład
Intel 82599 lub
Broadcom BCM578x0 uzyskały wsparcie dopiero w świeżo wydanym
ESX 5.0. Fora VMware pełne są też dyskusji administratorów wokół problemów z wirtualnymi interfejsami kart CNA, ale większość postów jest z 2010 oraz pierwszej połowy 2011 roku, co dobrze rokuje.
Zarządzanie
W dużej skali SAN kluczowe z punktu widzenia
TCO jest maksymalne uproszczenie zarządzania konfiguracją, zmianą oraz przywracaniem po awarii w zcentralizowany i zestandaryzowany sposób. Istniejące w sieciach FC systemy zarządzania nierzadko nie odzworowują prawidłowo urządzeń połączonych przez FCoE z braku informacji o nich (odpowiednie metadane o konkretnych modelach urządzeń). Przełączniki konwergentne bywają z pochodzenia urządzeniami ethernetowymi i bardziej pasują w szerszym obrazie systemów
NMS niż
SAN-NMS. To dodatkowo zniechęca klientów.
Podsumowanie
Z pewnością nie wyczerpałem tematu i mogłem pominąć istotne aspekty techniczne, jako że nie mam bezpośredniego kontaktu z sieciami FCoE na co dzień. Wydaje mi się jednak, że powyższy opis oddaje przynajmniej część odpowiedzi na pytanie, dlaczego większość klientów wciąż buduje sieci FC i Ethernet oddzielnie zamiast korzystać z FCoE.
Ufam, że dzięki niedawnym zmianom w
Linux Kernel 3.2, ESX 5.0 oraz upowszechnieniu się sterowników takich jak
ten, rok 2012 przyniesie nam coraz więcej implementacji FCoE
end-to-end w małej skali oraz
edge +
top-of-the-rack w większej skali.
Polecam też Waszej uwadze
ten artykuł Grega Schulza o przewidywanych trendach na rynku pamięci masowych w 2012 roku.
