Konrad (pozdr!) zagadnął mnie któregoś razu o FCoE. Jako aktywny ekspert w zakresie pamięci masowych z szerokim portfolio wdrożeń posiada on najlepsze rozeznanie w zakresie tego, co klienci faktycznie kupują i - najwyraźniej - nie są to osławione już konwergentne konfiguracje. Pytanie to nurtuje mnie od dłuższego czasu, jako że zastosowanie jednego interfejsu fizycznego do sieci LAN oraz SAN bez dodatkowych ograniczeń już na pierwszy rzut oka wydaje się być dobrym pomysłem.
Mimo że nie mam dla Was dzisiaj definitywnej odpowiedzi, to chciałbym się już podzielić przemyśleniami w tym zakresie.
Problemy w skalowaniu
W dużych instalacjach centrów danych, gdzie serwery i pamięć masowa mieszczą się w wielu szafach, a te układają się w rzędy, zaś redundancja zapewniona jest przez co najmniej jedno dodatkowe centrum obliczeniowe, wyróżniamy na ogół przełączniki:
- egde, do których podłączone są serwery i inne urządzenia pracujące w sieciach LAN/SAN,
- top-of-the-rack, które agregują połączenia w obrębie szafy,
- core, które są centralnym węzłem połączeniowym dla wszystkich szaf.
Jest to grube uproszczenie, jednak zwykle odwzorowuje typy przełączników sieciowych używanych w co większej infrastrukturze. W sieciach IP, które w większości przypadków korzystają z połączeń ethernetowych w sieciach LAN, wraz z agregacją połączeń stosowany jest podział na podsieci oraz rutowanie pakietów pomiędzy nimi, aby poradzić sobie z ogromem ruchu LAN poprzez segmentację. Bardzo ładnie widać to w palecie oferty przełączników Cisco, gdzie obok przełączników dostępowych (Access) oraz dystrybucyjnych (Distribution) mamy przełączniki klasy Data Center, które zwykle są modularne i potrafią rutować pakiety pomiędzy setkami segmentów sieci z prędkością łącza fizycznego.
Przez lata rozwoju FibreChannel powstały podobne mechanizmy radzenia sobie z wydzielaniem domen komunikacyjnych w SAN w postaci routerów FC (EX_port) oraz połączeń pomiędzy przełącznikami FC (E_port). Pozwoliło to odwzorować hierarchię przełączników LAN w sieci SAN oraz radzić sobie z konfiguracjami liczonymi w setki lub tysiące portów klienckich FC (np. 3 rzędy po 8 szaf i po 40 portów na szafę = 960 portów) oraz koniecznością zapewnienia łączności z innymi sieciami SAN (np. w centrum zapasowym).
Tymczasem rozszerzenia standardu Ethernet zwane CEE, które umożliwiły umieszczenie ranek FC w ramkach Ethernet były początkowo skierowane na rozwiązanie głównie problemów w małej skali. W naszym przypadku jest to odpowiednik zastąpienia dwóch przełączników klasy edge/access jednym, ale konwergentnym. Tutaj szczególnie celne jest przywołanie przełączników do obudów kasetowych, gdzie zwykle jest mało miejsca i montaż dwóch redundantnych przełączników 10GE w miejsce czterech (2*Eth + 2*FC) jest szczególnie korzystne (np. Cisco Nexus 4000). Kolejnym krokiem we wprowadzeniu FCoE było wprowadzenie funkcji FC Forwarder do urządzeń zgodnych z CEE w klasie top-of-the-rack, np. Cisco Nexus 5000, które miały za zadanie przekazywać ruch Ethernet+FC pomiędzy klientami lub przełącznikami klasy edge/access do centralnego rdzenia sieci Ethernet oraz do natywnych sieci FibreChannel. Mimo dobrych wzorców pochodzących ze sprawdzonych w FC topologii sieciowych nie ma w tej chwili na rynku konwergentych przełączników klasy Core, które miałyby zaimplementowane funkcje typu Director-class. Polecam Wam zapoznanie się z artykułem źródłowym tutaj oraz przejrzenie prezentacji tutaj. Technical Comittee 11 pracuje z dostawcami technologii SAN nad rozszerzeniami FC, które mogłyby zaadresować topologie mieszane z FCoE oraz rozwiązania end-to-end.
W mojej ocenie to jest główny powód dla którego FCoE jest postrzegane przez specjalistów pamięci masowych jako rozwiązanie niedojrzałe. Z punktu widzenia standardów przemysłowych topologia sieci FCoE słabo skaluje się powyżej urządzeń klasy top-of-the-rack.
Tutaj jednak chciałbym podkreślić, że jesteśmy świadkami nowych możliwości konsolidacji, co zbliża nas do przechowywania centrum obliczeniowego w jednej lub dwóch szafach. Dla przykładu zestawienie w jednej szafie 48U:
- 2 obudowy HP BladeSystem c7000 [10U], każda po 8 serwerów ProLiant BL 680c G7 (każdy po 4 procesory 10-rdzeniowe Xeon E7-48xx, 32 * 8GB = 256GB RAM, 2*CNA 10GE) oraz po 2 przełączniki HP Virtual Connect FlexFabric 10Gb/24-Port,
- 1 macierzy NetApp FAS3200 [3U] i czterech półek DS4243 [4U] (2*24 dyski 3,5"), która przy dyskach 600GB dawałaby po ~14,4TB surowej pojemności na półkę,
- 1 konwergentnego przełącznika z opcją FCF (np. Cisco Nexus 5000) [2U],
Jeżeli Wasza organizacja ma co najmniej kilkukrotnie wyższe potrzeby i chce mieć homogeniczną sieć pamięci masowej, to rzeczywiście warto rozważyć budowę SAN na sprawdzonych rozwiązaniach FC. Jednak nawet wtedy opłacalne będzie zachowanie konwergencji w obrębie szafy.
Przy okazji - warto zwrócić uwagę na rozwiązania Brocade oparte o własną technologię zwaną VCS Fabric Technology (więcej tutaj), które rozwiązują problemy związane z konfiguracją segmentów FCoE do poziomu top-of-the-rack.
Koszty
Jeżeli spojrzymy na to kto faktycznie rozwija FCoE na rynku, to - wg mojej najlepszej wiedzy - zauważymy, że poza Intelem i Broadcomm, którzy ograniczyli się do implementacji CEE w swoich układach 1/10GE, mamy na rynku głównie Brocade, Cisco, QLogic oraz Emulex. Pozostali gracze to integratorzy używający rozwiązań w/w firm (np. IBM używa przełączników Brocade, a HP używa przełączników QLogic). Niestety są to gracze, którzy obecnie rozdają karty również na rynku Fiber Channel i nie spieszy im się do wprowadzenia na rynek Ethernetowych zamienników FC w cenach, które zagroziłyby ich zyskom. To im się zwyczajnie nie opłaca. Dlatego też karty CNA 10GE są nierzadko dwukrotnie droższe niż ich wolniejsze odpowiedniki HBA 8Gb FC. Jednak klienci sporo oszczędzają na ograniczeniu liczby interfejsów (szczególnie optycznych). Oszczędności na przełącznikach są istotne, a obniżenie kosztów zarządzania dzięki wyeliminowaniu kabli również nie pozostaje bez znaczenia. Myślę, że z chwilą wprowadzenia standardu przemysłowego wyczerpująco definiującego rozwiązania end-to-end mógłby się pojawić na rynku gracz oferujący rozwiązania szybsze i dużo tańsze od czystego FC.
Sterowniki
Szybkie spojrzenie do bazy kompatybilności sterowników dla rodziny VMware ESX pokazuje, że karty CNA QLogic i Emulex uzyskały wsparcie po raz pierwszy w wersji 4.0. Były one przedmiotem wielu poprawek zarówno w sterownikach, jak i samym ESX. Popularne układy, jak na przykład Intel 82599 lub Broadcom BCM578x0 uzyskały wsparcie dopiero w świeżo wydanym ESX 5.0. Fora VMware pełne są też dyskusji administratorów wokół problemów z wirtualnymi interfejsami kart CNA, ale większość postów jest z 2010 oraz pierwszej połowy 2011 roku, co dobrze rokuje.
Zarządzanie
W dużej skali SAN kluczowe z punktu widzenia TCO jest maksymalne uproszczenie zarządzania konfiguracją, zmianą oraz przywracaniem po awarii w zcentralizowany i zestandaryzowany sposób. Istniejące w sieciach FC systemy zarządzania nierzadko nie odzworowują prawidłowo urządzeń połączonych przez FCoE z braku informacji o nich (odpowiednie metadane o konkretnych modelach urządzeń). Przełączniki konwergentne bywają z pochodzenia urządzeniami ethernetowymi i bardziej pasują w szerszym obrazie systemów NMS niż SAN-NMS. To dodatkowo zniechęca klientów.
Podsumowanie
Zarządzanie
W dużej skali SAN kluczowe z punktu widzenia TCO jest maksymalne uproszczenie zarządzania konfiguracją, zmianą oraz przywracaniem po awarii w zcentralizowany i zestandaryzowany sposób. Istniejące w sieciach FC systemy zarządzania nierzadko nie odzworowują prawidłowo urządzeń połączonych przez FCoE z braku informacji o nich (odpowiednie metadane o konkretnych modelach urządzeń). Przełączniki konwergentne bywają z pochodzenia urządzeniami ethernetowymi i bardziej pasują w szerszym obrazie systemów NMS niż SAN-NMS. To dodatkowo zniechęca klientów.
Podsumowanie
Z pewnością nie wyczerpałem tematu i mogłem pominąć istotne aspekty techniczne, jako że nie mam bezpośredniego kontaktu z sieciami FCoE na co dzień. Wydaje mi się jednak, że powyższy opis oddaje przynajmniej część odpowiedzi na pytanie, dlaczego większość klientów wciąż buduje sieci FC i Ethernet oddzielnie zamiast korzystać z FCoE.
Ufam, że dzięki niedawnym zmianom w Linux Kernel 3.2, ESX 5.0 oraz upowszechnieniu się sterowników takich jak ten, rok 2012 przyniesie nam coraz więcej implementacji FCoE end-to-end w małej skali oraz edge + top-of-the-rack w większej skali.
Polecam też Waszej uwadze ten artykuł Grega Schulza o przewidywanych trendach na rynku pamięci masowych w 2012 roku.
Ufam, że dzięki niedawnym zmianom w Linux Kernel 3.2, ESX 5.0 oraz upowszechnieniu się sterowników takich jak ten, rok 2012 przyniesie nam coraz więcej implementacji FCoE end-to-end w małej skali oraz edge + top-of-the-rack w większej skali.
Polecam też Waszej uwadze ten artykuł Grega Schulza o przewidywanych trendach na rynku pamięci masowych w 2012 roku.
Brak komentarzy:
Prześlij komentarz