Hardware pro GW (10 Gbit)

Problematika MikroTik RouterBoard hardware
oliver.es
Příspěvky: 25
Registrován: 2 years ago

Re: Hardware pro GW (10 Gbit)

Příspěvekod oliver.es » 1 year ago

Ahoj,

tak přináším report po cca 2 měsících od nasazení doporučeného server Supermicro s kartou STGN-i2S.

První co musím podotknout, tak nám před 14 dni havaroval zdroj a jelikož jsme neměli zaplacené next business day náhradní díly, trvalo asi týden než přišel zdroj nový, takže do té doby a vlastně dodnes jedeme přes původní CCR a neshapujem. Důvod jsou problémy s DHCP, které se projevili už jednou, ale teď po přepojování provozu zpět se objevili znovu a nemají zatím řešení.

Jak jsem psal v zadání, máme FTTH síť point-to-point, postavenou do hvězdy a každého zákazníka máme v separátní VLAN. Na routeru je tedy vytvořeno 1000 VLAN a na nich běží 1000 DHCP serverů, každý zákazník má 10.XX.XX.0/24 subnet. Na CCR fungovalo vše bez problémů. Na x86 mašině po přepojení se v DHCP leases téměř nic neobjevilo. Nejprve naběhlo cca 70 zařízení a pak to přestalo. Nejspíš to byly rádia co ve VLAN jsou na interface uplink a vracejí se zpět na barák ze kterého bereme konektivitu. Na optice nenaběhlo nic, ani mě notebook, který jsem měl zapojený přímo do agregačního switche, což je první prvek za routerem.

Minule jsme si mysleli, že problém může způsobovat link aggregation (který používáme na propojení přístupových switchů a agregačního) protože po jeho vypojení se to tenkrát rozjelo, případně galvanické spojení dvou racků SFP copper kabelem a špatné uzemnění. Od té doby jsem vyměnil propojovací kabel za optiku a switche ve vedlejším racku uzemnil.

Poté co jsem dnes zjistil že to nefunguje, tak jsem vypnul všechny access switche a agregační restartoval, bohužel to nepomohlo. Po opakovaném restartu routeru a switchů naběhly v DHCP leases zákazníci ale jen od VLAN 213 výš. To už mi vůbec hlava nebrala a tak jsem se rozhodl po vyčerpání všech možností (factory reset agregačního switche) provoz vrátit zpět na CCR.

Na něm jsem ještě aktualizoval software z 6.32.3 na 6.37. Vše ihned naběhlo i včetně IP adresy na mém notebooku, což vypadalo jako dobrá zpráva. Pak jsem ale zjistil, že zákazníci na jednom vzdálenem baráku připojeným rádiem (přes uplink v QinQ) v DHCP leases nejsou, přitom jiný barák stejně zapojený fungoval. Pomohlo zakázat a povolit příslušnou VLAN, pod kterou jsou ty zákaznické VLAN. Najednou v leases naběhli a zdá se, že už jsou všichni.

Nevím jak si to vysvětlit, proč na CCR to funguje a na x86 to dělá tyto problémy. Napadá Vás někoho něco ?

Díky.
0 x

Caleb
Příspěvky: 22
Registrován: 7 years ago
antispam: Ano

Příspěvekod Caleb » 1 year ago

Ja mam spatnou zkusenost s x86 a VLANy, ale nemusi to mit zadnou souvislost s tvym problemem.

Na x86 supermicro s Intel 82574L sitovkama mi nechodily VLANy proti HP 1920, cca po tydnu to zacalo fungovat jako shaper. Proti TP-Link JetStream jsem mel zase velke mnozstvi RX dropu (to by mozna vyresila jina forma Interface queue, ale uz jsem to netestoval).
0 x

Filipová Ludmila
Příspěvky: 135
Registrován: 4 years ago

Příspěvekod Filipová Ludmila » 1 year ago

Měla bych dotaz máte někdo na CCR 1036 instalovanou v sfp portu 10Gbit optický modul. Jsou s tím nějaké problémy nebo to funguje ok? Díky za odpovědi. LF
0 x

waggy
Příspěvky: 36
Registrován: 8 years ago
antispam: Ano

Příspěvekod waggy » 11 months ago

používáme XEON E5-2680V2 8C + Supermicro X9SRL-F + 4x4GB ECC DDR3 Samsung + supermicro SNK P0048PS + SC523L-520 mini2U, Intel X520-DA2 E10G42BTDA + 2xsupermicro AOC-SG-i4(AOC SGP-i4 ve stejném konfigu občas tuhla) , cca 50xFW, 500xNAT, 150xQUEUE, 4000xaddress list, Mikrotik 6.36.4 , VRRP a jede to smoothly cca 20%/gigabit provozu
0 x

waggy
Příspěvky: 36
Registrován: 8 years ago
antispam: Ano

Příspěvekod waggy » 11 months ago

Filipová Ludmila píše:Měla bych dotaz máte někdo na CCR 1036 instalovanou v sfp portu 10Gbit optický modul. Jsou s tím nějaké problémy nebo to funguje ok? Díky za odpovědi. LF


používáme a nebyl problém
0 x

menicks
Příspěvky: 161
Registrován: 9 years ago

Příspěvekod menicks » 11 months ago

Dalibor Toman píše:1) aby melo smysl se bavit o vykonnejsim virtualizovanem zeleze a 10gbps kartama, mel bys IMHO zajistit, ze sitovky budou pro ten virtual dedikovane (PCI passthrough) at se k latenci zpracovani packetu jeste nepridava virtualizacni vrstva. Mozna by to pomohla resit take nejake hw akcelerace na karte (jak je na tom ROS v tomhle smeru netusim). Virtual bude mit vzdy potrebovat vice cyklu CPU na zpracovani packetu nez fyzicke zelezo (pridelovani CPU, IRQ atd)

2) nejak si nedovedu predstavit to nasobeni vykonu routingu spojene s virtualizaci. Jestli mas predstavu, ze Ti ten ROS pak pobezi na virtualnim stroji tvorenem z vice HW serveru tak to je IMHO nesmysl.


1200 zakazniku na jednom serveru se shapingem accountingem apod neni na jednom serveru zadna vysoka zatez. Na Linuxu s optimalizovanym HTB s tim neni problem.


Jakmile se začne natovat a shapovat na něčem co je virtuálu je s tím obrovský problém. Zažili jsme že server doslova flákal ale díky tomu že to běželo přes vmware ztrátoval a nepropouštěl pakety.
0 x

lukas
Příspěvky: 609
Registrován: 9 years ago

Příspěvekod lukas » 11 months ago

Nezkoušeli jste někdo ty nové E200/E300 servery, resp. desky X10SDV s novymi Xeony D? (https://www.supermicro.com/products/sys ... 300-8D.cfm). Je to cenove hodne zajimava varianta k CCR, ovsem nevim, jak to bude s podporou sitovek...
0 x

loopie
Příspěvky: 57
Registrován: 6 years ago

Příspěvekod loopie » 11 months ago

Zkoušel jsem. Předpokládám, že se zajímáš o integrované 10gbit X522 síťovky. Mikrotik je podle očekávání nepodporuje. Už delší dobu zkouším XeonD trápit jako VM host s virtuálním ROSem (CHR i x86) a zatím nemůžu doporučit ani tuto variantu.

Jarda
0 x

lukas
Příspěvky: 609
Registrován: 9 years ago

Příspěvekod lukas » 11 months ago

Díky za informaci. To je blbý. Pokud jde o ty integrované 1G sitovky, ty v ROS fungují korektne?
0 x

loopie
Příspěvky: 57
Registrován: 6 years ago

Příspěvekod loopie » 11 months ago

Hezký den,
toto se bude asi lišit podle výrobce desky, v CPU jsou pouze 2xX522 Já mám starší supermicro a na desce je 2xi350, které ROS umí používat. To co jsi odkazoval vypadá lahodně, podle datashitu je tam quad i350 a dual i210 (tohle vůbec neznám).
Ještě upřesním, že i ty X522 lze použít, pokud se použije virtualizovaný ROS (otestováno na vmware a proxmox/KVM) - jediný problém, který s tím mám je při použití MPLS a je nanejvýš pravděpodobné, že je to jenom mojí vlastní blbostí. Pokud bychom se bavili o obyčejném ethernetu, tak není co řešit. Výkonu má to CPU na rozdávání.

Jarda
0 x

coolerman1
Příspěvky: 90
Registrován: 10 years ago

Příspěvekod coolerman1 » 1 week ago

Ma uz nasadeny nekto ten supermicro e300 ?
0 x

Uživatelský avatar
hapi
Příspěvky: 10601
Registrován: 10 years ago
Kontaktovat uživatele:

Příspěvekod hapi » 1 week ago

proč by to někdo kupoval?
0 x

erotel
Příspěvky: 79
Registrován: 8 years ago
antispam: Ano

Příspěvekod erotel » 1 week ago

coolerman1 píše:Ma uz nasadeny nekto ten supermicro e300 ?

Máme jeden kousek na síti,běží na tom linux.Routuje to optiku.
0 x

forkman
Příspěvky: 339
Registrován: 8 years ago
antispam: Ano
Bydliště: východní Čechy

Příspěvekod forkman » 1 week ago

Ahoj, zrovna taky řeším hamletovskou otázku, potřebuju NATovat/QoSovat víc jak gigabit a současné železo už je na hranici. Takže nevím jestli jít do CCR, nebo zase do x86 routeru. Máte někdo konkrétní zkušenosti s obojím? Jde mi o rezervu do budoucna. 2 a půl roku zpátky jsem si myslel že mám rezervu pořádnou, ale od té doby máme 3x větší tok.

Takže alternativy:
- nějaké CCR, nevyznám se v nic, ale vím, že čím víc jader, tím víc adidas.
- Xeon D, ale kolik core? Oproti E5 mi to nevyjde extra výhodné.
- Xeon E5 - našel jsem server HP DL120G9 za luxusní peníze s E5-2630v3, i když preferuju Supermicro :-)

Do toho určitě dualport 10Gbit síťovku a poběží tam ROS, na linux jsem lama.

Když tam bude rezerva, dám klidně o 10k víc, ale nechci to za rok zase měnit :-) Uvítal bych konkrétní zkušenosti a ne teorie. Díky.

Teď máme Intel Avoton 8c a dává to tak ~750Mbit
0 x

Petr Bačina
Příspěvky: 628
Registrován: 3 years ago
Bydliště: Horní Slavkov
Kontaktovat uživatele:

Příspěvekod Petr Bačina » 1 week ago

A co to radši rozhodit na víc zařízení?
0 x
Jsme malý ISP, ale snažíme se svou práci dělat co nejlépe to jde ;-)
http://www.lajsinet.cz/ - Horní Slavkov


Zpět na „Hardware“

Kdo je online

Uživatelé prohlížející si toto fórum: Žádní registrovaní uživatelé a 5 hostů