Rete Radio con Load Balance e Fail Over

Progetti vari su prodotti UBNT e non.

Rete Radio con Load Balance e Fail Over

Messaggiodi thema3x » 27 maggio 2015, 18:54

Ciao, a tutti.

Vado dritto al punto condividendo il mio progetto ( realizzato ed operativo ) di collegamento radio P2P con Load Balance (LB) e Fail Over (FO).

* Ringraziamenti sentiti ad Admin per l' assistenza ed il supporto attivo su Mikrotik.

OBBIETTIVO:
Collegare due punti in bridge con aggregazione di banda e failover attivo, utilizzando quindi due coppie di CPE.

MATERIALE (nel ns. caso ):

4 x NSM5
2 x Mikrotik RB 750GL*

*NB = La scelta è ricaduta obbligatoriamente su delle routerboard in quanto i normali switch muniti di LACP o simili NON sarebbero stati idonei alla cosa in quanto:

- LACP è un protocollo pensato esclusivamente per uplink rame. Di fatto prende in considerazione solo lo stato della lan ( 10/100/1000/OFF ) senza valutare alcuna qualità di collegamento: ecco che un link con un packet loss del 100% ma LAN UP può essere considerato come attivo e valido, fallando il sistema.

- LACP prevede comunicazione Full-Duplex. Via radio ( bridge/wds) non cè verso di fare sincronizzare gli switch ai lati.


ESECUZIONE:

Sito A ===== Sito B

Due NSM5 per lato installate tra loro ad una distanza di 1mt con offset in altezza di 70cm. Distanza collegamento 500mt, gain minimo, valori + che nominali dopo allineamento fine. Le due CPE ( 40Mhz di Bw cad ) sono state spalmate ai lati estremi dello spettro outdooor - ognuna con la sua estensione UP e LO - e ad una delle due coppie è stato dato Channel Shift per ulteriore separazione operativa.

Sito A ( principale )

CPE 1 LAN0 = POE => porta 4 RB750GL 1 ( uplink A )
CPE 1 LAN 1 = diretta nella rete locale
CPE 2 LAN0 = POE => porta 5 RB750GL 1 ( uplink B )
CPE 2 LAN 1 = diretta nella rete locale

Sono stati creati due BRIDGE per CPE in questo lato, il primo - in LAN1 + WLAN0 - con scopo di management degli apparati della singola tratta, collegato e in subnet della rete locale del sito ( dhcp client con assegnazione statica dell ip dal router ). Il secondo - in LAN0 + WLAN100 x CPE1 e in LAN0 + WLAN200 x CPE2 - con lo scopo la tratta dati, perfettamente trasparente a livello L2, collegato come indicato alla RB.

Sito B ( remoto )

CPE 1 LAN0 = POE => porta 4 RB750GL 2( uplink A )
CPE 1 LAN 1 = NC
CPE 2 LAN0 = POE => porta 5 RB750GL 2 ( uplink B )
CPE 2 LAN 1 = NC

E' stato creato un BRIDGE per CPE in questo lato, in LAN0 + WLAN100/200 come sopra - con lo scopo la tratta dati, perfettamente trasparente a livello L2, collegato come sindacato alla RB.

In questo modo abbiamo separato tratte dati in LB/FO da interfaccia di management apparati collegamento radio; in + in questo modo tutti gli apparati coinvolti nel link sono sempre perfettamente raggiungibili, con il loro IP in classe giusta, associabili ad es. ( ns caso ) ad un bel Aircontrol per notifiche real time. Ovviamente essendo la management solo un interfaccia di controllo, specificare gateway e dns permette di fare navigare l antenna (ntp) senza influire minimamente sul traffico dati trasportato, riposto nella VLAN a parte.

Quello che manca ora è capire cosa fare dalle due IF di uplink delle RB ( porte 4 e 5 rispettive delle due nel ns caso ) in poi. :scrolleye:

Dunque, sicuramente nelle rispettive porte 1 è stata messa la "LAN" da collegare da volere bilanciare e rendere maggiormente disponile, la stessa per capirci a cui sono state collegate le LAN1 delle CPE lato sede principale. In questo modo alimentiamo ambo lati le RB con la ns rete da volere trasportare "suddivisa" tra i due link rispettivamente ambo lati in porta 4 e 5.

Qui la cosa un po si complica perchè è stato necessario creare delle interfacce EoIP su tutte e due le interfacce di uplink ( 4 e 5 ) in questione per lato, assegnando loro dei sotto IP fittizi ( es nel ns caso 1.1.1.1 - 1.1.1.1 / 2.2.2.1 - 2.2.2.2 ) raccordati all' ingresso in porta 1.

Questo ha permesso tre cose:

- la prima positiva di instaurare comunicazione ambo lati tra i quattro IP virtuali in questione, creando due subnet a contesto delgi IP utilizzati, permettendo dalla RB di impostare anche un watchdog di controllo incrociato ( ARP IP PING ) sfruttando appunto gli IP virtuali stessi. Il ping di controllo in questo caso avviene ogni 1 secondi e 2 ping falliti escludono il ramo dalla trasmissione totale. 5 ping di fila con successo reinseriscono il ramo. Non ci sono drop in quanto quando la rete va giù ( anche con lan staccata live ) interviene il suo buffer interno ( RB ) e nemmeno durante il ping i pacchetti vengono persi, si alza solo latenza per quei pacchetti che stanno nel limbo del pwdog, ma poi ritorna nominale.

- la seconda di trasportare perfettamente in modo trasparente la rete L2 da un lato all' altro di ambo i link racchiusa in questi pacchetti EoIP ( ethernet over IP ).

- la terza, negativa, di rimuovere l' IP di management di default dalla porta 1 di ambo le RB, rendendo di fatto il sistema funzionante, ma non più accessibile. Questa problematica è stata risolta assegnando ambo lati alle RB un IP statico di management in porta 2, collegandola a questo punto direttamente alla rete interna, rendendo quindi di nuovo accessibile il sistema analogamente a quanto fatto con le CPE.

A questo punto il fail over è fatto.

Per quanto a load balance - sempre sulle RB - abbiamo fatto un BONDING delle due interfacce con regola di LOADBALANCE XOR ( unica davvero funzionale al caso ed allo scopo ) con le seguenti note:

1) Il Loadbalancing opera con BOND / single host su LAN - quindi un utente LAN su una tratta, un' altro su un' altra e cosi via ( inteso per sessioni ovviamente, con allocazione dinamica ).

2) Il Loadbalancing XOR ha un rapporto di 20%/80% rispetto alla bw totale (100Mbps FD ETH), quindi ad ogni ramo di uplink viene sfruttato fino all' 80% della capacità nominale ( 100Mbps LAN ) prima di essere considerato come soggetto a bilanciamento forzato.

In pratica: un utente lan usa di fatto la capacità nominale di una sola delle coppie CPE, in pratica di un link solo, cioè 100MB. Non si aggrega quindi il totale di banda disponibile in trasferimento tra due host ai capi del link. Tuttavia se un secondo client si aggiunge in comunicazione tra i capi, esso viene ripartito sulla seconda tratta solo se l' utilizzo in banda sulla prima supera l' 80%. Quindi più utenti sono allocati sulla stessa tratta fino a che essa non è satura. Poi si bilancia in automatico forzatamente la cosa. Nella realtà cmq, con l' opzione round robin, è stato possibile fare allocare i client in maniera uno di qua ed uno di la di default, applicando poi solo al raggiungimento dell' 80% la policy di spostamento forzato. Lo spostamento, che avviene costantemente e sempre per sessione per host, è trasparente sia su spostamento file che la durante navigazione.

RISULTATI:

Un ipref della rete in LB lato lan, in sintesi, porta la prima sessione ad andare sul primo uplink per 80Mbps. Una seconda sessione dallo stesso lato viene iniziata sul secondo link, con medesima banda. Una terza viene rimessa al primo, dimezzando la banda per flusso. Analogamente, una seconda sessione dal alto opposto viene iniziata sul secondo link. Bilanciando perfettamente il carico anche nel senso del Full Duplex.

Lo sgancio di qualsiasi LAN, porta il failover ad intervenire e a recuperare quanto perso accodandolo sulla tratta rimasta attiva. Insomma. Tutto ok, tutto accessibile e monitorabile, rete L2 con LB e FO :okok: Ci siamo !

Ci siamo ?? !! :scrolleye:

Allego schema logico "unifilare" e note per i più appassionati.

Dubbi, domande, imprecisioni, precisazioni, precauzioni / imprecazioni sono sempre qui !!! :l0l:

Spero sia utile a qualcuno .... sono ore e ore di training on the job risparmiate :S

Ciao a tutti

TheMa3x
Allegati
Allegati.zip
Schema + Note LB-FO
(233.04 KiB) Scaricato 354 volte
Avatar utente
thema3x
Broadband Boss
 
Messaggi: 7119
Iscritto il: 26 marzo 2011, 2:19
Località: Tradate - Varese - Lombardia - Nord Italia

Re: Rete Radio con Load Balance e Fail Over

Messaggiodi admin » 29 maggio 2015, 11:03

Finalmente!

:eheh:
Avatar utente
admin
Site Admin
 
Messaggi: 1286
Iscritto il: 12 marzo 2009, 11:16

Re: Rete Radio con Load Balance e Fail Over

Messaggiodi thema3x » 29 maggio 2015, 18:20

Eh .... è inutile che penso al domani, è già tardi .... penso direttamente a trimestri ormai capito ?! :emo_pic_105: :roftl: Infatti sono perfettamente in tempo con la consegna :fifi:

Grazie ancora man !!!

Ciao

theMA3x
Avatar utente
thema3x
Broadband Boss
 
Messaggi: 7119
Iscritto il: 26 marzo 2011, 2:19
Località: Tradate - Varese - Lombardia - Nord Italia

Re: Rete Radio con Load Balance e Fail Over

Messaggiodi principiante92 » 16 settembre 2015, 21:33

che figata!!! complimenti e grazie per il tempo speso!! l'ideale sarebbe anche il Text Backup delle MK da poter studiare ....complimenti ragazzi! :ave: :ave: :ave:
principiante92
Beginner
 
Messaggi: 54
Iscritto il: 22 febbraio 2015, 15:32

Re: Rete Radio con Load Balance e Fail Over

Messaggiodi thema3x » 17 settembre 2015, 8:40

:hide:

TheMa3x
Avatar utente
thema3x
Broadband Boss
 
Messaggi: 7119
Iscritto il: 26 marzo 2011, 2:19
Località: Tradate - Varese - Lombardia - Nord Italia

Re: Rete Radio con Load Balance e Fail Over

Messaggiodi stormy » 10 dicembre 2017, 21:01

Ciao a tutti,

dato che parliamo di RouterOs, penso sia possibile fare il tutto anche con una coppia di RB2011UiAS-RM che mi ritrovo casualmente in magazzino...ehmm
Mi date conferma???
Grazie e complimenti a Thema per l'impegno e la pazienza.
stormy
Beginner
 
Messaggi: 69
Iscritto il: 8 febbraio 2012, 20:08

Re: Rete Radio con Load Balance e Fail Over

Messaggiodi thema3x » 11 dicembre 2017, 20:28

Ciao,

a regola si ... grazie mille, nel frattempo ho fatto anche di molto peggio :eheh: :roftl:

Ciao

TheMa3x
Avatar utente
thema3x
Broadband Boss
 
Messaggi: 7119
Iscritto il: 26 marzo 2011, 2:19
Località: Tradate - Varese - Lombardia - Nord Italia


Torna a Progetti

Chi c’è in linea

Visitano il forum: Nessuno