Så designar man ett fiberoptiskt nät

Skriven av

Nya fibernät är inget man snyter ur näsan bara sådär, utan de föregås av ett mycket grundligt designarbete. Det är många parametrar att ta hänsyn till, utöver kostnaden, nämligen hur mycket redundans man anser sig ha råd med, hur snabbt nätet ska vara, var understationerna ska stå, vilken utrustning man ska välja, vilken typ av fiber och hur nätet ska få förläggas för att redundansen faktiskt ska kunna uppnås.

2 oktober år 2016 togs SunetC, det svenska universitetsnätet i drift med 100 Gbps till alla inkopplade. SunetC ersatte det tidigare OptoSunet med massor av ny teknik. SunetC förbinder alla svenska universitet och högskolor, och en del andra myndigheter och institutioner med varandra, med Sunets tjänster och med Internet. Det här är historien om hur man designar ett lyckat fiberoptiskt nät, som bara fungerar.

Det var den operativt ansvarige Börje Josefsson och hans medarbetare som gravt rynkade pannorna och lade ned ett mycket omfattande arbete. Men hur gick det till?

– Först samlar man ihop en grupp människor som kan något. Alla kan inte kunna allt. Dessutom försöker men hitta externa personer med stora kunskaper, som man kan fråga om råd. Arbetsgruppen hos Sunet kom att bestå av sagde Josefson, Per Nihlén och Magnus Bergroth. En bemärkt extern person var till exempel Peter Löthberg. Alla dessa har lång erfarenhet av nätverksdesign och hade varit med i byggnationen av eller upphandlingsfasen inför det tidigare OptoSunet, börjar Börje.

Börje Josefsson, dock utan rynkor i pannan

Men att vi hade gammal god kunskap var till del ett dilemma. Teknikutvecklingen står inte still. OptoSunet såg ut som det gjorde på grund av de begränsningar som fanns i tekniken omkring år 2006. När vi designade OptoSunet fanns det en praktisk gräns att framföra den optiska signalen cirka 1000 kilometer innan den måste regenereras (förbättras, snyggas till) på elektrisk väg, vilket är dyrbart. Samma begräsningar finns inte idag, då det går att köra både 2500 och 3000 kilometer innan regenerering behövs. Idag finns flera frihetsgrader att skapa en annan design.

De huvudsakliga ringarna i den nya ringstrukturen

För ganska länge sedan var vi på det klara med att vi ville ha mera lokal routing och helst bättre redundans, vilket vi försökte åstadkomma med den nya topologin. Topologin i OptoSunet var en stjärna i vilket allt data var tvunget att färdas via Stockholm. Det nya nätet kunde snarast betraktas som flera ringar. Man kan se det som en snögubbe med ett antal bollar ställda på varandra. Ringstrukturen var avsedd att göra oss mindre sårbara för avgrävning och andra katastrofer. Till de flesta regioner finns tre vägar, eller åtminstone en väg norrut och en söderut.

Tack vare beslutet att inte bygga stjärntopologi, det faktum att man numera kan köra 2000 kilometer utan regenerering och att det numera är konkurrens på optisk fiber, blev det nya fibernätet billigare. Vi behövde färre kilometer fiber, men uppnådde ändå tre vägar, kontra de tidigare två. Vi avsåg att köra tio gånger så fort som på OptoSunet och ha bättre redundans, men nätet skulle inte bli dyrare.

Alla större projekt börjar som en skiss på en servett eller ett kuvert. Bilden ovan är ursprunget till designarbetet för SunetC i landets södra del, handkladdat på en A4 som någon tog ur en skrivare. Vissa försök till uttydning har gjorts av författaren.

Ordning och reda

När man designar ett nät skulle man behöva ha alla fakta på bordet på en gång, men det har man inte. Man hamnar snart i ett Moment 22. Det första en leverantör av kopplingsutrustning frågar, är vad vi har för fiber. Tyvärr hade vi ingen fiber före april 2015. För att kunna ställa riktiga krav till fiberägaren bör man tvärtom kunna veta vilka krav utrustningsleverantören ställer.

Rundgången måste brytas. Så vi beslutade att ta fram ungefärliga krav på fibern och därefter göra en upphandling av ett fiberoptiskt nät, så att vi faktiskt kunde veta vilken fiber vi hade. Efter upphandlingens avslutning den 14 april 2015 visste vi vilka fibervägar vi hade, avståndet mellan förstärkarna, dispersionen och så vidare. Då kunde vi gå till utrustningsleverantörerna och tala om vad hade.

Den optiska signalen dämpas på vägen, för fibern är inte helt transparent. Med modern fiberdesign kan man tolerera en dämpning på 20 decibel innan det är lämpligt att förstärka signalen. Det kommer att inträffa efter cirka 80 kilometer. Var 80:e kilometer sätter man in rent optiska sk EDFA (optiskt pumpade erbiumförstärkare), men har man längre spann kan man komplettera EDFA med en mera avancerad sk ramanförstärakre, där fibern själv utgör förstärkarelementet. (Men 80 kilometer är ändå fantastiskt. Hur tjockt kan vanligt fönsterglas bli innan det blir ogenomskinligt? En halvmeter? 3 centimeter räcker för en dämpning på 3 dB, alltså 50 %. Samma siffra för optisk fiber är 14 kilometer.)

Problemet med primitiv optisk förstärkning är att det tillkommer brus på vägen. Till sist har det blivit så mycket brus att den optiska signalen måste tolkas, omvandlas till elektriska bittar och sedan omvandlas tillbaka till ljus igen. Det är det som är regenerering. Man vill dock undvika att regenerera mer än nödvändigt eftersom det är dyrbart. Som tur är, är Sverige inte 2000 kilometer på någon ledd, så med nuvarande teknologi behövs inga förstärkarstugor för elektrooptisk regenerering.

Ett mål i designen var att skapa ett fiberoptiskt nät med så lite brus som möjligt, för att få så högt OSNR (Optical Signal to Noise Ratio) som möjligt. Det tycks inte ha hänt så mycket i utvecklingen av optiska förstärkare på tio år och vår förhoppning var att det skulle förbli så även i fortsättningen. Satte man in det bästa som fanns av dåtiden optiska förstärkare borde man kunna leva med dem under hela nätets livslängd.

Alla var överens om att vi skulle behöva byta ändutrustning under nätets livslängd, men om vi slapp byta optiska förstärkare vore det en fantastisk besparing. Därför spenderade vi till exempel en hel del tid på att fundera ut den optimala kombinationen av EDFA och ramanförstärkare, för att få minsta möjliga brus. Det gällde att inte ha för många förstärkare heller, eftersom de själva skapar brus.

Point of Presence

Fiberslangar i gatan. Bild: Bidgee, CC BY-SA 2.5

Normalt växlar man ut och in trafik på fibern i en universitetsstad. Trafikutväxlingen avses aldrig ske på en högskola, eftersom en Sunet-ansluten organisation aldrig bör vara beroende av en annan, vid exempelvis strömavbrott. Istället sker utväxlingen i en POP.

Fibrerna måste utnyttjas maximalt. Detta innebär bland annat att de tänds upp med ljus av olika våglängder och alltså bär flera oberoende dataströmmar om 100 Gbps samtidigt. Den sammanlagda kapaciteten som hanteras på olika länkar ut och in i en POP hamnr säkerligen uppåt en terabit per sekund på sina ställen.

Trafiken från POP till högskolan sker normalt via stadsnätet. Där kan inte Sunet bestämma hur fibern dras, för det sköts av Tele2. Det enda kravet var att förbindelsen skulle vara redundant. Det är ändå Sunet som lyser upp fibern.

Redundans

Den logiska kartan över nya Sunet. Ringarna är klart urskiljbara. Observera att Gotland saknas.

OptoSunet hade två redundanta fiberstrukturer kallade ”gröna” och ”röda” vars optofibrer drogs tillsammans mellan exempelvis Stockholm och Uppsala, förhoppningsvis på olika sidor om vägen. Men det var fortfarande i samma del av landet. Grävde någon av de bägge fibrerna mellan Stockholm och Uppsala så var redundansen förbrukad.

Med den nya designen kom Uppsala att få en väg norrut och en väg söderut. Någonstans i sundsvallstrakten svänger nätet in i landet och kommer tillbaka ned till Örebro. Och skulle man gräva sönder den vägen, kan data fortsätta ännu längre norrut och vända i Luleå och komma tillbaka till Karlstad. Då blir vägen eventuellt 15 millisekunder längre, men hellre det än totalt nätavbrott.

Samtidigt byggde vi bort det extrema stockholmsberoendet som OptoSunet hade. Kan man routa trafik i Luleå och Malmö blir sannolikheten för totalhaveri mycket mindre än med gårdangens topologi.

Notera att SunetC slutar i Narvik i Norge. Avsikten är att ta ned norsk universitetstrafik till södra Norge genom Sverige. Det är ungefär samma idé som med det svenska elkraftnätet. Norge har en oherrans massa fjordar som gör det svårt att dra kraftledningar längs kusten. Nordnorge är i princip bara ”kust”. Man kan visserligen lägga en fiber på havsbotten utanför kusten, men den kan ankras sönder av fartyg när det börjar blåsa på från Atlanten. Istället har man valt att hänga fibern i kraftnätet.

Optisk fiber av självbärande typ, observera stålvajern i mitten. Bild: Srieffler, CC BY-SA 3.0

För att nu fortsätta med kraftledningar kan man fråga sig varför Tele2 och Sunet tycker att det är så bra att hänga fiber i det svenska kraftnätet. Man kunde visserligen gräva ned fibern, men då kan det komma en bonde och gräva av den. Hänger man upp den i kraftnätet kommer ingen åt den, såvida man inte skjuter med hagelbössa. Det händer inte så ofta. Det är också tämligen sällsynt att en 400 kV-stolpe blåser omkull. Det har aldrig hänt.

Istället kan det bli problem vid kallt väder då alla kraftledningar behövs för att transportera kraft till landet. Då kommer Svenska Kraftnät inte att vilja stänga av en kraftledning för att Tele2 ska få släppa upp en tekniker i en stolpe för ett eventuellt reparationsarbete. Emellertid kan man använda självbärande fiber som inte hänger i jordlinan överst, som kan repareras medan högspänningen är på. Samma självbärande fiber kan användas i regionnäten och kan hängas i 10 kV- och 20 kV-ledningar då den tål att ett träd faller över den.

Ett allvarligare problem är att fibern är känslig för blåst. När den skakar fram och tillbaka i blåst kommer ljusets polarisationsriktning inuti fibern att vrida sig. Dataöverföringen är beroende av att man känner till polarisationen och förändras den för fort, tappar man förbindelsen. Vi ber att få återkomma till detta i en senare djupdykning.

Hos högskolan

Måhända en och annan högskola kände att man redan hade tillräcklig kapacitet när SunetC introducerades. Då gällde direktivet att dessa skolor inte ska behöva drabbas av extrakostnader. Den utrustning Sunet avsåg att installera hos dem, skulle vara pluggkompatibel med den de hade. Ville högskolan å andra sidan öka kapaciteten till 100 Gbps var de givetvis tvungna att uppgradera.

Det finns ett antal mindre högskolor som idag använder 1 Gbps. Dessa uppmanas i ett tidigt skede att uppgradera till 10 Gbps eftersom det skulle bli billigare att ansluta dem på detta sätt än att försöka ordna fram exotisk maskinvara som klarade den numera föråldrade kapaciteten 1 Gbps. Det skulle helt enkelt inte bli kostnadseffektivt, så som SunetC:s topologi skulle se ut, att växla ned ett 100 Gbps-nät hundra gånger.

Multiprotocol Label Switching och andra specialtjänster

MPLS är en metod att skapa ett logiskt (virtuellt) nät ovanpå det fysiska nätet och det användes redan i OptoSunet. Det virtuella nätet fungerar som ett fristående nät och kan användas för privata punkt-till-punkt-kopplingar.

Det blir fler och fler samarbeten och sammanslagningar mellan högskolorna. Som exempel kan man nämna att Uppsala Universitet och Högskolan på Gotland sedan länge är samma enhet. Högskolan har blivit en institution hos Universitetet och i och med det ville Universitetet att Campus Gotland skulle vara likvärdig med deras andra institutioner och ha tillgång till det interna nätet. För den skull levererade Sunet en virtuell länk mellan Uppsala och Gotland, som fick Gotland att verka befinna sig bakom brandväggarna i Uppsala. Samma tjänst utnyttjas av flera andra högskolor i landet.

Sunet gör ungefär detsamma för individuella forskare som vill ha en egen förbindelse utanför Sverige för en särskild forskningsuppgift. Några exempel är Onsala (radioteleskopen i Råö) som fått en helt egen våglängd i fibrerna, och RISE i Borås (som hämtar Svensk Normaltid till sina atomklockor från Tidsbyrån i Paris).

SunetC fick också utföra en samhällsnyttig tjänst i och med att nätet blev transportör för Svensk Normaltid från ett antal atomklockor belägna på olika ställen i landet, i vad PTS kallar för ”NTP-tjänsten”. Bilden visar hur ett antal atomklockor, här liknade vid motorer, samverkar med RISE i Borås, här liknat vid ett svänghjul, för att alstra och bibehålla Svensk Normaltid med mycket hög noggrannhet, för det fall Sverige skulle tappas förbindelsen med tidsbyrån i Paris under längre tid.

Sunet kommer även i framtiden att försöka tillfredsställa enskilda forskares behov av förbindelser mellan olika platser i landet.

Quality of Service

– Quality har vi och service har vi, men Quality of Service vet vi inte vad det är, skämtar Börje. Vi har helt enkelt tillräcklig bandbredd för att inte behöva kvalitetsgradera trafik. Vem ska annars ha företräde? Ingen kan avgöra om KTH eller Chalmers är viktigare än någon annan ansluten.

Kuriosa: När diskussionerna om brandväggar en gång för länge sedan kom upp på KTH, var det någon som ställde den kluriga frågan: Åt vilket håll ska brandväggen vända? Ska vi skydda KTH från världen, eller ska vi skydda världen från KTH?

Antalet anslutna

Sunet har en hel mängd anslutna organisationer av olika slag. Det finns 34 högskolor, varav vissa är riktiga storförbrukare av bandbredd. Man kan ju bara nämna Chalmers, vars observatorium Råö-teleskopet deltar i flera radioastronomiska projekt som kräver dataströmmar i storleksordningen 50 Gbps. Man kan också nämna ett antal kända storförbrukare, nämligen studentbostadsnäten. Där huserar stortankarna, som kan sluka hur många gigabyte som helst.

Dessutom finns konstnärliga organisationer av olika slag, som Arkitekturmuseet, Armémuseum, Etnografiska museet och Flygvapenmuseum. En av dem är Skansen, som förmodligen inte kommer att öka sin dataproduktion nämnvärt under en överskådlig framtid.

Men så finns det 33 stycken ”övriga organisationer” och bland dem hittar vi de verkliga datasprutorna, som kommer att behöva mycket upptid framöver. En av dem är den nya neutronkanonen European Spallation Source (ESS) i Lund som kommer att behöva massiv datatransport ut i Europa. Institutioner som CERN i Schweiz skickar väldiga mängder data in i svenska universitet och högskolor. Än värre blir det när sökningen efter mörk materia börjar i LHC-acceleratorn.

Mörk materia (blå) i universum. Kanske. Om den finns. Det återstår att ta reda på.

Sverige har sammanlagt sex superdatorcentra, som tillsammans kallas SNIC (Swedish National Infrastructure for Computing). De är bland annat belägna i Linköping, Stockholm och Umeå. Dessa utför beräkningar för en mängd olika projekt, som partikelforskningen vid CERN, meteorologi från SMHI och mycket annat. Detta gör dem till stora bandbreddskonsumenter.

SMHI är dessutom anslutna till sina kollegor i Norge, MET, fd. Meteorologisk Institutt, med vilka de utbyter data mellan sina respektive beräkningsnoder, via Sunet, NORDUnet och det norska universitetsnätet Uninett.

Framtiden och logistiken

SunetC konstruerades ursprungligen för 100 gigabit per sekund, men 200 Gbps och 400 Gbps vinkar runt hörnet. Tittar man 10 år framåt kanske terabitkapaciteter är vardagsmat. Då kommer det att bli nödvändigt med ny ändutrustning, medan förstärkarna på linjerna kan behållas vilket helt klart är en stor kostandsbesparing. Av samma anledning kommer man att kunna byta upp sig till 200 Gbps-transpondrar på de ställen där det behövs, utan att behöva störa någon annan verksamhet på nätet.

Nya användare kommer att komma till löpande. EISCAT 3D är ett jonosfärsforskningsprojekt uppe i norra Skandinavien som bara har börjat. Projektet avser i princip att studera och avbilda jonosfären (norrsken, solstormar etc) i tre dimensioner för att öka förståelsen för fenomenet rymdväder. EISCATs olika driftplatser måste förses med datanät. Det handlar om 10 Gbps till Karesuando, Porjus och Abisko. Fiber i fjällvärlden.

Hur kommer trafikmönstren att se ut i framtiden? Det går inte att svara på. Vi kan se hur mönstren ser ut idag, men plötsligt startar något nytt bandbreddskrävande projekt och ställer allt på huvudet. För detta finns inga prognoser, avslutar Börje Josefsson.

Läs mer

Den här artikeln skrevs ursprungligen på uppdrag av Sunet. Läs allt om Sunet hos Sunet: https://sunet.se/

Så fungerar Sveriges Internet: https://techworld.idg.se/2.2524/1.399148/omojligt-att-stoppa–sa-fungerar-sveriges-internet

Så byggs ett stadsnät för framtiden: https://techworld.idg.se/2.2524/1.586008/sa-byggs-ett-stadsnat-for-framtiden

Fibern som fixar 3,4 terabit i sekunden: https://techworld.idg.se/2.2524/1.599956/34-terabit-i-sekunden

Så är det globala Internet uppbyggt: https://www.sweclockers.com/artikel/19339-sa-ar-det-globala-internet-uppbyggt

Märken på artiklar:
Artikelkategorier:
Datakommunikation · Optisk fiber · Säkerhet

Lämna en kommentar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *