Imint gör skakig film stabil

Jörgen Städje
6 år sedan

Skakiga, suddiga spaningsbilder blir som nystrukna med Uppsala-uppfinning. Ett litet svenskt företag har nått världsrykte med sin metod att rätta till flygbilder, trolla bort snöstorm och visa upp ljusskygga politiker.

Sportreportage har ofta nytta av Ihvert. Vasaloppet filmas från en skakig snöskoter och du ser hur bildens ytterkanter rört sig. Luddigheterna i HD-bilden kommer av bildkomprimeringen. Datalänken från en snöskoter är inte världens snabbaste. Bilder i reportaget: Imint AB.

Skakiga, suddiga bilder tagna från helikoptrar på bovar som försöker smita från förföljande polisbilar är ett återkommande inslag i amerikansk TV. Bilderna överför fart, fläkt och att det verkligen händer något. Men sådana bilder är tämligen värdelösa när man vill utvinna verklig information, till exempel vid militär spaning, undersökning av skador på kraftledningar, vid skogsbränder, eller vid olika snabbrörliga sportevenemang.

Då ska bilderna vara stabila och föremålet man vill undersöka, till exempel en flyende bil, ska hålla sig still mitt i bild och inte fara omkring. Trots gyrostabiliserade kameraplattformar blir bilder från helikopter eller UAV (taktiska obemannade flygfarkoster) skakiga och dåliga, inte minst i de frihetsgrader där gyrostabiliseringen inte verkar.

Harald Klomp grundade Imint AB i Uppsala år 2006.

Vi talar med Harald Klomp, som är VD och en av grundarna av Image Intelligence AB (Imint) i Uppsala.

– Vi jobbar med programvara som förbättrar video från flygspaningssystem i realtid för att öka sannolikheten att upptäcka tidskritiska händelser. Dessutom har vi stöd för att kunna spela in video och kunna skapa underrättelserapporter kopplade till kartinformation. I princip ett komplett underrättelsesystem för flygspaning där videoförbättring bara är en komponent.

Tusentals små förarlösa plan är idag uppe och spanar, både åt försvarsorganisationer och kraftbolag, polis och kustbevakning. I Irak flygs det till exempel fler obemannade än bemannade flygtimmar. Den militära sidan dominerar hittills, men fredsbevarande insatser ökar. Ett bemannat jetflygplan måste tanka en gång i timmen, medan en UAV som svenska Cybaeros lilla APID-helikopter kan vara i luften fyra timmar.

Imint har många kunder som inte skulle klara sig utan stabiliserade bilder.

Sportsändningar: Sportsändningar har realtidskrav. Där vill man både minska skakigheten och öka sikten i dåligt väder. Vasaloppet realtidsfilmas till exempel från snöskoter och där har Imint visat för SVT hur det går att få stabila bilder. Skidtävlingar i dåligt väder gläder ingen, men med Imints dynamiska kontrastförbättring kan man faktiskt se något i all dimman.

Räddningsinsatser: På havet gungar det alltid och räddnings- och spaningsinsatser försvåras av dis och upprört hav. Bilderna från Kebnekajse där det norska Hercules-planet störtade, kunde Imint göra om från ”oanvändbara” till ”användbara”. Det var sekvenser ur den förbättrade filmen, där man kunde se alla förbrända vrakdelar på bergskanten, som kablades ut till svenska folket. https://www.youtube.com/watch?v=rET3zqxIBNY

Polis: Polisen använder ofta flygspaning. Amerikansk polis tycker om att visa flyende bilar på motorvägen, men med 100X inzoomad bild hoppar bilen bara omkring. Det är en marknad Imint skulle vilja ge sig in på. https://www.youtube.com/watch?v=HLI_BLBQXd4

Nyhetsbyråer: Nyhetsjournalister drabbas ofta av att behöva ta bilder under omöjliga ljusförhållanden. Imint hjälpte till exempel tidningen Expressen med att ta fram filmbilder på en viss Hr. Juholt under så svåra ljusförhållanden att det hade varit omöjligt med en standardkamera.

Ubåtsräddning: Under vatten är det dålig sikt. Kameror på undervattensfarkoster har ofta problem med sediment som rörs upp från botten kombinerat återsken från med starka lampor. Det ger ungefär samma problem som motljus i luften med dis och dimma och angrips därför med samma algoritmer. Det gäller att snabbt hitta ubåten och lika snabbt hitta räddningsluckan och därefter docka noggrant. Försvaret har därför skaffat Imints programvara för att ge klar sikt vid ubåtsräddningsinsatser. https://www.youtube.com/watch?v=gVxbSvTmPJY

Amerikanska Kustbevakningen som flög runt den havererade oljeplattformen Deepwater Horizon i Mexikanska Golfen hade bara en vanlig handhållen videokamera tillgänglig. Det blev en väldigt skakig film, som Imint gjorde något bra av. Olje- och gasindustrin blir mer och mer offshore. Vid underhållsarbete vill man kunna följa miltals av gasledning í grumligt vatten med en obemannad farkost. https://www.youtube.com/watch?v=Tczy5H9gKbA

Mobilanvändarna är slutligen räddade från skakig mobilfilm, även i kraftigt inzoomat läge. Imint har äntligen sålt sin förbättringsteknik Vidhance till åtminstone tio tillverkare i mobilvärlden. Det går att zooma duktigt utan att filmen blir skakig: https://www.youtube.com/watch?v=aFkkbKv9o8o, https://weareimint.com/products/vidhance/

Realtidskrav

Användarprogrammet Ihvert IET (Image Exploitation Terminal) är ett komplett underrättelsestöd som har tagits fram i samarbete med svenska försvaret.

Man kan göra väldigt mycket bildbearbetning av film i efterhand, med exempelvis Adobe After Effects, men sådant har TV-bolagen och Försvaret inte tid med. Imints målsättning har varit att skapa ett program som kan köras på de stryktåliga datorer som försvarsmakten använder, såsom Panasonic Toughbook, som ska kunna hantera strömmande HDTV-video med en löpande fördröjning på mindre än 40 millisekunder. Både dataprocessorn och grafikprocessorn är med i hanteringen. Videon kan komma från en vanlig TV-kamera, HD-kamera, IR-kamera, en videofil, Blu-Ray-film eller vad som helst.

När man sitter på en framrusande snöskoter eller står ute på en sportarena kan man givetvis inte jobba med en bärbar dator. Då använder man istället en färdig svart låda, där Imints programvara bäddats in i ett yttre driftssystem och allt kamerapersonalen får är en SMPTE-kontakt in och en SMPTE-kontakt ut. Ful bild in, fin bild ut. Imint bygger inga svarta lådor utan licensierar i det fallet enbart sina bildförbättringsalgoritmer som ett programpaket under namnet Vidhance och ett publicerat programgränssnitt (API) som apparattillverkaren kan utnyttja.

Hur går det till?

Kompensationer. Ihvert kan kompensera för panoreringar och skak i sid- och höjdled, vridningar och zoomning eller om kameran kommer närmare eller längre bort från objektet. Objektet man filmar förblir stabilt utan storleksförändring.

Vidhance börjar med att försöka avgöra vad som ligger i mitten av bilden och vad som är bakgrund och tar ett beslut om vad som ska stabiliseras. Stabiliseringen går till så att man behåller objektet fast och flyttar på bilden istället. Konkurrentsystem kan göra på samma sätt, men skalar ofta upp objektet och klipper bort det som varierar runt kanterna och förstör på så sätt bilden. Den metoden kan behövas ifall bilden ska skickas vidare och man har ett givet bildformat. Vidhance sparar emellertid ett par sekunder bilddata runt omkring och gör på så sätt bilden lite större, som en panoramabild. Man kan dessutom zooma ut och in i bilden i efterhand och bibehålla upplösningen.

Kontrastförbättringen Ihvert kan göra är förvånande. Man kan göra det ruta för ruta i Photoshop också, men Ihverts Vidhance-funktion gör det på 40 millisekunder på strömmande HDTV-video.

Sandstorm, snö, dimma, moln och algblomning är fenomen som minskar kontrasterna på bilder tagna i luften eller under vattnet. Imints algoritm för kontrastoptimering är unik. Konkurrenterna tittar på det ljusaste och det mörkaste och drar ut hela bildens gråskala efter detta (jfr Nivåer i Photoshop) till någon slags medelvärde. Vi analyserar hela bilen och optimerar de olika delarna var för sig. Antag att man får med solen i bild. Med en vanlig digitalkamera skulle detta fullständigt fräta ut bilden och de mörka områdena kompenseras ned till skugga. Vi tonar istället ned solen och tonar upp det som är runt omkring. Helt automatiskt. Det finns inga kontroller att skruva på. Med selektiv förbättring kan man till exempel visa en nattbild av en person i mörka kläder på en mörk balkong på samma bild som det upplysta rummet innanför. Det går inte med en standardkamera.

De-interlacing kan användas om de båda halvbilderna i en video skiljer sig väldigt mycket åt. Metoden är då att betrakta dem som två olika bilder eftersom de tagits vid något olika tidpunkt, öka upplösningen och visa dem som två sekventiella bilder, alltså göra om interlace-video till progressiv video. Det kan man också göra i Photoshop, men Vidhance gör det i realtid. https://www.youtube.com/watch?v=4jd67syy934

Svenska slott och herresäten stabiliseras också. Här ser man hur kameran har svept från vänster till höger och nedåt, men hela bilden behålls. Notera hur skarp flaggstången är (artefakterna i bilden har överdrivits för att synas bättre).

Imints teknik medger att man staplar flera videobilder på varandra och skapar mellanliggande subpixlar och på så sätt ökar upplösningen i efterhand. En fördubbling av upplösningen är möjlig. Paradoxalt nog kan en bild bli bättre om man viftar lite med kameran. Av en av kvällstidningarna fick vi till exempel övervakningsfilmen på terroristen som sprängde sig själv i Stockholm under julhelgen 2010 och vi kunde förbättra bilden så mycket att man kunde utesluta att det inte var en föreslagen person. Vi kunde inte identifiera personen exakt men ändå avgörande för tidningens beslut att visa bilden på löpsedeln.

Flygspaning

Frågor som en militär styrka kan ställa sig är: Vi ska in i det här bergspasset. Vad händer tio kilometer längre fram? Då skickar man fram en obemannad helikopter eller annan UAV som får spana.

Ofta är det samma person som flyger farkosten och pekar kameran och för det mesta sker det med en och samma dator. Det normala är att man pekar kameran med en joystick, så flyger flygplanet ditåt, sk Camera Follow. Låser man kameran på ett föremål lägger sig flygplanet och cirklar runt sagda föremål med någon förinställd radie. En annan metod är att ha en planerad rutt mellan olika mål, som man betar av. Då gör man ingen spaning emellan målen. För det mesta matar man då först in rutten i flygplanet, så flyger det själv den planerade vägen.

Ett typiskt flygspaningssystem med dubbelriktad kommunikation till och från flygplanet. Normalt används en och samma dator för alla styrändamål. Radiokommunikationen kan vara antingen punkt till punkt eller gå via satellit. Laserpekaren kan dels användas för avståndsmätning och dels för att peka ut mål för andra stridskrafter.

Flygspaning i exempelvis talibantäta områden kan utföras med minimal utrustning. En liten helikopter med kamera, en mottagare (den vita kuben), körkontroll och en stöttålig dator med Ihvert i en ytterväska med extra strömförsörjning etc.

Den obemannade propellerdrivna Predator från General Atomics, som kan flyga till ett mål 740 kilometer bort, stanna där i 14 timmar och sedan återvända hem. Kommunikationen går via satellit på Ku-bandet. Predator har varit i strid i Afghanistan, Pakistan, Bosnien, Serbien, Irak, Jemen, Libyen och Somalia. Kameran syns under nosen.

Så här ser den gyrostabiliserade kardanupphängda kameraplattformen ut som sitter på Predator. Det finns kameror för synligt ljus och infrarött och därtill ett lasersikte. IR-kameran kan se en människa på 3 km avstånd.

En människa fångad på en IR-bild från svenska Cybaeros APID-helikopter är omöjlig att missa.

Tillbaka från kameran i planet kommer video på en digital ström, tillsammans med metadata om flygplanets position, höjd, orientering med mera, samt information om kamerans pan-tilt-zoom-riktning. Annat som också kan länkas ned är eventuell radiotrafik som flygplanets signalspaningsmottagare har uppfattat.

Har planet en laseravståndsmätare kan man få exakt angivelse av avståndet till målet, tillsammans med bilden.

Ett obemannat propellerplan, en Heron från Israeli Aerospace Industries flyger. Kameran syns vid pilen. De vertikala plattorna är antenner för signalspaning. Sprötet som sticker ut i nosen är lufthastighetsmätarens pitotrör.

Pixelpositionering

Ihvert har en snabb möjlighet att skapa underrättelserapporter. Här har ett område nära Lysekil spanats av och flygbilden överförts till Google Earth så man ser sammanhanget.

Ihvert kan visa positionen för en enskild pixel i en spaningsbild. Många flygplan skickar med sin position i form av metadata tillsammans med videon och med hjälp av detta kan man triangulera fram exakta positioner för alla föremål man ser och pricka in dem på en syntetisk terrängmodell eller Google Earth-bild. Utan exakta positioner kan soldaterna givetvis inte vidta några motåtgärder.

Enknapps Powerpoint

Flygspaning över Holland. Här har en brandbil siktats och prickats in på en karta automatiskt. Den röda pilen visar kamerans riktning.

Vid militära operationer är det av yttersta vikt att underrättelserapporteringen går snabbt. Men Ihvert kan man sätta bokmärken i en film, hoppa mellan bokmärkena och på bara någon minut samla ihop närbilder ur en bildförbättrad film, ackompanjera dem med syntetiska kartor, Google Earth eller militära terrängmodeller och exakta positioner, kommentera dem med några rader text och mata ut en powerpointfil med bara en knapptryckning. Snabbhet kan vara kritiskt om det sitter ett gäng oroliga soldater i ledningstältet och väntar på en överblick av läget inför en kommande manöver.

Videokvalitet

Förvånansvärt många brott löses med hjälp av suddiga övervakningsfilmer. Man ser ofta hur Herr Suddig riktar ett oskarpt vapen mot en svart fläck, eller Herr Ludd hoppar in i en oregelbunden kanske-Volvo med okänt registreringsnummer. När registreringsskylten är 20×5 pixlar går det inte att läsa något.

– Vi har varit fascinerade av detta under alla år vi arbetat med video. Jag såg en upphandling nyligen från Försvarsmakten, där det inte fanns några krav på videokvalitet över huvud taget. Det finns ingen världsvid standard, men när vi skapat vår produkt har vi tagit fram en del kvalitetsmått.

Imints programverktyg Visqa kan avgöra om en videokälla håller tillräcklig kvalitet för att kunna göra nytta i en given situation. Visqa analyserar videosignal och kan mata ut ett antal tabeller och grafer som ger olika mått på videons kvalitet, som stöd till dem som utvecklar system eller de som upphandlar och vill jämföra olika system. Ett videosystem kommer också att degraderas över tiden. Objektiven blir smutsiga, CCD-erna kan skadas, belysningen ändras mm. Underhållsorganisationen vid exempelvis en flygplats eller hos Trafikverket som har många tusentals kameror kan mäta kvaliteten för att se om kameraparken behöver underhåll.

Framtiden

– Många övervakningssystem har fortfarande analoga kameror, men man går allt mer över till digitalt. De gamla lågupplösta kamerorna byts allt mer ut mot högupplösta. Då skulle man kunna tro att behovet av bildförbättring skulle minska, men vi ser det motsatta. Vi ser också ett stort behov av våra produkter för att snabbt kunna skapa hela kedjan av information, från att upptäcka till att skapa rapporter och göra åtgärder. För oss är de nya domänerna i undervattensbranschen väldigt spännande, alltså olje- och gasutvinningsindustrin. Även vindkraft och vågkraft är mycket offshore och kräver undervattensoperationer.

Vi hoppas också mycket på underhållningsbranschen, alltså live-TV från olika sporthändelser. Innan ett TV-bolag vågar förlita sig på vår teknik och sända direkt till miljoner tittare är det ett antal steg, men vi tycker det ser lovande ut. TV-produktion är i övrigt helt digital idag och Imint är ensamma om att kunna stoppa in en digital enhet direkt i signalkedjan, som klarar alla krav på synkronisering osv.

Skakstabilisering sitter ju i snart sagt varenda stillbilds- och filmkamera idag, men Imints metoder är oändligt mycket bättre. Givetvis har mobiltelefontillverkarna uppmärksammat detta och Imint har sålt sitt program till åtminstone tio mobiltillverkare, däribland Huawei, Wiko, Sharp och olika Android-tillämpningar.

Man kan bara som vanligt konstatera att all rolig teknik inte alls kommer från Kalifornien.