2016 was het jaar van Virtual Reality, 2017 is het jaar waarin Augmented Reality volop in de schijnwerpers staat. Hoewel er al meerdere decennia aan deze technologie gewerkt wordt, was het eerste grote commerciële AR succes ongetwijfeld Pokémon GO, het mobiele zoekspel voor smartphones. Terwijl bedrijven als Facebook, HTC en Samsung de VR markt naar zich toetrokken, zagen bekende merken als Apple. Microsoft en Nintendo meer mogelijkheden in AR en MR. Google kiest geen partij en probeert in elk medium prominent aanwezig te zijn. De verschillen tussen Augmented Reality, Mixed Reality en Virtual Reality zijn niet altijd even scherp te definiëren, op deze pagina bekijken we het verleden, het heden en de toekomst van Augmented Reality. Tim Cook, directeur van Apple, ziet AR technologie als een revolutionaire technologie die het succes van de smartphone kan evenaren en zelfs overtreffen.

Wat is Augmented Reality?

Bij Augmented Reality ofwel AR wordt er een digitale laag over de werkelijkheid gelegd. Je ziet de wereld om je heen, en op een scherm. Bijvoorbeeld op een smartphone, of via een projectie op een prisma met een “slimme bril” kun je virtuele beelden voor je ogen zien zweven. De term “augmented” staat voor “toegevoegd”, er wordt nieuwe informatie toegevoegd aan de werkelijkheid zoals we die kunnen waarnemen.

  • Mixed Reality: In feite liggen AR en MR erg dicht bij elkaar. Mixed Reality een geavanceerde vorm van Augmented Reality waarbij de nieuwe laag volledig in drie dimensies wordt weergeven, en daarnaast ook een absolute positie inneemt binnen de ruimte. AR beelden worden doorgaans als een platte laag over het beeld gelegd, zoals de ondertitels bij televisieprogramma’s. In praktijk worden de termen vaak door elkaar gebruikt, door de technologische ontwikkelingen kunnen consumentenproducten zoals smartphones beelden weergeven die als MR aangemerkt kunnen worden. In de volksmond spreken we meestal van Augmented Reality of AR.
  • Virtual Reality: Deze methode is wel sterk afwijkend ten opzichte van AR en MR. Hierbij wordt het complete gezichtsveld weggenomen en vervangen door digitale beelden. Je draagt een VR headset en kunt vrij rondkijken, je ziet niet langer de echte wereld om je heen. Bij VR wordt er daarnaast onderscheid gemaakt tussen 3DoF, waarbij je wel rond kunt kijken maar niet vrij kunt bewegen in de ruimte, en 6DoF waarbij je wel compleet vrij kunt bewegen. Google Cardboard en de Samsung Gear VR zijn voorbeelden van 3DoF producten, terwijl de Oculus Rift en HTC Vive 6DoF functionaliteit bieden.

In de nabije toekomst zullen AR, MR en VR technologie zoveel naar elkaar toegroeien dat onderscheid maken haast onmogelijk zal zijn. Microsoft noemt bijvoorbeeld hun Virtual Reality headsets Mixed Reality, terwijl die term juist beter aansluit op hun eigen HoloLens headset.

Technologische beperkingen van AR

In tegenstelling tot Virtual Reality ben je met Augmented Reality niet volledig afgesloten van de omgeving. De grens tussen AR en VR wordt overigens onduidelijk wanneer je een AR beeld compleet beeldvullend weergeeft op een AR of MR bril. Over het algemeen wordt een AR beeld bekeken op het scherm van een smartphone of tablet, dan zal het beeld monoscopisch 2D worden weergegeven. Dat houdt in dat je geen diepte kunt ervaren. Dat is wel mogelijk met enkele smartglasses die voorzien zijn van een losse projector per oog. Bij AR en MR brillen en headsets zoals de Microsoft Hololens is het onmogelijk om diep zwart weer te geven, dat is met holografische projectie namelijk onmogelijk vanwege de lichtbreking.

Ruimtelijke bepaling is een uitdaging voor de geavanceerde AR toepassingen, toch worden er op basis van SLAM (Simultaneous Location And Mapping) en Point Clouds in combinatie met GPS en beeldherkenning heel overtuigende applicaties ontwikkeld, waarbij objecten vrijwel naadloos aansluiten bij de werkelijkheid. Mixed Reality producten zoals de HoloLens van Microsoft en de mobiele Tango apparaten hebben speciale hardware aan boord om ruimtelijke positie te bepalen. Google is overigens gestopt met Tango en heeft dit project vervangen door AR Core. Hiervoor is geen speciale diepte scanning hardware vereist.

Voorheen werden “markers” gebruikt om de positie te bepalen, dit waren vaak zwart-wit afbeeldingen met hoog contrast zoals de bekende QR-codes. Door verbeteringen in software en de snelheid van hardware is het nu mogelijk om “markerless tracking” toe te passen waarbij specifieke herkenningspunten niet meer noodzakelijk zijn. Deze nieuwe manier van tracking wordt ook gekoppeld aan kunstmatige intelligentie waardoor de nauwkeurigheid nog verder vergroot wordt.

Historie van AR

De eerste maal dat het concept van een Augmented Reality beeld nauwkeurig werd beschreven was in 1901. De auteur L. Frank Baum, bekend van het boek “The Wonderful Wizard of Oz”, beschreef een elektronisch scherm of bril die mensen over de werkelijkheid kon projecteren. Hij noemde dit een “character marker”. De Sensorama was een machine die stereoscopische filmbeelden combineerde met geluid, trilling en geur, wat ook als Augmented Reality aangemerkt kan worden. De daarop volgende decennia werden er diverse headsets ontwikkeld die beter passen in het VR domein, maar wel een rol hebben gespeeld in de ontwikkeling van Augmented Reality. In 1981 zagen we voor het eerst grafische weerpatronen over kaarten van de aarde tijdens weerberichten op de televisie, dit behoort tot de eerste publiekelijke vertoningen van AR. In de film The Terminator uit 1984 krijgen we de beelden te zien die de T-800 Androïde, gespeeld door Arnold Schwarzenegger, informatie verschaffen over de situatie om zich heen. Drie jaar later werd er een prototype van een dergelijk systeem in de werkelijkheid gemaakt voor Douglas George en Robert Morris als onderdeel van een telescoop.

De term “Augmented Reality” kwam bijna een eeuw nadat de eerste beschrijving van het concept werd genoteerd, in 1990 bedacht Thomas P. Caudell deze uitdrukking. In 1992 werd het eerste AR systeem ontwikkeld door Louis Rosenberg voor de Amerikaanse luchtmacht. Een jaar later kwam de ontwikkeling in een stroomversnelling, met AR beelden die afval in de ruimte kon weergeven, het KARMA systeem en AR voertuigen ontwikkeld door Loral WDL. Gamers konden in 2000 ARQuake spelen, een Augmented Reality versie van het beroemde spel Quake. In 2008 werd de Wikitude AR Travel Guide geïntroduceerd op de G1 Android smartphone. Een jaar later zou de AR browser van het Nederlandse bedrijf Layar volgen. In 2013 introduceerde Google hun eerste Augmented Reality bril “Google Glass”, bedrijven als Lumix en ODG kwamen met soortgelijke smartglasses op de markt. Niantic kwam in 2012 met Ingress op de markt, een mobiel Augmented Reality spel gebaseerd op geografische locatie. In 2015 werd de technologie achter dit spel gebruikt in Pokémon GO, een mobiel spel dat inmiddels meer dan 750 miljoen keer gedownload is. In 2017 lanceerde Apple hun Augmented Reality platform ARKit, in combinatie met het iOS 11 mobiele besturingssysteem voor iPhones en iPads.

Belangrijke gebeurtenissen in AR

Er is vaak discussie tussen Apple en Android gebruikers welk merk of product “het eerste” was. In praktijk betekent “First to Market” niet altijd dat een merk of bedrijf de eerste was die een innovatie bedacht heeft. Daarnaast zijn de meeste vernieuwingen evoluties van bestaande concepten. Hier zijn enkele interessante gebeurtenissen die belangrijk zijn geweest in de ontwikkeling van Augmented Reality.

  • The Terminator: deze film werd al genoemd in de historie van AR, de wijze waarop de Androïde kijkt naar de wereld is een voorloper van Augmented Reality zoals we deze nu zelf in werkelijkheid kunnen gebruiken. Het is niet de eerste keer dat Sci-Fi verhalen geleid hebben tot echte producten en innovaties, in het hele Cyberpunk genre vinden we vele toekomstvoorspellingen die we nu terugzien in VR, AR en MR technologie.
  • ARQuake: Quake is een legendarisch 3D spel voor de PC, van hetzelfde team dat ook verantwoordelijk was voor Doom en Wolfenstein 3D. ARQuake was een PC experiment waarin de Quake karakters tot leven kwamen in de echte wereld. Naast een interessante technische demonstratie heeft het inspiratie gegeven voor een nieuwe generatie AR spellen. Het is overigens interessant om te zien dat John Carmack, de voornaamste kracht achter de originele Quake, later aan het begin zou staan van Oculus VR, de Virtual Reality headset die indirect ook de populariteit van AR heeft aangewakkerd.
  • Layar: Dit Nederlandse bedrijf behoorde in 2009 tot de pioniers in Augmented Reality toepassingen. Ze ontwikkelde een AR browser die beelden over het camerabeeld van de smartphone kon weergeven. Later werd er ook beeldherkenning aan toegevoegd waarbij markers niet meer nodig waren. Ondanks de relatief grote populariteit van Layar werd dit bedrijf in 2014 opgekocht door de Britse concurrent Blippar. De merknaam bestaat nog steeds, maar de populariteit lijkt een stuk minder te zijn dan voorheen.
  • Nintendo Wii: Deze spelcomputer was een grote gok voor het Japanse bedrijf die we vooral kennen van Mario. In plaats van een standaard spelcontroller werd er gebruik gemaakt van een controller die beweging kon registreren. De positiebepaling was mogelijk dankzij een Infrarood zender in de controller in combinatie met een ontvanger op de televisie. Het was student Johnny Lee die met de eerste “Wii Hacks” kwam. Later zou hij voor Microsoft aan het Kinect systeem werken, een camera met diepte weergave. Daarna stapte hij over naar Google om daar het Tango project te leiden waar nu AR Core uit voortgekomen is.
  • PrimeSense: De technologie in de Kinect camera voor de Microsoft Xbox werd later gebruikt voor de Mixed Reality headset HoloLens van Microsoft. PrimeSense ontwikkelde de technologie die het Kinect systeem mogelijk maakte. In 2013 werden zij opgekocht door Apple. Het was in eerste instantie niet duidelijk wat een bedrijf met zoveel ervaring in 3D registratie bij Apple deed, tot in 2017 de nieuwe iPhone X werd aangekondigd met dieptesensor. Deze sensor wordt gebruikt ter vervanging van de vingerafdruk verificatie en zou veel nauwkeuriger werken. De iPhone X werd door Apple in de markt gezet als Augmented Reality smartphone.
  • ARKit: Naast de hardware was het ontwikkelplatform van Apple ook van groot belang voor het nieuwe iOS 11 besturingssysteem. Hiermee werd het eenvoudiger dan ooit om Augmented Reality applicaties te maken. Daarnaast heeft Apple een grote controle over de hardware van iPhones en iPads. Hiermee creëren ze een enorm platform van AR hardware in de markt, waar ontwikkelaars en bedrijven gebruik van kunnen maken.
  • Niantic: In een lijstje met belangrijke gebeurtenissen in AR mag Niantic zeker niet ontbreken. Dit bedrijf werd opgericht in 2010 als een interne startup binnen Google. In 2012 kwam hun eerste locatie gebaseerde spel uit, genaamd Field Trip. Dit was een zoekspel in de echte wereld. Deze game werd opgevolgd door Ingress, hetzelfde concept maar dan met Augmented Reality functionaliteit. Het was de bedoeling Ingress te gebruiken als voorbeeld om voor andere bedrijven dergelijke zoekspelletjes te ontwikkelen. Toen het bedrijf Google verliet stonden Nintendo en The Pokémon Company klaar om te investeren. Het resultaat was Pokémon GO, de meest succesvolle Augmented Reality applicatie ooit.

Augmented Reality producten

De toepassingen voor AR hangen sterk af van de hardware die gebruikt wordt. Hieronder staan de voornaamste AR producten die momenteel verkrijgbaar zijn.

Smartphones

De smartphone die we (bijna) allemaal dagelijks overal mee naartoe nemen is eigenlijk een draagbare computer met ingebouwd scherm. De processorkracht is vergelijkbaar met standaard PC’s van hooguit enkele jaren geleden. Naast de processor en het beeldscherm zijn deze toestellen uitgerust met moderne hardware zoals een camera, GPS en rotatie detectie. Dit zijn allemaal elementen die zeer goed van pas komen bij Augmented Reality toepassingen. Daarnaast is de software ook van belang, met de introductie van ARKit van Apple en AR Core van Android is de ontwikkeling van smartphone apps in een stroomversnelling geraakt, de integratie met de Unreal Engine 4 maakt het mogelijk om hoge kwaliteit 3D beelden weer te geven wat vooral voor spellen uitkomst biedt. Positiebepaling wordt voor een groot deel gerealiseerd door beeldherkenningssoftware.

Apple noemt de iPhone X de “eerste smartphone die gemaakt is voor Augmented Reality”, toch kwam de Lenovo Phab 2 Pro al een jaar eerder op de markt met ondersteuning voor Google Tango.

Smartphone houders

De HoloLens voor Microsoft is een Mixed Reality headset met ingebouwde computer die geheel draadloos werkt. De instapprijs van 3000 dollar maakt het voor de meeste mensen vooralsnog geen cadeautje voor onder de kerstboom. Daarom komen er regelmatig smartphone houders op de markt die van een standaard smartphone een AR headset maken. De Aryzon is een kartonnen houder, de Mira Prism is een iets luxere uitvoering van kunststof, en de Lenovo Mirage AR headset is een smartphone houder met een speciale controller om diverse Star Wars games mee te spelen. Het voordeel van deze houders ten opzichte van kijken naar het normale smartphone scherm is de stereoscopische 3D optie. Daar staat tegenover dat diep zwart niet kan worden weergegeven.

Tablets

Vanwege het grotere scherm zijn er diverse toepassingen die meer geschikt zijn voor tablet computers dan voor smartphones. Het voordeel van een mobiel apparaat wordt gecombineerd met een groter beeld wat ook samenwerken en samen spelen eenvoudiger maakt. Alle voordelen van smartphone AR blijven bestaan, het is wel een zwaarder en groter apparaat waardoor je beide handen nodig hebt om het apparaat voor lange tijd te ondersteunen. Tablets zijn wel ideaal voor winkel displays met AR functionaliteit.

Smartglasses

Dit zou de toekomst kunnen zijn voor Augmented Reality, in plaats van een smartphone in de hand dragen we een computer op ons gezicht. Alle voordelen van smartphone AR en de mogelijkheid handsfree te werken. Dit kan via gebaren voor het oog van de camera, spraakbesturing of knoppen op het montuur. Het beeld wordt voor de ogen van de gebruiker geprojecteerd middels een klein LCD scherm en een prisma in het frame. Er zijn modellen met één scherm en ook met twee schermen voor een 3D weergave. Je kunt dit soort smartglasses de hele dag dragen waarmee het een soort van persoonlijke assistent wordt. In 2013 kwam Google met de Google Glass, maar door beperkingen in de technologie en het gebrek aan interesse bij de consument is de verkoop van deze AR bril in 2015 gestaakt. Bedrijven als Epson, Lumix en de Osterhout Design Group hebben meer succes geboekt in de industriële markt met hun smart glasses. Deze AR brillen werken vrijwel altijd op basis van het Android besturingssyteem.

HUD (Heads Up Display)

Deze vorm van AR projectie wordt op dit moment vooral toegepast in de automotive industrie. Zo kun je met een speciale voorruit relevante informatie zien, zonder je ogen van de weg te halen. Je ziet navigatie op straat, door de virtuele afstand te bepalen lijkt het alsof de bewegwijzering echt op het asfalt ligt, in plaats van een projectie op de vooruit. Het is overigens mogelijk dat VR brillen meer geschikt zijn dan HUD’s. De prijs van een HUD ligt erg hoog, daarnaast ligt het aantal toepassingen van een ingebouwd scherm veel lager dan een mobiele, slimme bril.

Mixed Reality headsets als de Microsoft Hololens en de Meta 2 van Meta zijn specifiek gemaakt voor Mixed Reality toepassingen en passen niet goed in dit artikel over Augmented Reality. Dat geldt ook voor VR headsets zoals de Oculus Rift, HTC Vive, Google Cardboard en Samsung Gear VR, al zijn er voor deze systemen wel apps die gebruik maken van een “doorkijk” effect wat overeenkomt met AR projectie. Magic Leap is een bedrijf dat ook werkt aan een AR / MR bril, maar die hebben op het moment van schrijven nog geen product op de markt gebracht. Daarnaast zijn er plannen vanuit verschillende bedrijven als Google en Sony voor Augmented Reality contactlenzen, maar dat is nog vooral toekomstmuziek.

Augmented Reality toepassingen

De technologie is slechts één zijde van de munt, aan de andere zijde zijn er de toepassingen. Hoewel er al jarenlang AR applicaties worden ontwikkeld voor mobiele apparaten zijn dit vooral kleinschalige experimenten geweest, of sector specifieke oplossingen. Met de introductie van Project Tango, Microsoft HoloLens, Apple ARKit en Google AR Core zien we plotseling een explosieve groei van Augmented Reality toepassingen in de praktijk. Hier zijn een aantal voorbeelden van toepassingen waar we nu al gebruik van kunnen maken.

AR thuis winkelen

Door online winkelen komen we steeds minder in de fysieke winkel. Bij online shopping kan de platte weergave wel een beperking zijn. Met AR winkelen is dit verleden tijd, zo kun je kleding in een virtueel pashokje aantrekken via het scherm van een smartphone, je kunt meubels op ware grote in jouw huiskamer plaatsen voordat je ze bestelt en je kunt jouw gezicht voorzien van virtuele make-up die je vervolgens aan het winkelmandje kunt toevoegen. Jouw smartphone of tablet is een virtueel winkelcentrum geworden.

AR games

Het is logisch dat computerspellen het succes van Augmented Reality voor een groot deel zullen bepalen. Pokémon GO is het meest aansprekende voorbeeld, maar er komen steeds meer AR games die werkelijkheid en fictie met elkaar verweven. Zo zijn er al meerdere zombie spellen waarin je wandelende lijken van je af moet houden. In het park bijvoorbeeld, of bij jou voor de voordeur terwijl je virtuele planken voor je eigen deur timmert. Met nauwkeurige positiebepaling kun je ook rijen met virtuele dominostenen neerzetten door het hele huis zonder de frustratie dat er een steentje voortijdig omvalt. Er wordt al gewerkt aan “god games” waarin je mensen, dieren en monsters bij jou aan tafel van bovenaf kunt bekijken om ze te redden, of juist in de vernieling te helpen. Met speciale accessoires zoals neppistolen met een smartphone houder kun je de spelervaring nog intenser maken.

AR navigatie

Dit is een zeer vanzelfsprekende toepassing voor Augmented Reality. In de auto kun je precies zien welke kant je op moet rijden, zonder naar het middenconsole te kijken. Dat kan autorijden veel veiliger maken. Naast een HUD scherm op de voorruit, kun je deze toepassing ook uitvoeren met smartglasses. Uiteraard ben je niet beperkt tot de auto, je kunt ook te voet navigeren. Zo zie je pijlen op de straat wanneer je de dichtstbijzijnde lunchroom zoekt, ook op vliegvelden wordt er al gebruikt gemaakt van AR navigatie om de juiste gate te vinden. Naast het in kaart brengen van de wereld buiten, kun je met steeds meer kaarten apps in winkelcentra navigeren.

AR handleidingen

Een handleiding kan een dikke pil zijn, en dan kom je er nog niet uit. Met AR handleidingen begrijp je eindelijk hoe je dat kastje van de IKEA in elkaar moet zetten, en je ziet direct waar je de koelvloeistof moet bijvullen in jouw nieuwe auto. Met dit soort handleidingen kun je veel visueler werken dan voorheen, met interactieve informatie die direct op zichtbaar is op de plek waar je dit nodig hebt. Monteurs maken steeds meer gebruik van AR handleidingen, vaak in combinatie met een AR bril waarmee ze beide handen vrij kunnen houden tijdens de werkzaamheden.

AR promotie

Hoe presenteer je een product dat nog niet bestaat? Of hoe kun je erachter komen of die nieuwe auto bij jou in de garage past? Met Augmented Reality promotie kun je klanten kennis laten maken met nieuwe producten op afstand. Het kan op verschillende manieren; zo kun je van een standaard etalage een virtuele etalage maken waarbij elke voorbijganger een gepersonaliseerde aanbieding te zien krijgt op basis van gebruikersgegevens. Je kunt op afstand een voorproefje geven van een nieuwe dienst of product. Het is ook heel eenvoudig om bijvoorbeeld een virtuele bank in honderd kleuren te laten zien, dat is in een showroom vrijwel onmogelijk.

AR geografische informatie

Mobiele apparaten zijn behoorlijk goed in het bepalen van de positie, dat is een functie waar Pokémon GO slim gebruik van maakt. Er zijn al diverse AR apps waarmee je op specifieke locaties een melding kunt achterlaten. Zo kun je de babysitter op de hoogte stellen van de producten die ze wel of juist niet mogen opeten in huis, of je plaatst een “onzichtbare” graffiti op een muur in de stad. Je kunt zo speurtochten uitzetten zonder de wegen te bekladden. Het kan ook handig zijn voor jezelf om virtuele notities te bewaren op specifieke locaties.

AR design

Er wordt al langer gebruikt gemaakt van Virtual Reality om te tekenen, schilderen en boetseren in drie dimensies. Met Augmented Reality kun je deze objecten in de ruimte plaatsen wat ontwerpen heel anders maakt. Je kunt dankzij positionele bepaling om objecten heen lopen, het is ook mogelijk om met meerdere personen op afstand aan hetzelfde project te werken. Omdat je niet langer bent afgesloten van de buitenwereld zoals dat bij VR het geval is, kun je communiceren met andere personen in de ruimte.

AR Muziek

Hoewel de focus bij Augmented Reality vooral ligt op visuele informatie, mag geluid ook zeker niet ontbreken. Daar werd bij de Sensorama al gebruik van gemaakt in de jaren vijftig van de vorige eeuw. Op het gebied van muziek en audio zijn er al diverse toepassingen die erg interessant zijn. Zoals virtuele instrumenten op basis van markers. Richt het oog van de camera op een afbeelding en je ziet een interactief instrument verschijnen. Zo kun je van elke oppervlakte, op elke locatie een muziekinstrument maken. Geluid wordt weergegeven in golven, waveforms. Zo kunnen we geluid zichtbaar maken. Er zijn al experimenten uitgevoerd met audio opnames in de ruimte. De smartphone neemt geluid op en registreert daarbij de positie in de ruimte. Dit zie je als een soort wolk in de ruimte zweven. Wanneer je op een specifiek punt in deze wolk loopt hoor je de audio die bij dat punt in tijd en ruimte hoort. Zo kun je tijd, plaats, beeld en geluid met elkaar combineren voor een zeer bijzonder effect.

AR in de logistiek

De Google Glass werd niet enthousiast ontvangen bij de consument, binnen de industrie en logistiek worden AR brillen wel veel gebruikt wat tijd en kosten bespaart. Denk bijvoorbeeld aan orderpickers die niet meer op een scanner hoeven te kijken, maar direct alle informatie voor hun ogen zien. Ga naar die stelling, op dat nummer, de werknemer ziet de juiste route op de vloer. Scannen gaat automatisch dankzij de ingebouwde camera, en bij vragen kan er een oproep via spraakbesturing worden gemaakt naar een collega. Deze technologie heeft volgens praktijktesten al geleid tot een besparing in tijd tot wel dertig procent. Naast de besparing van tijd en kosten houdt de werknemer zijn of haar handen vrij om werkzaamheden te verrichten. Meer over AR in de logistiek.

AR voor personeelstraining

Instructie geven aan personeel gaat sneller en efficiënter met Virtual Reality en Augmented Reality. Zo kun je nieuwe werknemers laten oefenen met AR simulaties, je kunt de uitgangspositie steeds opnieuw herhalen wat bij een praktijkoefening niet altijd mogelijk is. Bij dit soort instructie wordt er ook regelmatig gebruik gemaakt van haptic feedback controllers. Dit zijn controllers die bijvoorbeeld trillen om de gebruiker het gevoel te geven dat ze in aanraking komen met een fysiek voorwerp. Dit kan een standaard controller zijn die je moet vasthouden, of een speciale handschoen die zelfs de temperatuur kunnen bepalen.

AR voor medische toepassingen

De medische sector heeft enorm veel baat bij VR en AR technologie. Zo worden er al operaties uitgevoerd met Augmented Reality headsets en tablets waarmee de chirurg net als superman door het lichaam kan kijken met virtuele projectie. Het is ook mogelijk om delen van het lichaam aan te passen, zo kun je bij een borstvergroting de nieuwe maat eerst op jouw lichaam laten projecteren om een beeld te krijgen van het resultaat. De letterlijke schaalbaarheid is ook een groot voordeel van virtuele weergave. Met een realistisch model van een menselijk hart kan de medisch student dit hart uitvergroten om ieder detail te bekijken vanuit elk gewenst standpunt. Het is zelfs mogelijk voor meerdere personen om dezelfde objecten tegelijkertijd te bekijken, ieder vanuit hun eigen perspectief.

Dit zijn slechts enkele toepassingen in de praktijk, voor een medium dat eigenlijk slechts enkele jaren veelvuldig wordt gebruikt. De komende jaren zullen het aantal toepassingen exponentieel toenemen. Naast de verbeterde hardware en software speelt de creativiteit van de ontwikkelaars een belangrijke rol. Bij elk nieuwe medium moeten creatieve mensen de mogelijkheden en grenzen verkennen om zo nieuwe toepassingen te bedenken.

Belangrijke technologie

Augmented Reality is mogelijk door een aantal verschillende technologieën met elkaar te combineren. Hier zijn enkele elementen die van groot belang zijn voor AR toepassingen:

SLAM

Simultaneous Location And Mapping wordt gebruikt om een kaart samen te stellen van een onbekende ruimte, terwijl de positie van het apparaat dat de locatie bepaalt wordt geregistreerd. Zo is het mogelijk een virtueel karakter op tafel neer te zetten, naar een andere kamer te lopen, en wanneer je weer terugkeert staat dat poppetje nog steeds op tafel. Met alleen beeldherkenning is dat niet mogelijk. SLAM wordt ook gebruikt in bijvoorbeeld auto’s die autonoom kunnen rijden.

Point Cloud

Dit een een 3D veld van referentiepunten in de ruimte. Door objecten te herkennen kan een apparaat bepalen hoe groot een kamer is, welke voorwerpen erin staan en zo een collectie aan referentiepunten samenstellen waarmee je AR informatie op heel specifieke plekken kunt positioneren. Wanneer je bijvoorbeeld een virtuele stoel op de vloer plaatst zal deze niet door de vloer vallen.

Kunstmatige intelligentie

Artificial Intelligence of AI speelt een steeds belangrijkere rol in het dagelijks leven. Zo kan Google bijvoorbeeld bepalen dat je naar informatie zoekt zonder de specifieke woorden te gebruiken. AR kan nieuwe informatie in context plaatsen en daar een conclusie uit trekken. Een belangrijk verschil tussen beeldherkenning en spraakherkenning met en zonder AI is het vermogen nieuwe informatie toe te voegen aan bestaande informatie. Zo kan een camera jouw gezicht herkennen, of een spraakassistent kan steeds beter jouw stem en dialect verstaan. Overigens wordt de lat voor AI steeds hoger gelegd, zodra een machine een nieuwe vaardigheid heeft geleerd wordt snel de stelling ingenomen dat het toch niet echt intelligent is. In Augmented Reality spelen AI algoritmes een belangrijke rol.

ARKit en AR Core

Er worden al sinds 2008 Augmented Reality toepassingen voor mobiele smartphones ontwikkeld. Dit waren vaak applicaties op basis van eigen software waardoor de kwaliteit vaak te wensen overliet, en de ontwikkeling traag verliep. In 2014 kwam Google met Project Tango, een Mixed Reality platform voor mobiele toestellen op basis van specifieke hardware. Er waren helaas erg weinig toestellen die gebruik konden maken van deze technologie. Apple kwam in 2017 met ARKit, een platform binnen het mobiele iOS 11 besturingssysteem die de ontwikkeling van AR apps een stuk eenvoudiger maakt, omdat de bouwstenen voor app development direct beschikbaar zijn. Daarnaast was er het voordeel dat ARKit meteen bruikbaar was op honderden miljoenen mobiele apparaten van Apple.

Ongeveer een maand voor de introductie van de nieuwe iPhone besloot Google om hun eigen AR systeem voor Android toestellen vrij te geven onder de naam AR Core. Dit was in feite gelijk aan Tango, maar zonder de noodzaak voor een camera die diepte kan registreren. De functionaliteit tussen ARKit en AR Core komt sterk overeen, met het grote verschil dat ARKit alleen geschikt is voor Apple producten, en AR Core alleen voor Android producten. Overigens zijn er wel technische eisen aan het AR Core platform waarmee je niet op elk Android toestel gebruik kunt maken van dit Augmented Reality platform. ARKit werkt in theorie met alle mobiele Apple apparaten met een 64bit processor en iOS11.

De namen lijken sterk op elkaar, daarnaast is er ook nog ARToolKit, een Open Source library voor de ontwikkeling van Augmented Reality applicaties die naast Linux en Windows ook beschikbaar is voor Apple iOS en Google Android. ARToolKit stamt uit 1999, dus ver voor de systemen van Apple en Google.

Leuk om te weten: Arkit is tevens een dorpje in Kyrgyzstan, met een kleine 1100 inwoners. Het dorpje staat bekend om het Sary-Chelsea natuurreservaat.

Toekomst van Augmented Reality

De ontwikkelingen op het gebied van AR zijn de afgelopen jaren in een stroomversnelling gekomen, naast de grote namen in de technologiesector komen er ook veel nieuwkomers met innovatieve ideeën. Het is daarom moeilijk om duidelijke prognoses te maken voor de toekomst van Augmented Reality. Waarschijnlijk zal AR zoals we die nu kennen meer richting MR ofwel Mixed Reality groeien met een volledige 3D weergave op basis van absolute positiebepaling. Door een combinatie van hardware en software is er nu al veel mogelijk op dit gebied. De VR en AR werelden zullen ook steeds dichter naar elkaar toegroeien. Met een slimme bril die niet alleen beelden over de werkelijkheid kan leggen, maar ook een beeldvullende weergave biedt kun je spreken van een AR / VR combinatie headset.

Wat de grote spelers op de markt betreft is voorspellen erg lastig. Binnen de industriële sector zijn het minder bekende merken zoals Lumix en ODG die nu een behoorlijk marktaandeel vertegenwoordigen, ook Epson timmert hard aan de weg. Google is bezig met een professionele opvolger van de Google Glass die ook speciaal voor professionals is ontwikkeld. Apple heeft duidelijk aangegeven dat de toekomst in AR technologie schuilt en niet in VR. Facebook sprak zich voorheen duidelijk uit voor VR maar hebben nu hun strategie aangepast op het plotselinge succes van spellen als Pokémon GO en ook zeker hun directe concurrent Snapchat.

Wat betreft Snapchat, dit blijft een underdog in social media apps, het is dan ook ironisch om te zien dat zij met een dansende hotdog de eerste Augmented Reality superster hebben gelanceerd. Ook met de gezichtsfilters was Snapchat als eerste, daarna kwam Facebook en Apple presenteerde hun eigen gezichtsfilters als onderdeel van hun nieuwe iOS 11 systeem op de iPhone X. Snapchat heeft als hun eerste hardware product een videobril uitgebracht genaamd “Spectacles”, waaraan je na het maken van filmopnames diverse AR tekeningen, tekst en plaatjes kunt toevoegen.

Op dit moment is Magic Leap de grote onbekende factor. Met een waarde van pakweg 6 miljard is dit met afstand de grootste startup in de opkomende AR / MR sector. Hoewel het bedrijf al bestaat sinds 2010 hebben ze nog geen enkel product op de markt gebracht. Naar alle waarschijnlijkheid zijn ze van plan een soort Mixed Reality bril op de markt te brengen aan het begin van 2018. Of dit de “disruptive” technologie gaat worden waar we op zitten te wachten is onbekend.

Apple mag niet onbenoemd blijven, hoewel ze zeker geen voorloper zijn wat betreft AR technologie, hebben ze met ARKit wel een grote inhaalslag gemaakt. Met name het feit dat ARKit niet alleen werkt met de nieuwste iPhones, maar ook met oudere modellen en iPads kan een grote impact hebben op deze gehele sector. Uiteindelijk is het de marktpenetratie wat AR tot een succes kan maken.