AR: Augmented Reality
Augmented Reality, een term die men steeds vaker voorbij ziet komen en een hoop nieuwsgierigheid weet los te maken bij het grote publiek. Zo staat men dikwijls versteld van hoe snel het zijn intrede heeft weten te maken in de digitale wereld van vandaag en wat er zo allemaal al wel niet mogelijk is. In dit artikel een korte uiteenzetting van deze techniek en vooral waarom deze ontwikkelingen ontzettend van waarde kunnen zijn in de toekomst; hoe het onze huidige arbeidsethos kan aanvullen en dat we ons nog lang niet al deze mogelijkheden kunnen voorstellen.
“I regard Augmented Reality as a big idea like the smartphone. It’s for everyone. It’s huge.”
Tim Cook, Apple.
Geschiedenis
Als we terugkijken kunnen we stellen, dat voor het eerst gesproken werd over virtual reality in 1901 ‘A boy with a pair of spectacles that allow him to see superimposed images on people’s foreheads.’ uit het boek ‘The Master Key’ van L. Frank Baum dat men kent van The Wizard of Oz.
Het verhaal gaat over de avonturen van een 15-jarige jongeman die experimenteert met elektriciteit en per ongeluk ‘The Master Key of Electricity’ aanraakt. Zo gezegd, de eerste vermelding. Hierna komt AR nog verscheidende keer terug in tal van boeken en films.
In 1968 wordt de eerste daadwerkelijke stap gezet in het verwezenlijken van AR, zo weet de Harvard professor en computer wetenschapper Ivan Sutherland samen met student Bob Sproull het ‘Sword of Damocles’ te ontwikkelen. Het eerste scherm verwerkt in een headset van waaruit de eerste AR experience ontstond. Het scherm was zo zwaar, dat het nodig was deze aan het plafond te hangen; dat was ook één van de redenen waar zijn naam vandaan kwam, een indrukwekkende verschijning. Daarbij was het natuurlijk een vrij primitieve ervaring in termen van realisme, interface en graphics. Doordat de scheiding tussen AR & VR nog niet geheel duidelijk was en vanwege de beperkte capaciteiten, wordt gesteld dat beide zijn technische geboorte vonden in deze gebeurtenis
Vanaf dat punt zijn de ontwikkelingen hard gegaan, maar dat we pas sinds kort te maken hebben met een grote sprong in de mogelijkheden en hoogwaardige toepassing, heeft alles te maken met de ontzettend grote ontwikkelingen in digitalisering en computertechnologie. We bezitten nu de technieken die op grote schaal de enorme rekenkracht die AR met zich mee brengt kunnen verwerken. Dit heeft alles te maken met ‘Moore’s Law’ (1965) die doelt op de ontwikkeling van de computerchip met betrekking op de capaciteit en grote die elk 1,5 jaar exponentiel doet stijgen. En deze lijkt vandaag de dag zelfs nog niet volledig gestopt! De telefoon die wij nu in onze handen hebben, hadden wij onszelf niet kunnen voorstellen zo’n 30 jaar geleden. Zelfs wat dit toen zou kosten even buiten beschouwing gelaten. – Een waarde van 1 miljoen dollar volgens Peter H. Diamandis & Steven Kotler, uit Abundance 2012 –
De afgelopen zes jaar is er enorm geïnvesteerd door bedrijven als Facebook (Oculus), Samsung, Sony, HTC en Google. Daar zijn AR & VR geregeld in één adem genoemd, maar een verschil is er wel degelijk. Wij focussen ons in dit artikel op de mogelijkheden van AR. Augmented Reality, simpel gezegd een digitale laag ‘layer’ over de realiteit zoals wij die zien; de wereld zoals die is, tegenover VR Virtual Reality, waarin we volledig door een digitale wereld worden omgeven bij bijvoorbeeld het opzetten van een headset. In een volgend artikel ‘VR’ zullen we daar verder op in gaan.
Een grote stap in de ontwikkelingen werd gemaakt door de Canadese engineer, professor en uitvinder Steven Mann met zijn draagbare device Sixth Sense waarbij de fysieke wereld gecombineerd werd met het digitale. Zijn idee begon in 1990 en ontwikkelde het door tot het product wat gepresenteerd werd in 1998. Een interessante verschijning als draagbare device wat op de borst werd gedragen met een ingebouwde projector en camera. Bijna zo’n tien jaar later heeft de computerwetenschaper Pranav Mistry de technologie doorontwikkeld en presenteerde zijn baanbrekende toepassingen in zijn veel greprezen TED-Talk, wat samen met de Sixth Sense technologie bijdroeg aan zijn bekendheid en die van de toepassing bij het grote publiek. Bedrijven als Microsoft, Samsung en Google wisten zich al aan hem te verbinden.
Veel AR technieken die we nu kennen, zijn ook daadwerkelijk ontwikkeld en toegepast voor onderhoud ‘maintenance assistance’ waar er een extra digitale laag wordt gecreëerd om bepaald onderhoud of reparaties uit te voeren. Zo wordt gesteld dat Boeing begin jaren ’90 het eerste prototype ontwikkelde om medewerkers te ondersteunen met een display bij het vervaardigen van de verbindingen van kabels in de ontwikkeling van één van hun vliegtuigen destijds. Een voorbeeld waar ook onze focus ligt met het project AR 4 SMART MO:
‘Het toepassen van Augmented Reality als informatie- en communicatietool tussen bouwpartners in BIM gemodelleerde bouwprojecten.’
Door de hierboven omschreven ‘snelle’ ontwikkelingen, hebben we de techniek en toepassing voorhanden om hier net als bij Boeing de eerste stappen in te maken.
Zo rond 2009 kwamen de eerste serieuze tools op de markt die ontwikkelingen op dit gebied weer in een nieuwe stroomversnelling hebben gebracht, te denken aan AR Toolkit en het nu minder bekende SiteLens. Waarna in 2013 Google met de Google Glass op de markt kwam, daaropvolgend in 2016 Microsoft met een redelijk prijzige HoloLens. Deze laatste had legio aan mogelijkheden waardoor de HoloLens al in veel uiteenlopende mogelijkheden is ingezet. De techniek liet zijn eerste veelbelovende mogelijkheden zien. De potentie om daadwerkelijk bij te kunnen dragen aan de ondersteuning van medewerkers bij een variété aan mogelijkheden. Hierbij kunnen we denken aan efficiëntie, veiligheid, kostenbesparing en pionieren op zichzelf.
Mogelijkheden
In de uiteenzetting van de geschiedenis kwamen al een aantal mogelijkheden naar voren en men zal zich niet verbazen dat deze in korte tijd aanzienlijk zijn toegenomen. De mobiele devices waarover we tegenwoordig beschikken, zijn prima uitgerust om AR te kunnen gaan toepassen tezamen met de verschillende headsets die op de markt zijn gekomen. Zo was de HoloLens al enkele jaren op de markt – inmiddels staat de HoloLens 2 op het punt van uitkomen en zal nog meer te bieden hebben.
Vorig jaar, mei 2019, heeft Oculus de ‘Quest’ uitgebracht en het interessante is, dat deze een camera aan de voorkant heeft geïmplementeerd, waardoor AR ook via deze device in potentie kan worden toegepast. (Momenteel niet). Zo is er begin dit jaar de optie ontwikkeld om bij het gebruik van de Quest de beweging van de vingers te kunnen tracken. Dit maakt het mogelijk om bij het gebruik digitale voorwerpen daadwerkelijk op te de kunnen pakken of te bewegen. Een intelligent stukje AR/VR (XR). Vanwege de constante updates die Oculus aanbiedt en de goede specificaties, heeft ook de Quest in zijn segment naast de HoloLens nog veel te bieden in de aankomende toekomst; en nog belangrijker, ze zijn betaalbaarder ten opzichte van zijn voorgangers. Een andere device die van belang is te vermelden, is de Magic Leap; we verwachten hier later in een aanvullend artikel nog uitgebreider op in te gaan. Maar gezien de prijs een stevige investering, zo’n 2,500 Euro.
Waar liggen voor AR nou precies de mogelijkheden? Dat is op het gebied van onderhoud, entertainment, educatie, health en psychologische behandelingen. [1] Onze focus zal liggen op onderhoud (maintenance & operations) maar de hierboven beschreven categorieën behoeven zeker toelichting, gezien het feit dat deze op bepaalde vlakken verbonden zijn met elkaar. Bij onderhoud kunnen we denken aan bijvoorbeeld de casus omschreven bij Boeing in de jaren 90.
[1] The Past, Present, and Future of Virtual and Augmented Reality Research: A Network and Cluster Analysis of the Literature.
Entertainment maakt al snel de link naar games en het meest tot de verbeelding sprekende voorbeeld is Pokémon Go. Deze ‘hype’ is denk ik weinig mensen ontgaan en het was ook een perfect voorbeeld van wat AR kon doen en wat het voorstelde. Met behulp van de mobiele telefoon kon ieder die een account had aangemaakt, opzoek gaan naar de honderden karakters uit Pokémon, door enkel de locatie te delen met de telefoon en zo in kaart te brengen waar de Pokémon zich bevond. Dit resulteerde in een massale toestroom van fans die de app gebruikte op weg naar locaties waar zich bijzondere Pokémon’s bevonden. Bijkomstigheid was dat een grote groep gameliefhebbers plots naar buiten gingen, daar waar ze voorheen toch geregeld achter hun computer zaten.
Educatie is een domein dat hard aan het groeien is en ervoor kan zorgen met behulp van AR dat er objecten naar het klaslokaal gebracht kunnen worden die normaal gezien niet mogelijk zijn. Een 3D object van bijvoorbeeld een bijna uitgestorven zoogdier of de gehele anatomie van het menselijke lichaam waar men dan vervolgens omheen kan lopen. De mogelijkheden zijn daarin eindeloos. Voeg daar een interactieve laag aan toe en educatie wordt naar een hoger plan getild. Onder interactief verstaan we de mogelijkheid interactie te hebben met het object door vragen te beantwoorden of eigenschappen van het model te veranderen.
Healthcare
Op het gebied van healthcare zijn een flink aantal toepassingen ontwikkeld met betrekking tot training, ondersteuning en op het gebied van serious games. Games ontwikkeld speciaal voor het aanleren van vaardigheden. Maar bijvoorbeeld ook instructies of juist het lokaliseren van defibrillators in een omgeving waar de telefoon zich bevindt. Zo zijn er zelfs al mogelijkheden operaties te simuleren of personeel te ondersteunen bij operaties. Maar ook het intensief onderzoeken van organen binnen of buiten het lichaam, de anatomie. Een aantal anatomie apps voor de telefoon zijn zelfs al beschikbaar in de Google Play store en de Apple App Store. Over het algemeen zijn deze al te verkrijgen bij de huidige AR/VR headsets die op de markt beschikbaar zijn.
Psychologie
De onderzoeken in AR in de psychologie zijn de afgelopen jaren sterk aan het toenemen, waar veel focus ligt op fobieën. Hier kan men denken aan buitengewone angsten voor dieren of insecten, neem bijvoorbeeld spinnen of honden. Op een veilige manier kan de confrontatie gefaseerd en onder goede begeleiding plaatsvinden. Doordat de AR zich steeds meer waarheidsgetrouw heeft kunnen ontwikkelen, kunnen we honden of spinnen tonen via een digitale laag aan de realiteit. Dit heeft aanzienlijk effect op het terugdringen of zelfs het laten verdwijnen van de fobieën, zo wijzen vele studies uit.
Construction
De inkijk die dit artikel al geeft, schetst al een goed beeld van wat wij ons inmiddels allemaal voor kunnen stellen. Nu focussen wij ons in dit onderzoek op het toepassen van Augmented Reality als informatie-en communicatietool en dat heeft de afgelopen periode grote sprongen gemaakt, mede door de toegankelijkheid van makkelijk beschikbare software en hardware en dat steeds meer mensen uit eigen initiatief of in opdracht van een bedrijf zowel intern als extern AR ontwikkelen.
De ontwikkelkosten vallen hierdoor mee, mits natuurlijk de juiste mensen ‘in company’ zijn of aangesteld worden om AR applicaties op maat te maken. Zo’n belangrijk speler in deze software aanbieders is Unity3D, een programma dat van origine gebruikt werd voor het ontwikkelen van games en zich zo heeft weten te ontwikkelen tot één van de belangrijkste tools voor de ontwikkeling van AR. Door de intensieve door-ontwikkeling van dit softwarepakket Unity3D dat actief de verbinding zoekt met de sectoren, heeft zij deze positie behoorlijk weten te verstevigen.
Zo heeft Unity3D met bedrijven in de architectuur, met bouw-ontwerpers en engineers een product ontwikkeld om BIM modellen naar real-time 3D in AR modus te plaatsen of zelfs in de gehele omgeving, waardoor het BIM model te navigeren is. Door de directe koppeling met Autodesk Revit (een programma dat veelvuldig gebruikt wordt in het ontwikkelen van BIM modellen) kunnen de BIM modellen instant worden aangepast terwijl het BIM-model getoond wordt in de AR/VR omgeving.
En inderdaad, een vrij technisch verhaal maar buitengewoon waardevol en effectief voor constructie- werkers en ontwikkelaars. De digitale versie van het gehele gebouw op de nauwkeurigheid van het zogeheten BIM model dat direct zichtbaar is. Noodzakelijke informatie over onderliggende pijpleidingen, kritieke functionaliteiten tot aan specifieke raamvenster worden zichtbaar in Augmented Reality. Een enorme stap in de bouwsector, met name door de precisie van het BIM model.
Jaarlijks presenteert Unity3D tijdens hun event verschillende toepassingen die ontwikkeld zijn met behulp van hun software. De hoeveelheid Augmented Reality toepassingen zijn aanzienlijk gegroeid en maken een steeds groter deel uit van dit event, waaronder een grote industriële speler ABB die Augmented Reality heeft ingezet om de onderhoudsprocedures te optimaliseren in een volledig papiervrije manier. Met behulp van de Microsoft HoloLens hebben ze zich gefocust op een efficiënte User Interface (UI) waar het gebruikersgemak zo soepel mogelijk verloopt. Daarbij kunnen we denken aan een goed getest user-menu en logische opties in de workflow. Feedback van de gebruikers op de werkvloer waren één van de belangrijke onderdelen bij de ontwikkeling van dit project
Toekomst
Het doel van AR kunnen we volgens het Department of Information Technology van de Universiteit uit Jeddah, Saudi Arabië ook wel vertalen naar de simpele definitie:
‘Taken eenvoudiger maken door het toevoegen van virtuele informatie aan de echte omgeving. Een ander doel is het vergroten van inzichten in de communicatie met de echte omgeving’.
Met AR kunnen we dus niet alleen digitale objecten in de omgeving plaatsen, maar ook digitale informatie toevoegen aan de echte wereld. Het mag inmiddels duidelijk zijn dat Augmented Reality heel veel te bieden heeft en dat zien we ook om ons heen gebeuren. Meer en meer ideeën worden er gegenereerd door enthousiastelingen, bedrijven en educatie om processen te optimaliseren.
Ondanks het feit dat de mobiele telefoons bij het grote publiek inmiddels genoeg rekenkracht bevatten, zijn de mogelijkheden inmiddels groter dan we eigenlijk nu nog op echt grote schaal zien.
Hoe komt dat? Een interessant gegeven is, dat de arbeidsintensiteit van het ontwikkelen van AR nogal groot is met daarbij het gegeven dat er in verhouding nog niet veel ontwikkelaars zijn die het ontwikkelen volledig machtig zijn. De oplossingen die gecreëerd worden, dienen daarbij ook nog eens goed doordacht te zijn, willen ze van toegevoegde waarde zijn. Het is daarom ook goed dat er veel geëxperimenteerd wordt en er in online communities een grote bereidwilligheid is om de kennis met elkaar te delen. De software programma’s zoals bijvoorbeeld Unity3D, hebben bijna maandelijkse updates en maken het voor AR developers steeds gemakkelijker en efficiënter om te werk kunnen gaan. Op een gegeven moment ontstaat er een punt dat er genoeg kennis en een optimale infrastructuur is gecreëerd (denk aan telefoons, AR brillen, headsets, software) om de toepassingen op grote schaal uit te kunnen rollen.
Maar de toepassingen zijn vaak zo specifiek (denk er aan dat elk gebouw anders is), elk bedrijf heeft zijn eigen processen en niet elke branche heeft dezelfde wensen. Dit maakt dat er over het algemeen veel AR developers nodig zijn om in te kunnen spelen op al deze uiteenlopende wensen om AR daadwerkelijk van toegevoegde waarde te kunnen laten zijn. Maar er wordt verwacht door vele wetenschappers, futurologen en trendwatchers dat dit niet meer lang zal gaan duren.
Bronnen:
The Future is Faster then you think
Peter D. Diamandis and Steven Kotler
– Februari, 2020
Best practices for Bringing AR applications to the field
Nick Davis
https://blogs.unity3d.com/
– 28 februari, 2020
The Past, Present, and Future of Virtual and Augmented Reality Research: A Network and Cluster Analysis of the Literature.
Applied Technology for Neuro-Psychology Lab, Instituto Auxologica, Milan, Italy. Department of Psychology, Catholic University of the Sacred Heart, Milan, Italy. Intituto de Investigacion e Innovacion en Bionigenierie, Universitat Politecnica de Valencia, Valencia Spain.
– 6 november, 2018
The History of Mobile Augmented Reality
Insituut for Computer Graphics and Vision, Graz University of Technology, Austria.
– Mei, 2015
Rise of Augmented Reality: Current and Future Application Areas
Department of Information Technology, Faculty of Computing and Information Technology, King AbdulAziz University, Jeddah, Saudi Arabia.
– 12 oktober, 2013
Geschreven door: Maurits Hagemans