Wandelen op Mars met Microsoft Hololens

Vorige week leek het mij alsof ik op Mars liep. Ik gebruikte de nieuwe HoloLens van Microsoft (foto), die het aankondigde als onderdeel van de introductie van Windows 10, en de Mars-demo was een van de weinige dat het bedrijf de pers toestond om een ​​testversie van de headset en de holografische extensies te proberen het besturingssysteem.

Ik heb de afgelopen jaren een aantal virtual reality- en augmented reality-headsets gebruikt en veel tijd doorgebracht met Google Glass. In sommige opzichten voelt HoloLens als een uitbreiding van wat sommige van die producten proberen te doen; in anderen voelt het heel anders.

"Welkom bij Windows Holographic", zei projectleider Alex Kipman (hierboven) toen het product werd onthuld. Het concept zal leiden tot meer meeslepende manieren om te spelen, nieuwe manieren om te leren, samen te werken en te creëren, zei hij.

Microsoft deed er alles aan om het project geen virtual reality of augmented reality te noemen en gebruikte in plaats daarvan het concept van hologrammen constant. Het is een beetje anders dan hologrammen die je in films kunt zien - in fictie heb je meestal geen speciale headset nodig - maar de afbeeldingen die worden weergegeven zijn driedimensionaal, dus ik denk dat de naam logisch is.

Kipman sprak over de vele mogelijke toepassingen voor hologrammen in de echte wereld, zoals een ingenieur die instructies ziet in een overlay op een object dat hij of zij probeerde te bouwen of repareren, een architect die door een ontwerp liep, een chirurg die een procedure leerde, of gewoon van de woonkamer een surrealistische spelomgeving maken.

Microsoft heeft eigenlijk twee producten aangekondigd: één is een reeks API's gericht op menselijk en holografisch begrip, Windows Holographic genaamd, dat deel uitmaakt van Windows 10, en het tweede is een stuk hardware dat HoloLens wordt genoemd. Microsoft wil duidelijk dat ontwikkelaars en mogelijk andere fabrikanten van hardwareapparaten de applicaties en apparaten maken die dit tot een echte markt zullen maken, en riep specifiek ontwikkelaars op die werken aan Oculus Rift, Magic Leap en Google Glass van Facebook om "hologrammen met ons te maken". Natuurlijk is een probleem dat er veel platforms zijn, en het doel van de aankondiging is om te proberen het proces van het krijgen van een kritische massa ontwikkelaars achter Windows Holographic te starten. Althans voor VR lijkt Oculus op dit moment de meeste buzz te hebben.

HoloLens is een set doorzichtige holografische lenzen met geluid en sensoren. Het heeft de normale CPU- en GPU-componenten, evenals wat het bedrijf beschreef als een derde, holografische verwerkingseenheid (HPU) die gebaren begrijpt en de wereld om ons heen ruimtelijk in kaart brengt. Het apparaat werkt zonder kabels terwijl het terabytes aan informatie verwerkt, zei Kipman, maar het bedrijf moet nog echte hardwaredetails geven.

Het bedrijf deed een aantal interessante demo's op het podium, maar ik was meer geïnteresseerd om het zelf uit te proberen en Microsoft heeft vier demo-"ervaringen "opgezet voor de pers in het laboratorium waar HoloLens is gemaakt, in de kelder van het bedrijf. bezoekerscentrum.

Een daarvan was echt meer een demonstratie door Microsoft van HoloStudio, een omgeving voor het maken van hologrammen en optioneel 3D-afdrukken (wat meestal wordt gedaan via een 3D-service, omdat de hologrammen meestal meerdere kleuren bevatten en uitgebreider zijn dan de meeste persoonlijke 3D-printers kan aan). De demo op het podium omvatte het maken van een aangepaste quad-copter, en later liet een demo van een kleinere groep ons zien hoe we een gepersonaliseerde USB-sleutel met de afbeelding van een "ruimtekoala" konden maken.

De omgeving zag eruit als een interessante ontwerpstudio, waar je vrij gemakkelijk aan de slag kunt, maar die eigenlijk behoorlijk wat diepte heeft. Het zou me waarschijnlijk wat tijd kosten om het te leren gebruiken, maar mijn gok is dat mensen die producten zoals Autodesk's 3D Studio Max of vergelijkbare software gebruiken, het vrij eenvoudig zouden vinden.

Voor de andere drie demo's hebben we prototypeversies van de HoloLens-headset opgezet. In plaats van de relatief compacte rode eenheden die op het podium werden getoond, voelden deze echt als technische prototypes - de hardware waarop de headset draaide, zat in een aparte doos die je droeg, en beide waren verbonden met een computer. (De afgewerkte hardware lijkt aanzienlijk groter te zijn dan Google Glass, maar een beetje kleiner dan de Oculus Rift-headset, en deze werkt draadloos. Het is niet zo strak als je zou willen, maar het ziet eruit als een consumentenproduct.) De headset lijkt te hebben een aantal camera's en sensoren aan de voorkant en zijkanten. Je plaatst het op je hoofd (over je bril, als je het draagt), draai het op zijn plaats en dan lijkt het apparaat een beeld te projecteren voor de lenzen in het apparaat, terwijl je nog steeds de buitenwereld kunt zien.

De eerste hiervan was van HoloBuilder, een programma waarmee je objecten in de ruimte om je heen kunt maken, verplaatsen en vernietigen. Het voelde erg aan als Minecraft in de manier waarop je kleine objecten manipuleert, maar met enkele belangrijke verschillen. Je zou virtuele items op een tafel in de fysieke wereld kunnen plaatsen, of ze aan een muur kunnen hangen, en het zag er echt uit alsof de holografische afbeeldingen in feite echte objecten voor je zaten. In delen van de demo leek het alsof je dingen bovenop echte objecten kon zien; in andere gevallen leek het alsof je door de tafel sneed en dingen eronder zag. Het leek me best gaaf. Ik kan me gemakkelijk een toekomstige versie voorstellen die Minecraft-fans aanspreekt.

Een andere demo liet zien hoe je het kunt gebruiken met een versie van Skype voor HoloLens. In deze demo was de taak om een ​​lichtschakelaar te installeren, terwijl het proces door iemand aan de andere kant van het gesprek werd besproken die de normale versie van Skype op een laptop gebruikte. Binnen de Hololens kon ik de persoon zien praten in een raam, dat voor me kon zweven terwijl ik rondkeek of op een specifieke locatie werd vastgezet. Op zijn beurt kon hij zien wat ik door de Hololens zag. Dus zag hij het gereedschap, de schakelaar en de opening voor de lichtschakelaar. Het vizier heeft microfoons en luidsprekers erin, dus het gesprek leek vrij standaard. De persoon aan de andere kant van het gesprek was in staat om aanwijzingen te geven naar het hulpmiddel dat hij wilde gebruiken en diagrammen die me lieten zien hoe de schakelaar te richten en welke draden waar naartoe gingen. Toen ik klaar was, zetten ze de stroom weer aan en werkte de lichtschakelaar.

Nu weet ik niet zeker of we dit nodig hebben voor dergelijke eenvoudige bewerkingen, maar je kunt je gemakkelijk voorstellen dat het wordt gebruikt in verschillende industriële toepassingen, van montage tot reparatie, waar je handsfree instructies wilt. Het idee is niet nieuw: ik heb vergelijkbare ideeën gezien in een aantal "slimme brillen" die zijn ontworpen voor industriële gebruikers, zoals de Moverio-bril van Epson en de M-100-bril van Vuzix. Maar augmented reality in industriële toepassingen is heel logisch en de mogelijkheid om tekeningen direct boven wat je ziet te laten verschijnen, lijkt een goede stap vooruit.

Maar de meest interessante demo was van het Mars-oppervlak, met behulp van een applicatie ontwikkeld met Jet Propulsion Laboratory (JPL) van NASA via gegevens en afbeeldingen verzameld door de Curiosity Rover op het oppervlak van de planeet. Het doel is om HoloLens te gebruiken om de wetenschappers te helpen de rover te beheersen en het Marslandschap beter te begrijpen. (JPL liet eerder de wereld verkennen in een demo met Oculus Rift, hoewel ik dat niet heb geprobeerd.)

Als een eerste stap nadat ik de bril had opgezet, kon ik ervaren hoe ik rond het Dingo Gap-gebied van Mars liep, en wat indruk op me maakte was dat ik tijdens het rondlopen door de kamer echt op me leek alsof ik op de het oppervlak van de planeet. Het was hier dat het driedimensionale aspect van hologrammen echt tot leven kwam.

In het tweede scenario kun je het gebied verkennen dat bekend staat als John Klein, waar je rond en zelfs onder objecten kunt kijken om een ​​idee te krijgen van de dimensionaliteit van het gebied. Op een gegeven moment kon je door het vizier kijken naar een scherm dat de originele zwart-witbeelden liet zien, maar die zagen er erg statisch uit; het zien van wat het werkelijke landschap in kleur en in 3D leek, was een heel andere ervaring. Het was alsof de echte wereld was doorgebroken in de kunstmatige waarin ik liep.

Het laatste deel van de Mars-demo betrof het verkennen van een waypoint dat bekend staat als "The Kimberley" in de buurt van Mt. Sharp, waar ik kon samenwerken met iemand van JPL, die ook de HoloLens-technologie gebruikte. Hij verscheen op het scherm als een goudgeschikte avatar, die een beetje leek op een science fiction-alien uit de jaren 1950, en was in staat om met me te praten over het landschap en wat we zagen. Ik was in staat om vlaggen op een deel van het landschap te plaatsen voor de rover om zijn MastCam te gebruiken, die meer gedetailleerde foto's kan maken, en een aantal rotsen te kiezen voor ChemCam van de rover, die een laser stuurt om een ​​deel van rotsen te verbranden om zijn chemische stof te bepalen samenstelling.

Dit was slechts een demo, maar je kunt je gemakkelijk voorstellen hoe een team van NASA-wetenschappers de technologie zou kunnen gebruiken om het Mars-oppervlak beter te begrijpen en de rover te besturen om er optimaal gebruik van te maken. En je kunt je natuurlijk een aantal zeer meeslepende ervaringen voorstellen.

Over het algemeen was HoloLens een van de meest indrukwekkende demonstraties die ik heb gezien. Andere headsets met augmented reality zijn behoorlijk interessant en ik zie zeker hun potentieel in industriële toepassingen, en ik heb een paar zeer meeslepende games gezien in Oculus Rift. Maar het holografische effect - het idee dat alles in 3D verschijnt en je je daadwerkelijk in de wereld kunt verplaatsen - ingebed in HoloLens voelde als iets heel nieuws. We zullen moeten wachten om het uiteindelijke vizier en echte toepassingen te proberen om te zien of dit concept echt klaar is voor een reguliere markt, maar het is zeker indrukwekkend.