Concept 3D World in de komende jaren
Reëel & Virtueel
in “The Digital World”
……..als een prothese voor de mens ……….
Hans den Hartog
C O N C E P T
Mens Machine Interfaces: computers zijn als een (virtuele) prothese voor de mens
Met computers is het al heel lang mogelijk en ook heel gewoon om met een virtuele typemachine tekstbestanden te verwerken. (en een virtuele rekenmachine, tekenapparaat en muziekmaker etc.)
Op een computer is het ook relatief eenvoudig om driedimensionale virtueel-objectmanipulatoren te gebruiken. Of het nieuw gereedschap en/of speelgoed is voor de mens doet er niet toe. Menselijke, mentale voorstellingen in ons hoofd (analoog hersenproces) kunnen niet dat wat een 3D tekenprogramma kan opleveren.
Een 3D CAD systeem biedt een enorme verruiming van het menselijke voorstellingsvermogen, de eigen ogen (om naar het scherm te kijken) worden aangevuld, ondersteund door een soort voorstellingsprothese.
Fig.1. Virtueel driedimensionaal voorwerp. (Vrij naar: R. Shepard, 1990; D.C. Dennett 2007, pag. 317 - 323)
Gaming wordt high tech
Innovaties in computer toepassingen zijn nog al eens geïnspireerd door heldere ideeën die zijn toegepast in gaming of in films.
3D controllers:
Falcon novint: https://www.novint.com
3Dconnection SpaceExplorer: https://www.3dconnexion.com/index.php
Nieuwe toetsenborden-aanpak:
https://cnettv.cnet.com/9742-1_53-50003669.html
Een einde aan het Qwerty - Dvorak dilemma?
Maximale Touchscreens maken andere werkvormen mogelijk:
https://www.popularmechanics.com/technology/industry/4224762.html?series=37
Jeff Han's Multitouch Media Wall Takes Teamwork to the Future
Robotarm op afstand besturen:
Met behulp van deze robotarm worden patiënten geopereerd op een zeer minutieuze schaal. De wonden worden kleiner en zijn daarmee eerder genezen, met minder complicaties en kortere duur van de ziekenhuisopname. De operaties duren wel langer dan de “gewone” vergelijkbare operaties. Deze techniek wordt ook in Nederland toegepast.
https://www.intuitivesurgical.com/products/index.aspx
Strikt genomen is het geen (autonome)robots, maar een op afstandbestuurde robotarm.
BRAINPORT
Japanse wetenschappers zijn er in geslaagd een motorisch gehandicapte man te laten functioneren in Second Life. In plaats van met muis en toetsenbord stuurde de man zijn bewegingen in de virtuele wereld met hersengolven. Daarmee kon de man een avatar benaderen van een student die fysiek 16 kilometer verderop zat te internetten, en via voice chat een gesprek met hem beginnen.
De wetenschappers maakten gebruik van elektrodes van 1 centimeter groot om de activiteit in de motorische cortex te meten. De gebruiker moet nog wel in staat zijn om willekeurige bewegingen te maken met linker en rechterhand om zijn avatar te sturen.
De wetenschappers hopen dat hun onderzoek nieuwe mogelijkheden opent voor gehandicapten om te communiceren met anderen, maar ook om via internet zakelijke activiteiten te ontplooien.
20 juni 2008, Automatiserings Gids.
Brain-Computer Interface voor Second Life (RSS feed Google Reader, 15 oktober 2007)
Jun’ichi Ushiba van de Keio University Biomedical Engineering Laboratory heeft een hersenen - computer interfacetoepassing voor Second Life ontwikkeld die gebruikers in staat stelt te lopen door gebruik te maken van hersenactiviteit en daarmee bevelen of instructies aan een computer te geven. De plannen voor de toekomst moeten complexere bewegingen bevatten die mensen met fysieke handicaps de mogelijkheid bieden binnen virtuele werelden met elkaar te communiceren, te bewegen en te werken.
Eind november 2008 kondigt IBM aan dat ze een menselijk brein willen gaan nabouwen. Met 5 universiteiten gaan ze proberen een systeem te bouwen dat wat betreft prestaties en efficiëntie zich zal kunnen meten met het menselijk brein. Opdrachtgever is het wetenschappelijk instituut van het Amerikaanse ministerie van Defensie (DARPA). Het doel is om perceptie, kennis, interactie, gevoel en handelingsbekwaamheid van het menselijke brein na te bootsen. Computers kunnen dit tot op heden niet en komen zelfs niet dicht bij de menselijk breincapaciteiten. De menselijk geest is moeiteloos in staat om tijd en ruimte met elkaar te verbinden en via sensoren (zintuigen) input binnen te halen om verbanden te kunnen leggen. Door technieken uit de nanotechnologie, supercomputers en de neurologie te combineren is het nu mogelijk om enorme simulaties in realtime te maken. De functies en de rekenkracht van het menselijk brein kunnen hiermee worden benaderd. (21 november 2008)
https://management.silicon.com/itpro/0,39024675,39349368,00.htm?r=1
https://news.cnet.com/8301-13772_3-10103355-52.html?tag=mncol
You Tube video’s o.a. Brain Interface Computer
https://www.youtube.com/watch?v=2IC5Neoq_1M
https://www.youtube.com/watch?v=PTVVYYxY9Cs&feature=related
https://www.youtube.com/watch?v=iys5wvQD72Y&feature=related
https://www.youtube.com/watch?v=ypczP39fkOA&feature=related
https://www.youtube.com/watch?v=cDiWFcA0gaw&feature=related
https://www.youtube.com/watch?v=L8oAz4WS4O0&feature=related
Machines en mensen raken steeds meer met elkaar verweven. Machines worden intelligenter en rekenkrachtiger. Machines kunnen steeds meer wat mensen ook kunnen.
Robot tekent portret van een gezicht:
https://www.youtube.com/watch?v=aosl53ie3mw&feature=related
De verwevenheid van de echte en de virtuele wereld neemt ook steeds grotere proporties aan en worden ook steeds realistischer door de weergave in hogere resoluties.
Ook stellen nieuwe technieken en toepassingen van o.a. televisie en video ons in staat sy°teeds meer te `spelen` met de derde en vierde dimensie.
Augmented Reality
Veld van onderzoek:
medisch
fabricage
visualisatie
route / pad planning
entertainment
militair
AR systemen beschreven in termen van optische- en video blending benaderingen. Hoe optische en video benaderingen samen iets opleveren? Wat?
Speculaties en toekomstige richting van AR wordt beschreven.
Definitie:
AR is een variatie van Virtual Environments (VE), of zoals het meestal wordt genoemd Virtual Reality (VR). VE levert een omgeving aan de gebruiker waarin hij volledig is opgenomen in een kunstmatige omgeving. AR daar tegenover stelt de gebruiker in staat de echte wereld te zien, die wordt aangevuld met virtuele objecten. (er op of ervoor geprojecteerd). Het vult de werkelijkheid aan in plaats van deze te vervangen. In een echte kamer bevinden zich een virtuele lamp en virtuele stoelen, naast het bestaande meubilair.
De virtuele objecten bedekken delen van de werkelijkheid en reeele elementen of objecten bedekken geheel of gedeeltelijk de virtuele elementen of objecten.
AR kan worden opgevat als middenpositie tussen VE (compleet kunstmatig) en telepresence (compleet echt)
AR systemen combineren drie karakteristieken (eigenschappen:
Combineert echt en virtueel
Interactief in real time
Registering in 3D wereld. (Exact alignment )
In AR krijgt de gebruiker informatie over objecten, die (informatie) hij niet met zijn zintuigen kan waarnemen. Hierdoor is er sprake van intelligente versterking door de computer als gereedschap te gebruiken die menselijke taken eenvoudiger maakt.
Applicaties:
Medische toepassingen
Visualisaties, training en 3D- stethoscoop.(stethoscopie)
Assemblage, onderhoud en reparaties van complexe machines.
3D tekeningen worden afgebeeld boven actuele uitrusting, waaraan gewerkt wordt.
Boeing voorbeeld van de bedrading. Foutmeldingen bij laserprinter dat de klep open moet en de la eruit om paperjam op te heffen, worden afgebeeld boven de pronter, zichtbaar voor de gebruiker.
Annotatie en visualisatie:
Langs de kasten lopen in de bibliotheek en informatie krijgen wat er staat., Aanwijzer voor ingewikkelde machine, raakvlak roept pop-up met informatie op over dat onderdeel. In algemene zin AR levert zichtbaarheid op van gebouwen die er nog niet staan, X-Ray-vision.
Robot path planning
Op afstand bedienen van robots is erg ingewikkeld, zeker als de afstand enorm is en de robot uit het zicht is. (maanlander) Je kunt een virtuele robot besturen en die gegevens overbrengen op de echte. Als eenmaal de robot is ingesteld kan hij verder autonoom verder werken.
Entertainment:
De omgeving van gebruikers kunnen worden verrijkt met intelligente virtuele schepsels die reageren op de acties van een gebruiker.
Militaire vliegtuigen:
Vliegtuigen en helikopters kennen Head-Up Displays (HUDS) en Helmet・Mounted Sights (HMS). hierop worden vector graphics geplaatst voor het beeld van de werkelijkheid van de piloot. Informatie over het doel en het richten vi de helm is nu gemakkelijker.
https://www.answers.com/augmented+reality?gwp=11&ver=2.4.0.651&method=3
Immersion
https://www.youtube.com/watch?v=g8Eycccww6k
Full Body Immersion
https://www.youtube.com/watch?v=qTnnJR-hS7k
https://www.howstuffworks.com/augmented-reality.htm
Een prima idee is het om handleidingen bij het in elkaar zetten van IKEA-producten uit te voeren met deze techniek, op het moment dat je vastloopt lost de instructiefilm je problemen op.
Ook Google experimenteert met een virtuele wereld. Hoewel beperkt tot een virtuele chatbox is in een fase in de gewenning aan virtuele werelden voor gewone computergebruikers.
Virtual Life - Google Lively
https://www.lively.com/dr?rid=2364679929206525516
Google stopt deze dienst weer, het experiment heeft niet opgeleverd wat men er van verwachte. Ook bij Google mislukt er wel eens wat. Daar zijn het ook experimenten voor.
3D avatars zullen in de nabij toekomst doorbreken in het dagelijks leven thuis en op het werk. Ze zullen gebruikt worden om personen te representeren. Volgende generaties grafische kaarten en processors zullen deze representatie vele malen levenechter in beeld brengen dan nu in World of Warcraft en Second Life. Realistische animatie en maximale configuratie van huid en haar (en kleding) zullen met gezichtsemoties en lichaamtaal ons representeren in de virtuele wereld op kantoor, tijdens vergaderingen etc. (3D virtual meeting places, waarin deelnemers kunnen komen en gaan). Je kunt je voorstellen dat helpdeskfuncties en aankopen in online winkels, het afsluiten van de beste hypotheek heel anders worden georganiseerd en gerealiseerd dan nu. De wereld zal sterk veranderen als Location-aware visual object recognition kan worden toegepast op mobiel (MAR = Mobile Augmented Reality). De gebruiker in de echte wereld zal informatie kunnen opvragen aan/van objecten (elementen) in de echte wereld. Door zijn mobieltje te richten op bijvoorbeeld een gebouw, krijgt hij informatie hierover op zijn telefoonschermpje. Voor het onderwijs opent dit weer heel nieuwe perspectieven, maar ook het buitenspelen [4]van games wordt realiseerbaar.
Virtuele Identiteit
Een stripverhaal uit Dagblad Trouw over virtuele identiteit. Er is een interactieve applicatie van gemaakt om de genoemde voorbeelden en personen van “diepte” te voorzien.
Virtueel versus Reëel
In de virtuele wereld online sluiten individuen allerlei sociale contacten en delen hun persoonlijke gegevens met netwerkgenoten en een deel van deze mensen functioneert ook in online games als World of Warcraft. Deze mensen functioneren natuurlijk ook in de offline wereld en wonen, verplaatsen zich daarin en natuurlijk werken ze daar in. Door bedrijven worden de sociale media (nog) in meerderheid genegeerd. Avanade heeft hier een onderzoek naar gedaan. (mei 2008)
https://www.avanadeadvisor.com/CRMsocialmedia/docs/Coleman%20Parkes%20Research%20Findings%20Summary_final.pdf
N= 514
N= 514
N= 514
In het Global Innovation Outlook 2.0 Report van IBM staat een interessante gedachte over het gebruik maken van verschijnselen in de virtuele (game) wereld in de echte wereld.
Virtual World, Real Leaders(IBM)
Als iemand in staat is om leider te zijn in een virtuele wereld, op basis van het feit dat hij als `natuurlijke` leider wordt aanvaard in een gameworld, dan moet deze persoon eigenschappen bezitten die hem ook in de echte wereld tot een geschikte leider maakt. (En IBM ziet dat zitten!)
https://www.ibm.com/ibm/ideasfromibm/us/giogaming/073007/index.shtml
Deze gedacht staat ook beschreven in de studie: De online gameworld levert ons mensen op met nieuwe, andere leiderschapskwaliteiten en zij concluderen:
Online gaming provides us with what we believe is a unique look into the future of tomorrow’s organization. To succeed in a more global, faster-paced business environment, organizations will need to consider both the behaviors they are going to need their future leaders to demonstrate, and the tools and techniques leaders will need to master. This has a range of implications for organizations, from the design of leadership development
programs to the prioritization of future IT budgets. By leveraging the lessons from online gaming environments, companies can gain a better understanding of the ways in which the next generation of leaders will need to operate in the future. (2007)
Google Street view
Op weg naar een virtuele 3D representatie van de wereld, is iets zoals Second Earth.
Matrix Goggles
https://www.youtube.com/watch?v=6QqELJupPWU
Spelletjes op een mobiele telefoon zullen de echte en virtuele wereld gaan vermengen, zoals onderstaand filmpje laat zien. Fantastisch dat de game/generatie weer meer zal gaan bewegen in de buitenlucht, maar hoe staat het met de spelersveiligheid? Als hij een rollende steen ontwijkt en onder een auto komt. Komen er weer speelweiden en parken, ga je naar de Nieuwe Efteling of Het Nieuwe Fantasy World?
https://www.mobilecowboys.nl/fungames/7855
Multimedia - explosie:
Digital footprint: Bandbreedte - opslag - beheer en hergebruik van enen en nullen:
https://www.emc.com/digital_universe
Voor het eerst in de geschiedenis is er meer digitale informatie over je bekend, dan je zelf produceert. Denk aan de opslag van alle beveiligingscamera’s beelden, ziekenhuisfoto’s, pingegevens van geldautomaten etc. waarin jouw gegevens worden opgeslagen.
Onder deze terrabytes aan nullen en enen zitten zeer zinvolle toepassingen als digitale medische foto´s en banktransacties, maar ook steeds meer uitingen van burgerjournalisme, het heen en weer sturen van entertainmentfilms in steeds hogere resoluties. Het is mij niet meer geheel duidelijk of het bij al die informatie meer gaat om de communicatie tussen mensen dan om het verstrekken van informatie (Is content nog steeds King? Of has the King left the building?)
[1] Demo 1 op DVD, een 3D simulator geeft inzicht, een mens kan dat niet direct zelf.
[2] In technische zin geen echte autonome robot, maar een technisch hulpstuk van een chirurg.
[3] Demo 2 op DVD
—————
