Εισαγωγή

Τα βιντεοπαιχνίδια μας διασκεδάζουν εδώ και κοντά 30 χρόνια από την εισαγωγή του Pong στα παιχνίδια arcade. Από τότε βεβαίως έχουν αλλάξει πολλά στο σκηνικό. Τα γραφικά των υπολογιστών έχουν γίνει εξαιρετικά πολύπλοκα και τα γραφικά των παιχνιδιών αγγίζουν τα όρια του φωτορεαλισμού. Οι ερευνητές και οι μηχανικοί πλέον εξάγουν τα γραφικά από τη συσκευή αναπαράστασής τους όπως η οθόνη του υπολογιστή ή της τηλεόρασης και τα εισάγουν σε περιβάλλοντα πραγματικού κόσμου. Αυτή η νέα τεχνολογία η οποία αποκαλείται Επαυξημένη Πραγματικότητα, θολώνει τη διαχωριστική γραμμή μεταξύ του πραγματικού και του εικονικού επαυξάνοντας αυτό που βλέπουμε, ακούμε, αισθανόμαστε (αγγίζουμε) και μυρίζουμε.
Στο φάσμα μεταξύ της εικονικής πραγματικότητα που δημιουργεί περιβάλλοντα δημιουργημένα από υπολογιστή στα οποία εμβυθίζεται ο χρήστης και του πραγματικού κόσμου η επαυξημένη πραγματικότητα είναι πιο κοντά στον πραγματικό κόσμο. Η επαυξημένη πραγματικότητα προσθέτει γραφικά, ήχους, απτικές αναδράσεις και μυρωδιές στον φυσικό κόσμο όπως αυτός υφίσταται. Αμφότερα και τα κινητά τηλέφωνα και τα βιντεοπαιχίδια πρωτοστατούν στις εξελίξεις σε σχέση με την τεχνολογία αυτή. Οποιοσδήποτε από τουρίστα μέχρι στρατιωτικό ή όποιον ψάχνει τη κοντινότερη στάση μετρό μπορεί να επωφεληθεί από τη δυνατότητα εισαγωγής γραφικών από υπολογιστή στο οπτικό του πεδίο.
Η επαυξημένη πραγματικότητα αλλάζει τον τρόπο με τον οποίο βλέπουμε τον κόσμο – η τουλάχιστον τον τρόπο με τον οποίο οι χρήστες της βλέπουν τον κόσμο–. Φανταστείτε την παρακάτω εικόνα: Κάποιος περπατά ή οδηγεί στον δρόμο. Με τις προβολές επαυξημένης πραγματικότητας που στο τέλος θα μοιάζουν πολύ με κοινό ζευγάρι γυαλιών, ενημερωτικά γραφικά θα εμφανίζονται στο οπτικό του πεδίο και ο ήχος θα συμπίπτει με οτιδήποτε βλέπει. Αυτές οι ενισχύσεις θα ανανεώνονται συνεχώς για να ανακλούν τις κινήσεις του κεφαλιού του. Παρόμοιες συσκευές και εφαρμογές ήδη υπάρχουν κυρίως σε smartphones όπως το iPhone.

Τρόποι αντίληψης & αλληλεπίδρασης με τον κόσμο

Αρχικά υπήρχε ο κόσμος και οι αισθήσεις μας
aug_real2.jpg
Κατόπιν προστέθηκαν εποπτικά μέσα μέσω των οποίων ο άνθρωπος έβλεπε τον κόσμο:
aug_real3.jpg

Στη συνέχεια προστέθηκε η δυνατότητα αλληλεπίδρασης με τον κόσμο που έβλεπε μέσα από τα εποπτικά μέσα:
aug_real4.jpg
Σταδιακά προστέθηκαν και νέα χαρακτηριστικά όπως η αλληλεπίδραση με άλλους ανθρώπους (χρήστες), κατηγοριοποίηση των αντικειμένων σε προσωπα, τόπους και πράγματα, η δυνατότητα ανταλλαγής πληροφορίων και η κοινωνική νοημοσύνη κτλ και προκύπτει η εικόνα της επαυξημένης πραγματικότητας:
aug_real1.jpg

Επαυξάνοντας τον κόσμο μας

Η βασική ιδέα της επαυξημένης πραγματικότητας είναι να υπερθέσει γραφικά, ήχο και αισθητηριακές ενισχύσεις στον πραγματικό κόσμο σε πραγματικό χρόνο. Αν και ακούγεται πολύ απλό ή ακόμα και οικείο, με την έννοια ότι κάτι παρόμοιο συμβαίνει στον τηλεοπτικό κόσμο εδώ και πολύ καιρό, η επαυξημένη πραγματικότητα ξεφεύγει από οτιδήποτε έχει ιδωθεί στους δέκτες τηλεόρασης. Υπάρχουν κάποια εφέ πάντως που έχουν εμφανισθεί στην αμερικάνικη τηλεόραση που έχουν στοιχεία επαυξημένης πραγματικότητας όπως το RACEf/x και το super-imposed first down line. Η διαφορά τους είναι ότι αυτά τα συστήματα προβάλουν γραφικά μόνο για μία οπτική μεριά. Τα επόμενης γενιάς συστήματα επαυξημένης πραγματικότητας θα προβάλουν γραφικά για κάθε διαφορετική οπτική του κάθε θεατή.
Μερικές από τις πλέον υποσχόμενες εργασίες στον τομέα της επαυξημένης πραγματικότητας λαμβάνουν χώρα σε ερευνητικά κέντρα και πανεπιστήμια ανά τον κόσμο. Το Φεβρουάριο του 2009 στο συνέδριο TED, οι Pattie Maes και Pranav Mistry παρουσίασαν το δικό τους σύστημα επαυξημένης πραγματικότητας που ανέπτυξαν ως μέρος του MIT Media Lab's Fluid Interfaces Group. Το ονόμασαν SixthSense (έκτη αίσθηση) και βασίζεται σε μερικά δομικά στοιχεί που είναι κοινά σε κάθε σύστημα επαυξημένης πραγματικότητας:

Ÿ Κάμερα
Ÿ Μικρός προβολέας
Ÿ Smartphone
Ÿ Καθρέφτης

Αυτά τα στοιχεία έχουν δεθεί μεταξύ τους σε μία συσκευή σαν κορδόνι που ο χρήστης φοράει γύρω από το λαιμό του. Ο χρήστης επίσης φοράει 4 χρωματιστά καπάκια στα δάχτυλά του και με τη χρήση αυτών των καπακιών χειρίζεται τις εικόνες που εκπέμπει ο προβολέας.

Το πιο εντυπωσιακό σχετικά με το SixthSense είναι ότι χρησιμοποιεί απλά, ετοιμοπαράδοτα συστατικά τα οποία έχουν ενδεικτική τιμή $350. Είναι επίσης αξιοσημείωτο ότι ο προβολέας μετατρέπει οποιαδήποτε επιφάνεια σε διαδραστική οθόνη. Ουσιαστικά η συσκευή λειτουργεί χρησιμοποιώντας την κάμερα και τον καθρέφτη για να εξετάσει τον περιβάλλοντα χώρο, προωθώντας την εικόνα στο τηλέφωνο (το οποίο επεξεργάζεται την εικόνα, λαμβάνει συντεταγμένες GPS και λαμβάνει δεδομένα από το διαδίκτυο). Κατόπιν το τηλέφωνο προβάλλει πληροφορίες μέσω του προβολέα στην επιφάνεια μπροστά στον χρήστη ανεξάρτητα αν η επιφάνεια είναι ένας καρπός (χεριού), ένας τοίχος ή ακόμα και ένα πρόσωπο. Επειδή ο χρήστης φοράει τη κάμερα το SixthSense θα ενισχύσει οτιδήποτε βλέπει. Για παράδειγμα αν πάρει στα χέρια του μία κονσέρβα το SixthSense μπορεί να βρει και να προβάλλει πάνω στην κονσέρβα πληροφορίες σχετικές με τα συστατικά της, την τιμή της, τη διατροφική αξία της –ακόμα και σχόλια πελατών–.

Χρησιμοποιώντας τα καπάκια στα δάχτυλά του (ο δημιουργός του Pattie Maes υποστηρίζει ότι ακόμα και διαφορετικού χρώματος νύχια θα λειτουργούσαν ικανοποιητικά) ένας χρήστης εκτελεί δράσεις στις προβαλλόμενες πληροφορίες οι οποίες κατόπιν καταγράφονται από την κάμερα και επεξεργάζονται από το κινητό. Αν για παράδειγμα επιθυμεί να λάβει περισσότερες πληροφορίες για το προϊόν μπορεί να χρησιμοποιήσει τα δάχτυλά του για να αλληλεπιδράσει με την προβαλλόμενη εικόνα και να μάθει για ανταγωνιστικές (εναλλακτικές) μάρκες. Το SixthSense μπορεί να αναγνωρίσει και σύνθετες χειρονομίες. Για παράδειγμα ο σχηματισμός ενός κύκλου πάνω στον καρπό έχει ως αποτέλεσμα να προβληθεί εκεί ένα ρολόι με την τρέχουσα ώρα.


Διευκρινήσεις

Οι όροι και οι ορισμοί σχετικά με την επαυξημένη πραγματικότητα δεν έχουν πλήρως αποκρυσταλλωθεί. Γίνεται μία προσπάθεια για στοιχειοθέτηση και ταξινόμηση των ιδεών αλλά εφόσον είναι τόσο ρευστές οι εξελίξεις και οι ορισμοί των τεχνολογιών και εφαρμογών είναι και αυτές ρευστές.

Ο Paul Milgram και ο Fumio Kishino όρισαν το Milgram's Reality-Virtuality Continuum το 1994. Περιέγραψαν ένα συνεχές που απλώνεται από το πραγματικό περιβάλλον (real environment) στο καθαρό εικονικό περιβάλλον (pure virtual environment). Στο ενδιάμεσο μεταξύ τους βρίσκονται η επαυξημένη πραγματικότητα (Augmented Reality) η οποία είναι κοντύτερα στην πραγματικότητα και η επαυξημένη εικονικότητα (Augmented Virtuality) κοντύτερα στον εικονικό κόσμο.

Milgram_Continuum.png

Έχει υπάρξει και επέκταση αυτού του μοντέλου στις 2 διαστάσεις όπου χρησιμοποιείται και η έννοια της μεσότητας (Mediality). Η μεσότητα ορίζεται ως η πραγματικότητα που γίνεται αντιληπτή μέσω των μέσων που χρησιμοποιούνται για να τη συλλάβουμε.

Mediated_reality_continuum_2d.png


Ιστορία

Κάποια στοιχεία από την ιστορία της επαυξημένης πραγματικότητας:
Ÿ 1957-62: Ο Morton Heilig, ένας κινηματογραφιστής δημιουργεί και πατεντάρει έναν προσομοιωτή ονόματι Sensorama με γραφικά, ήχο, δόνηση και οσμές
Sensorama_patent_fig5.png
Ÿ 1966: Ο Ivan Sutherland επινοεί τη συσκευή προβολής κεφαλής (head-mounted display) προτείνοντας την ως παράθυρο σε ένα εικονικό κόσμο.
EmaginZ800.jpg
Ÿ 1975: Ο Myron Krueger δημιουργεί το Videoplace που επιτρέπει στους χρήστες να αλληλεπιδράσουν με εικονικά αντικείμενα για πρώτη φορά.
pose_videoplace.jpg
Ÿ 1989: Ο Jaron Lanier εφευρίσκει τον όρο εικονική πραγματικότητα (Virtual Reality) και δημιουργεί την πρώτη εμπορική επιχείρηση γύρω από εικονικούς κόσμους.
Ÿ 1992: Ο Tom Caudell εισάγει τη φράση επαυξημένη πραγματικότητα (Augmented Reality) ενώ ήταν στην εταιρία Boeing και βοηθούσε εργάτες να τοποθετήσουν καλώδια σε σκάφος.
Ÿ 1992: Ο L.B. Rosenberg αναπτύσσει ένα από τα πρώτα λειτουργικά συστήματα επαυξημένης πραγματικότητας με όνομα VIRTUAL FIXTURES σε ένα εργαστήριο του αμερικάνικου στρατού και παρουσιάζει πλεονεκτήματα στην απόδοση του ανθρώπου.
Ÿ 1992: Οι Steven Feiner, Blair MacIntyre και Doree Seligmann παρουσιάζουν το πρώτο σημαντικό paper σε ένα πρωτότυπο σύστημα επαυξημένης πραγματικότητας, KARMA, στο συνέδριο γραφικών διεπαφών.
SMALLGI92hmd.gif
Ÿ 1999: Ο Hirokazu Kato (加藤 博一) δημιουργεί το ARToolKit
nakaohome.jpg
Ÿ 2000: Ο Bruce H. Thomas αναπτύσσει το ARQuake, το πρώτο εξωτερικού χώρου παιχνίδι επαυξημένης πραγματικότητας και παρουσιάζεται στο διεθνές συμπόσιο για φορετούς υπολογιστές
ARquake.jpgARQuake_project_02.jpg

Υλικό

Τα κύρια συστατικά από άποψη υλικού που απαιτούνται για την επαυξημένη πραγματικότητα είναι ένας προβολέας, η ανιχνευτική συσκευή, συσκευές εισόδου και ο υπολογιστής. Το ενδιαφέρον είναι ότι ο συνδυασμός ισχυρού υπολογιστή, κάμερα, επιταχυνσιομετρο, GPS και στερεά πυξίδα είναι συχνά παρόντα σε ένα smartphones καθιστώντας δυνατό το συνδυασμό τους για τέτοιες εφαρμογές.

Προβολικά

Υπάρχουν κατά βάση τριών ειδών τεχνικές για την επαυξημένη πραγματικότητα:

Ÿ Οθόνες προβολής κεφαλής
  • Οθόνες προβολής κοιτώντας μπροστά (head-up display - HUD)
  • Οθόνες προβολής προσαρτημένες στο κεφάλι (head-mounted display - HMD)
Ÿ Οθόνες χειρός (handheld Displays)
Ÿ Χωρικές οθόνες (spatial Displays)

Οθόνες προβολής κεφαλής


Ως προς τη χωροταξία τους χωρίζονται σε δύο κατηγορίες:
  • Οθόνες προβολής κοιτώντας μπροστά (head-up display - HUD)
  • Οθόνες προβολής προσαρτημένες στο κεφάλι (head-mounted display)

Ως προς τη λειτουργία τους χωρίζονται επίσης σε δύο κατηγορίες:
  • Συσκευές με “διάφανο οπτικά τρόπο λειτουργίας” (see-through mode) και
  • Συσκευές με “αδιαφανή οπτικά τρόπο λειτουργίας” (non see-through mode). Ο δεύτερος τρόπος επειδή κάνει χρήση βίντεο ονομάζεται και video see-through.

Οθόνες προβολής κοιτώντας μπροστά

Μία οθόνη προβολής κοιτώντας μπροστά (head-up display (HUD)) είναι κατά κάποιον τρόπο μη αντιληπτή από τον χρήστη και δεν του περιορίζει το οπτικό πεδίο. Συνήθως υλοποιείται σε οχήματα στα όποια οι χρήσιμες πληροφορίες προβάλλονται απευθείας στο οπτικό πεδίο του οδηγού. Με αυτόν τον τρόπο ο οδηγός δεν απαιτείται να άρει την προσοχή του από τον πραγματικό κόσμο για να λάβει τις πληροφορίες από το όργανο.
800px-HUD_view.jpg
ergonomocs_hud.jpg

Οθόνες προβολής προσαρτημένες στο κεφάλι

Συσκευές προσαρτημένη στο κεφάλι (head-mounted display), είτε προσαρτημένη η ίδια στο κεφάλι είτε αποτελώντας μέρος ενός κράνους και η οποία προβάλλει σε ένα και ή και στα δύο μάτια πληροφορίες.
Image5.png
head-mounted_display2.png


Στην αδιαφανή περίπτωση η συσκευή όπως και στις περιπτώσεις εικονικής πραγματικότητας συνήθως απομονώνει πλήρως τον χρήστη από το περιβάλλον και για αυτό το λόγο το σύστημα πρέπει να χρησιμοποιεί κάμερες για να αποκτήσει ο χρήστης εικόνα του πραγματικού κόσμου.

Απαιτείται μία ανιχνευτική συσκευή για να προσδιορισθεί με ακρίβεια έξι βαθμών ελευθερίας η κίνηση του χρήστη. Η ανίχνευση αυτή επιτρέπει στο υπολογιστικό σύστημα να καταγράψει με ακρίβεια τη χωροταξία του πραγματικού κόσμου για να μπορέσει να ενσωματώσει τις εικονικές πληροφορίες σε αυτόν.
Οι έξι βαθμοί ελευθερίας ουσιαστικά αντιστοιχούν στην μετατόπιση (3 βαθμοί ελευθερίας εδώ – μπρος/πίσω,πάνω/κάτω, αριστερά/δεξιά) και περιστροφή (άλλοι 3 βαθμοί εδώ - περιστροφή ως προς 3 κάθετους άξονες) του αντικειμένου. Με τους 6 βαθμούς εξασφαλίζουμε την κίνηση προς όλες τις κατευθύνσεις. Το μεγαλύτερο πλεονέκτημα των συσκευών αυτών είναι η εμβύθιση του χρήστη στην επαυξημένη πραγματικότητα. Οι γραφικές πληροφορίες εξαρτώνται από την οπτική (και τις κινήσεις) του χρήστη.
6DOF.jpg

Στη οπτικά διάφανη περίπτωση η συσκευή κάνει χρήση μερικώς επαργυρωμένο καθρέφτη για να επιτρέψει στον χρήστη να βλέπει εικόνες του πραγματικού κόσμου και ταυτόχρονα να υπερθέτει πληροφορίες στα μάτια του. Το κανάλι του βίντεο στην περίπτωση αυτή απενεργοποιείται. Έτσι ο χρήστης βλέπει απευθείας τον πραγματικό κόσμο.

Απαιτείται μία ανιχνευτική συσκευή για να προσδιορισθεί με ακρίβεια έξι βαθμών ελευθερίας η κίνηση του χρήστη. Η ανίχνευση αυτή επιτρέπει στο υπολογιστικό σύστημα να καταγράψει με ακρίβεια τη χωροταξία του πραγματικού κόσμου για να μπορέσει να ενσωματώσει τις εικονικές πληροφορίες σε αυτόν. Το μεγαλύτερο πλεονέκτημα των συσκευών αυτών είναι η εμβύθιση του χρήστη στην επαυξημένη πραγματικότητα. Οι γραφικές πληροφορίες εξαρτώνται από την οπτική (και τις κινήσεις) του χρήστη.

Προβολικά που κρατούνται στο χέρι

Τα προβολικά που κρατούνται στο χέρι υλοποιούν μία μικρή υπολογιστική συσκευή με προβολή που χωράει στο χέρι του χρήστη. Όλες οι συσκευές αυτής της κατηγορίας έχουν υλοποιήσει διάφανες οπτικές τεχνικές για να υπερθέσουν τις γραφικές (εικονικές) πληροφορίες στον πραγματικό κόσμο. Αρχικά τα προβολικά αυτά είχαν ενσωματώσει αισθητήρες όπως πυξίδες και GPS για να εκμεταλλευτούν τους έξι βαθμούς ελευθερίας τους. Αργότερα προχώρησαν στα συστήματα σημαδιών αναφοράς (fiducial marker systems) όπως το ARToolkit για ανίχνευση. Σήμερα οπτικά συστήματα όπως τα SLAM και PTAM υλοποιούνται για ανίχνευση. Οι συσκευές που κρατούνται στο χέρι υπόσχονται να είναι η πρώτη εμπορική επιτυχία για τεχνολογίες επαυξημένης τεχνολογίας. Τα κυριότερα πλεονεκτήματά τους είναι η φορητή τους φύση και η πληθώρα (με την έννοια της πανταχού παρουσίας) των κινητών με κάμερα.
Sharp-unveils-likely-3D-screen-for-Nintendo-3D.jpg
phoneapp.jpg

Χωρικές προβολές

Μία ακόμα προσέγγιση είναι να χρησιμοποιηθούν προβολές πάνω σε φυσικά αντικείμενα αντί ο χρήστης να φοράει (στο κεφάλι) ή να κρατάει (στο χέρι) τη συσκευή. Η μεγάλη διαφορά των χωρικών προβολών είναι ότι οι προβολές αποδεσμεύονται από τους χρήστες του συστήματος. Επειδή δεν σχετίζονται οι προβολές με κάθε μεμονωμένο χρήστη τα συστήματα αυτά εστιάζει σε μία ομάδα χρηστών επιτρέποντας με αυτόν τον τρόπο μία συνεργασία μεταξύ των χρηστών.

Οι χωρικές προβολές έχουν αρκετά πλεονεκτήματα σε σχέση με τις προηγούμενες κατηγορίες. Ο χρήστης δεν απαιτείται να μεταφέρει ή να φοράει τη συσκευή. Αυτό καθιστά τη συσκευή κατάλληλη για συνεργασία μεταξύ χρηστών όπως όταν απαιτείται οι χρήστες να βλέπουν το πρόσωπο των άλλων χρηστών. Το σύστημα μπορεί να χρησιμοποιηθεί από περισσότερους του ενός χρήστες ταυτόχρονα χωρίς να απαιτείται ξεχωριστή συσκευή για τον καθένα. Επίσης δεν υποφέρουν από τους περιορισμούς τις προβολές χαμηλής ανάλυσης όπως στις άλλες περιπτώσεις. Μπορεί ένα τέτοιο σύστημα να εμπεριέχει περισσότερους προβολείς για να επεκτείνει την περιοχή προβολής. Ενώ οι φορητές συσκευές ουσιαστικά αφήνουν ένα μικρό παράθυρο για τη προβολή οι προβολές χώρου μπορούν να προβάλλουν σε οποιαδήποτε επιφάνεια κλειστού χώρου απευθείας. Η απτή φύση των χωρικών προβολών τα καθιστά ιδανικά για την υποστήριξη σχεδίασης εφόσον εμπεριέχει τόσο οπτικοποίηση όσο και απτική αίσθηση για τον τελικό χρήστη. Οι άνθρωποι μπορούν να αγγίξουν φυσικά αντικείμενα και είναι αυτή η διαδικασία που προσφέρει την παθητική απτική αίσθηση.
AugmentedReality.png

Ανίχνευση

Τα σύγχρονα φορητά συστήματα επαυξημένης πραγματικότητας περιέχουν ένα ή περισσότερα από τις παρακάτω τεχνολογίες ανίχνευσης:

Ÿ Ψηφιακές κάμερες ή/και άλλους οπτικούς αισθητήρες
Ÿ Επιταχυνσιομέτρα
Ÿ Συσκευές GPS
Ÿ Γυροσκόπια
Ÿ Πυξίδες στερεής κατάστασης (για ενσωμάτωση σε κινητά κτλ)
Ÿ Συστήματα RFID
Ÿ Ασύρματοι αισθητήρες

Κάθε μία από αυτές τις τεχνολογίες έχει διαφορετικό επίπεδο ακρίβειας. Το πιο σημαντικό σε ένα σύστημα ανίχνευσης είναι η εξακρίβωση της στάσης και της θέσης του κεφαλιού του χρήστη για την επαύξηση της οπτικής του. Τα χέρια επίσης μπορούν να ανιχνευθούν ή εναλλακτικά μία φορητή συσκευής χειρός μπορεί να ανιχνευθεί για να παρέχει μία ανάδραση έξι βαθμών ελευθερίας. Και στατικά όμως συστήματα μπορούν να παρέχουν ανίχνευση 6 βαθμών ελευθερίας όπως τα Polhemus, ViCON, A.R.T, or Ascension.

Συσκευές εισόδου

Γενικά είναι ένα ανοιχτό στην έρευνα ζήτημα. Μερικά συστήματα όπως το Tinmith χρησιμοποιούν τεχνικές με γάντια τσιμπήματος. Μία άλλη κοινή τεχνική είναι ένα ραβδί με κουμπί πάνω του. Στην περίπτωση των smartphone το κινητό το ίδιο μπορεί να αποτελέσει μία 3D δεικτική συσκευή με την θέση του κινητού να υπολογίζεται από τις εικόνες της κάμεράς του.
glove_pinch2.jpg
iOrbHand.png
smartphone.jpg
Υπολογιστής & απαιτήσεις

Τα συστήματα που βασίζονται σε κάμερες απαιτούν συνήθως ισχυρούς επεξεργαστές και αρκετή μνήμη RAM για την επεξεργασία των εικόνων. Τα φορητά συστήματα υλοποιούν αυτές τις απαιτήσεις με ένα laptop σε μία διάταξη στην πλάτη. Για στατικά μοντέλα η υλοποίηση περιλαμβάνει μία παραδοσιακή πανίσχυρη κάρτα γραφικών. Επίσης υλικό για επεξεργασία ήχου μπορεί να συμπεριληφθεί σε εάν σύστημα επαυξημένης πραγματικότητας.

Λογισμικό

Για μία συνεπή συγχώνευση εικόνων πραγματικού και εικονικού κόσμου απαιτείται οι εικονικές εικόνες (και πληροφορίες) να προσαρτώνται στις πραγματικές με οπτικά ρεαλιστικό τρόπο. Αυτό σημαίνει ότι οι συντεταγμένες του πραγματικού κόσμου, ανεξάρτητες από την κάμερα, να μπορούν να ανακτηθούν από τις εικόνες της κάμερας. Αυτό αποτελεί κομμάτι της επαυξημένης πραγματικότητας και ονομάζεται εγγραφή εικόνων (σε ένα σύστημα συντεταγμένων - Image registration).

Η επαυξημένη πραγματικότητα χρησιμοποιεί γενικά διαφορετικό σύστημα εγγραφής εικόνων από την τεχνητή όραση κυρίως όσον αφορά την ανίχνευση βίντεο.
Συνήθως οι μέθοδοι αυτοί αποτελούνται από δύο μέρη:

Ÿ Πρώτον εντοπίζονται τα σημεία ενδιαφέροντος (interest points) ή σημάδια αναφοράς (fiduciary markers) στις εικόνες από την κάμερα. Το πρώτο αυτό στάδιο μπορεί να περιέχει εξαγωγή χαρακτηριστικών όπως εντοπισμών γωνιών, ακμών ή/και κατωφλίωση καθώς και άλλες μέθοδοι.
Ÿ Δεύτερον, υπολογίζεται το σύστημα συντεταγμένων του πραγματικού κόσμου από τα δεδομένα του προηγούμενου σταδίου. Κάποιες μέθοδοι υποθέτουν αντικείμενα με γνωστή τρισδιάστατη γεωμετρία στη σκηνή και κάνουν χρήση αυτών των δεδομένων. Σε κάποιες από αυτές τις περιπτώσεις όλες οι τρισδιάστατες δομές πρέπει να υπολογισθούν προκαταβολικά. Αν δεν είναι γνωστές όλες οι πληροφορίες της σκηνής μπορούν να χρησιμοποιηθούν τεχνικές SLAM για τη μοντελοποίηση των σχετικών θέσεων. Αν από την άλλη καμία υπόθεση για τη δομή της σκηνής δεν είναι διαθέσιμη μέθοδοι Δομή από κίνηση (structures from motion methods) μπορούν να χρησιμοποιηθούν. Οι μέθοδοι στο δεύτερο στάδιο περιλαμβάνουν επιπολική γεωμετρία, αναπαράσταση περιστροφής, φίλτρα Kalman και σωματιδίων κτλ.

Σχεδίαση

Ένα από τα πιο δύσκολα θέματα που ανακύπτουν στη σχεδίαση καινοτόμων διαδραστικών εφαρμογών πανταχού παρουσών εφαρμογών επαυξημένης πραγματικότητας είναι η εξεύρεση των ιδανικών κριτηρίων από μεγάλο πλήθος των διαθέσιμων κριτηρίων . Διαιρούμε τα κριτήρια σε 3 κλάσεις. Τα κριτήρια που ανήκουν στις εργασίες που έχουν να εκτελεστούν, οι γνώσεις και οιδεξιότητες του χρήστη και οι τελευταίες τεχνολογικές εξελίξεις.

Οι 3 κλάσεις της σχεδίασης
Τα κριτήρια που αφορούν συγκεκριμένες εργασίες που πρέπει να γίνουν σχετίζονται με τις απαιτήσεις των συγκεκριμένων εργασιών σε μία εφαρμογή. Σύμφωνα με τις αρχές της «Μηχανικής Λογισμικού» καθορίζονται από σενάρια και περιπτώσεις χρήσης λαμβάνοντας συγχρόνως υπόψιν τα δεδομένα περιβάλλοντος και την απαιτούμενη τεχνική ποιότητα. Παρόλα αυτά μπορεί να αλλάξουν με τον καιρό λόγω αλλαγών στη διαδικασίες των εργασιών που μπορεί εμμέσως να επηρεάζονται από τις τεχνολογικές εξελίξεις.

Κριτήρια που σχετίζονται με το σύστημα. Καθορίζονται από τις τελευταίες τεχνολογικές εξελίξεις σε τομείς όπως τεχνολογία αισθητήρων, συσκευών προβολής και υπολογιστικά συστήματα. Λόγω της εξελισσόμενης τεχνολογίας αυτά τα κριτήρια οφείλουν να επανεξετάζονται συνεχώς οδηγώντας σε μία βέλτιστη διαμόρφωση ατέρμονα μεταλλασσόμενη.

Τα κριτήρια που σχετίζονται με τον χρήστη αφορούν εργονομικά θέματα και θέματα πολιτισμικού υπόβαθρου των χρηστών. Περιγράφουν τρέχουσες συνθήκες εργασίας, συνήθειες (εργασιακή κουλτούρα) και εκπαιδευτικό υπόβαθρο καθώς και ειδικούς περιορισμούς που σχετίζονται με τον χρήστη.
criteria.jpg

Στρατηγική σχεδίασης

Η εξεύρεση μίας γενικά βέλτιστης λύσης που να ικανοποιεί και τις 3 κλάσεις μοιάζει πρακτικά αδύνατη. Η στρατηγική λοιπόν που ακολουθείται είναι να επιλέγουμε περιορισμούς από 1 ή 2 κλάσεις και να τους επιβάλλουμε στις υπόλοιπες κλάσεις

Εφαρμογές

Εφαρμογές σε κινητά

Ένα έργο το οποίο συνδυάζει κοινά δομικά στοιχεία σε μία ενδιαφέρουσα εφαρμογή είναι το SixthSense.
Αποτελείται από:
  • Κάμερα
  • Μικρός προβολέας
  • Smartphone
  • Καθρέφτης
Τα στοιχεία έχουν δεθεί μεταξύ τους σε μία συσκευή σαν κορδόνι που ο χρήστης φοράει γύρω από το λαιμό του. Ο χρήστης φοράει 4 χρωματιστά καπάκια στα δάχτυλά του για να χειρίζεται τις εικόνες που εκπέμπει ο προβολέας. Ο προβολέας μετατρέπει οποιαδήποτε επιφάνεια σε διαδραστική οθόνη.



Στην Ολλανδία οι κάτοχοι κινητών μπορούν να κατεβάσουν μία εφαρμογή ονόματι Layar η οποία χρησιμοποιεί την κάμερα του κινητού και πληροφορίες από GPS για να συγκεντρώσει πληροφορίες για τη γύρω περιοχή. Το πρόγραμμα τότε παρουσιάζει πληροφορίες για εστιατόρια ή άλλα μέρη της περιοχής τις οποίες υπερθέτει στην οθόνη του κινητού. Μπορεί κάποιος επίσης να στοχεύσει ένα κτίριο με την κάμερα και το Layar θα τον ενημερώσει αν υπάρχουν χώροι προς ενοικίαση στο κτίριο, να του παρουσιάσει φωτογραφίες του κτιρίου από το Flickr ή να εντοπίσει την ιστορία του στη Wikipedia.


Εφαρμογές σε βιντεοπαιχνίδια


Κάρτες baseball


Human Pac-man



ARQuake


Εφαρμογές στρατιωτικές

Ουσιαστικά η λειτουργία της είναι να υπερθέτει πληροφορίες στον πραγματικό κόσμο:
Ÿ Για τη μορφολογία του εδάφους,
Ÿ Για τον αντίπαλο σχηματισμό,
Ÿ Για μη ορατές από την συγκεκριμένη οπτική λεπτομέρειες όπως πληροφορίες από δορυφόρους από άλλους στρατιώτες
Ÿ Ακόμα και κρίσιμα σημεία και αδυναμίες του αντιπάλου.


Διαφήμιση

Η διαφήμιση είναι από τους βασικούς τομείς που μπορεί να εφαρμοσθεί η επαυξημένη πραγματικότητα.
Πλεονεκτήματα:
Ÿ Πιο δυνατή επικοινωνία
Ÿ Προσθήκη νέων στοιχείων
Ÿ Προσωποιημένη διαφήμιση
Ÿ Κοινωνικές πληροφοριές (σχόλια φίλων, στατιστικά αγορών κτλ)
Ÿ Οπτικοποίηση προϊόντος και προφανώς εξοικέιωση του κοινού με αυτό πριν την αγορά



Εφαρμογές στη συντήρηση&επισκευή

Μπορεί να παρέχει εξηγήσεις για το πώς επισκευάζεται ένα μηχανήμα π.χ. αυτοκίνητο.
Τα πλεονεκτήμα είναι εμφανή:
Ÿ Βήμα με βήμα εξήγηση
Ÿ Δυνατότητα επιπλέον οδηγιών και επανάληψή τους.
Ÿ Παρουσίαση λεπτομερειών δύσκολο να θυμάται κάποιος.
Ÿ Προειδοποιήσεις για πιθανούς κινδύνους και παραλλείψεις.
Ÿ Πραγματικού χρόνου παραγγελία ανταλλακτικών και εξαρτημάτων που χρειάζονται.


Παρουσίαση προϊόντων

Πλεονεκτήματα:
Ÿ Δημιουργεί νέα εμπειρία
Ÿ Προσθέτει νέες διαστάσεις
Ÿ Προσθέτει επιπλέον πληροφορίες
Ÿ Οπτικοποιεί αφηρημένες έννοιες ή ακόμα και δίνει μορφή σε οράματα πριν την υλοποίησή τους



Αγορά προϊόντων

Τα βασικά πλεονεκτήματα που προσφέρει είναι:
Ÿ Ευκολότερες αγορές με το να προσθέτει επιπλέον πληροφορίες.
Ÿ Πληροφορίες για το τι είναι κάλο και τι όχι.
Ÿ Η θερμιδική αξία των προϊόντων (για φαγητά).
Ÿ Σχόλια άλλων χρηστών (που έχουν αγοράσει το προϊόν)
Ÿ Πληροφορίες για την προέλευση του προϊόντος (από τη χώρα κατασκευής μέχρι τον τρόπο ή το αν είναι φιλικό προς το περιβάλλον).
Ÿ Σύγκριση τιμών με άλλα καταστήματα ή προϊόντα




Οπτικοποίηση πληροφοριών

Πλεονεκτήματα:
Ÿ Η αμεσότητα των εικόνων σε σχέση με το κέιμενο. Επιπλεόν πλεονέκτημα 3D εικόνων.
Ÿ Μάθηση μέσω της πράξης
Ÿ Εξήγηση διαφορών και λεπτομερειών
Ÿ Οπτικοποίηση στατιστικών στοιχείων



Ιατρική

Οι εφαρμογές στην ιατρική είναι πολλά υποσχόμενες:
Ÿ Επιπλέον πληροφορίες για το χειρούργο
Ÿ Οπτικοποίηση πληροφοριών (αγγείων κτλ)
Ÿ Επισήμανση επικίνδυνων περιοχών και σημείων
Ÿ Επίδειξη σημείων ενδιαφέροντος
Ÿ Προβολή σχετικών στοιχείων ανα πάσα στιγμή (για σύγκριση με άλλους ασθενείς κτλ)




Άλλες εφαρμογές






Παρουσίαση




Διάφορα Βίντεο


LearnAR from James Alliban on Vimeo.

























more videos
http://hellostudios.com/projects/ar.html



Βιβλιογραφία

Άρθρο για την επαυξημένη πραγματικότητα:
http://www.howstuffworks.com/augmented-reality.htm

Ιστορία της επαυξημένης πραγματικότητας:
http://en.wikipedia.org/wiki/Augmented_reality#History

Το έργο Tinmith
http://www.tinmith.net/

Βιβλίο:
Human Computer Interaction: Concepts, Methodologies, Tools, and Applications
Panayiotis Zaphiris and Chee Siang Ang

Παρουσίαση:
Augmented Reality Roadmap: The 6 Elements of the AR Universe
ISMAR 2009 Roadmap