Διεπαφές με Χειρονομίες (Gesture Interfaces)


Περιγραφή

Εισαγωγή


Οι χειρονομίες είναι προϊόν της αλληλεπίδρασης μεταξύ των ανθρώπων και αποτελούνται από κινήσεις του σώματος και του προσώπου, οι οποίες αντικαθιστούν την προφορική επικοινωνία. Οι χειρονομίες είναι απαραίτητες για την φυσική και παραστατική ανθρώπινη επικοινωνία. Η φυσικότητα είναι το ζητούμενο, αλλά κάποιες διεπαφές μπορεί να χρησιμοποιήσουν έντονες χειρονομίες γεγονός που αποτελεί βασικό σχεδιαστικό ζήτημα.

Η κύρια ταξινόμηση των χειρονομιών γίνεται με βάση την σημασία, την λειτουργία και την περιγραφή τους. Η ταξινομία τους βέβαια προχωρά σε μεγάλο βάθος διακρίνοντας πολλές κατηγορίες χειρονομιών που μπορούν να χρησιμοποιηθούν σε αντίστοιχες διεπαφές.

Οι διεπαφές με χειρονομίες διακρίνονται στις μηχανικές και απτικές διεπαφές, στις διεπαφές «υπολογιστικής όρασης» και στις διεπαφές που βασίζονται σε εκφράσεις του προσώπου. Ο τρόπος που επικοινωνούμε με αυτές τις διεπαφές χαρακτηρίζεται ως τεχνική αλληλεπίδρασης και αφορά την χειρονομία που κάνουμε και την απόκριση του συστήματος σε αυτή. Οι τεχνικές αλληλεπίδρασης που χρησιμοποιούνται στις διεπαφές με χειρονομίες σχετίζονται με την εγγύτητα, την κίνηση του σώματος, το δείξιμο, τον κυματισμό του χεριού, την εισαγωγή των χεριών, την περιστροφή αντικειμένου, το πάτημα με το πόδι, το ταρακούνημα και την κλίση του σώματος.

Για την δημιουργία ενός λεξικού χειρονομιών, δηλαδή ενός συνόλου χειρονομιών οι οποίες μπορούν να χρησιμοποιηθούν σε μια διεπαφή, πρέπει αρχικά να ελέγξουμε άλλες εφαρμογές και να πάρουμε ιδέες από αυτές αλλά και να συμβουλευτούμε την γνώμη χρηστών. Στη συνέχεια οι χειρονομίες που επιλέξαμε πρέπει να εξεταστούν από χρήστες έτσι ώστε να διαπιστώσουμε κατά πόσο είναι κατάλληλες για την διεπαφή μας.

Η σχεδίαση των διεπαφών με χειρονομίες πρέπει να λαμβάνει πάντα υπόψη την φυσιολογία του ανθρώπινου σώματος έτσι ώστε να αποφεύγεται η δημιουργία δύσχρηστων και κουραστικών διεπαφών. Επίσης πρέπει να ακολουθούνται κάποιοι κανόνες που προάγουν την ευκολία χρήσης και την αποτελεσματικότητα των διεπαφών. Η σχεδίαση πρέπει να οδηγείται από την ιδέα να δημιουργήσουμε διεπαφές με τις οποίες ο χρήστης θα μπορεί να διαδρά αυθόρμητα χωρίς επεξηγήσεις.

Οι διεπαφές με χειρονομίες είναι ελκυστικές στους χρήστες γιατί τους εκπλήσσουν και τους εντυπωσιάζουν. Η εισαγωγή των διεπαφών αυτών στην καθημερινότητα μας δεν θα αργήσει να γίνει καθώς ήδη υπάρχουν πολλές αντίστοιχες εφαρμογές όπως επίσης και άλλες που είναι λίγο πριν το στάδιο της παραγωγής.

Οι διεπαφές με χειρονομίες απο παλιά μέχρι σήμερα


Η αλληλεπίδραση με διεπαφές είναι μια καινούργια πρόκληση στην βιομηχανία. Η πρόοδος που έχει γίνει στο μέγεθος, την κατανάλωση ενέργειας και το κόστος των επεξεργαστών, των μνημών, των καμερών και άλλων αισθητηριακών συσκευών έχει ανοίξει τον δρόμο στον έλεγχο τους με χειρονομίες και κινήσεις. Ένας καινούργιος κόσμος αλληλεπίδρασης δημιουργείται ή έστω αυτό ισχυρίζονται όλοι. Οι καινούργιες αλληλεπιδράσεις έχουν και νέο εμπορικό όνομα, χαρακτηρίζονται ως «φυσικές» και έτσι έχουμε τις «Φυσικές Διεπαφές Χρήστη».

Οι διεπαφές με χειρονομίες δεν είναι κάτι καινούργιο. Οι χειρονομίες χρησιμοποιούνται σε διεπαφές εδώ και πολύ καιρό. Η εργασία του Brad Myers (1998) κάνει μια ανασκόπηση σε συστήματα που κάνουν χρήση χειρονομιών τα οποία ήταν εμπορικά από το 1960. Στην πρωτοποριακή εργασία του Myron Krueger (1983) σχετικά με την εικονική πραγματικότητα, γίνεται μια εισαγωγή στην αλληλεπίδραση με την χρήση χειρονομιών πάνω σε μεγάλες προβαλλόμενες εικόνες. Τα συστήματα πολλαπλών σημείων επιλογής άρχισαν να εμφανίζονται την δεκαετία του 1980 και όπως αναφέρεται στην εργασία του Bill Buxton το πρώτο τέτοιο σύστημα δημιουργήθηκε το 1982. Εξειδικευμένοι αισθητήρες για τον εντοπισμό την ανθρώπινης θέσης και κίνησης εξετάζονται εδώ και πολύ καιρό από την βιομηχανία των παιχνιδιών. Επίσης μουσικά όργανα που χειρίζονται με χειρονομίες και πολύ-απτικές συσκευές εισόδου μουσικής αποτελούν πεδίο έρευνας και εμπορικής εφαρμογής εδώ και μισό αιώνα καθώς το Theremin, ένα ηλεκτρονικό synthesizer που κάνει χρήση χειρονομιών προτυποποιήθηκε από τον δημιουργό του το 1928.

gesturesys.png
Εικόνα 1. Γενική περιγραφή ενός συστήματος διεπαφής με χειρονομίες


Προτυποποίηση των χειρονομιών


Οι περισσότερες χειρονομίες δεν είναι ούτε φυσικές ούτε είναι εύκολο να τις μάθεις και να τις θυμάσαι. Ακόμα και το απλό κούνημα του κεφαλιού είναι πολύπλοκο όταν περιπλέκονται πολλοί πολιτισμοί. Οι Δυτικοί που ταξιδεύουν στην Ινδία δυσκολεύονται να κατανοήσουν τον ινδικό τρόπο κουνήματος του κεφαλιού ο οποίος είναι μια διαγώνια μείξη του δυτικού κάθετου κουνήματος που σημαίνει «ναι» και το οριζόντιου κουνήματος που σημαίνει «όχι». Παρομοίως, οι χειρονομίες κουνήματος του χεριού για να πούμε «γεια», «αντίο», «έλα εδώ» κ.α. πραγματοποιούνται διαφορετικά σε διαφορετικές κουλτούρες. Μια λίστα με διαφορετικές χειρονομίες υπάρχει εδώ: http://en.wikipedia.org/wiki/List_of_gestures.

Είναι οι χειρονομίες ένας πανίσχυρός τρόπος επικοινωνίας; Η απάντηση είναι ναι. Οι χειρονομίες θα βρουν σίγουρα μια κατάλληλη θέση στο ρεπερτόριο των συστημάτων αλληλεπίδρασης. Η βασική διαφορά ανάμεσα στα συστήματα του σήμερα και αυτά που αναπτύχθηκαν τα τελευταία 50 χρόνια είναι η ανάπτυξη των ισχυρών και φθηνών τεχνολογιών για τους αισθητήρες και την επεξεργασία, οι οποίες κάνουν πλέον δυνατή την εφαρμογή αυτών των συστημάτων σε φθηνές συσκευές μαζικής παραγωγής. Έχουμε ήδη δει μεγάλες προόδους στην χρήση τους. Οι χειρονομίες θα προτυποποιηθούν και έτσι θα υπάρχει μια βάση για να στηριχθούν όλες οι εφαρμογές που χρησιμοποιούν χειρονομίες με αποτέλεσμα να διευκολύνεται έτσι και οι χρήση τους, καθώς δεν θα απαιτείται η απομνημόνευση διαφορετικών χειρονομιών για κάθε συσκευή που χρησιμοποιούμε. Για παράδειγμα το κούνημα μια συσκευής αρχίζει να ερμηνεύεται παντού ως «δώσε κάτι εναλλακτικό». Το οριζόντιο κούνημα των δαχτύλων σημαίνει πάνε σε μια νέα σελίδα (π.χ. iPhone). Το τράβηγμα 2 δαχτύλων συνεπάγεται την μεγέθυνση μια εικόνας και το αντίθετο. Αυτές οι χειρονομίες ήδη χρησιμοποιούνται σε πολλά εμπορικά συστήματα που διαθέτουν διεπαφή χειρονομιών. Η μέχρι τώρα εμπειρία στον σχεδιασμό διεπαφών μπορεί να βοηθήσει σημαντικά στην προτυποποίηση χειρονομιών.

Ταξινόμηση των χειρονομιών




Διεπαφές με χειρονομίες και προβλήματα


Τα συστήματα με χειρονομίες είναι πράγματι ένα από τα πιο σημαντικά μελλοντικά μονοπάτια για μια πιο ολιστική αλληλεπίδραση του ανθρώπου με την τεχνολογία. Σε πολλές περιπτώσεις, τα συστήματα αυτά θα βελτιώσουν τον έλεγχο που έχουμε σε συσκευές, την αίσθηση της εξουσίας, την ευκολία και την ευχαρίστησή μας. Αλλά όπως όλες οι τεχνολογίες, τα συστήματα που βασίζονται σε χειρονομίες θα έχουν και το τίμημά τους. Διαφορετικά συστήματα θα οδηγήσουν και σε διαφορετικές συμβάσεις. Θα υπάρχει μια καμπύλη μάθησης. Οι άνθρωποι με αναπηρίες θα πρέπει να ληφθούν υπόψη και να διευκολυνθούν και αυτοί. Τα προβλήματα που θα δημιουργούνται στις περιπτώσεις που ένα σύστημα διαθέτει πολλές χειρονομίες αλλά ο άνθρωπος που το χειρίζεται γνωρίζει μόνο λίγες από αυτές, θα είναι πολλά. Σίγουρα θα αποτελέσουν νέα πηγή αστείων για κάποιους κωμικούς. Οι σχεδιαστές διεπαφών με χειρονομίες πρέπει να έχουν μια βασική κατανόηση του ανθρώπινου σώματος πριν σχεδιάσουν γιατί όσο πιο πολύπλοκη είναι μια χειρονομία, τόσο λιγότεροι θα μπορούν να την κάνουν.

Ο έλεγχος των συστημάτων με την χρήση αλληλεπιδράσεων που παρακάμπτουν τους συμβατικούς μηχανικούς διακόπτες, τα πληκτρολόγια και το ποντίκι είναι ευπρόσδεκτη προσθήκη στο οπλοστάσιό μας. Η χρήση χειρονομιών, ομιλίας ή καλωδίων για την ανάγνωση της ανθρώπινης σκέψης έχει μεγάλη προοπτική στην βελτίωση των αλληλεπιδράσεών μας, ειδικά σε περιπτώσεις όπου οι παραδοσιακές μέθοδοι είναι ακατάλληλες ή αναποτελεσματικές. Αλλά σίγουρα κανένας τρόπος αλληλεπίδρασης δεν αποτελεί πανάκεια. Ο καθένας τους έρχεται με νέα προβλήματα, νέες προκλήσεις και την πιθανότητα δημιουργίας μαζικών σφαλμάτων και σύγχυσης ακόμα και αν συνήθως εισάγονται με μεγάλες προοπτικές και πλεονεκτήματα.

Αρχές σχεδίασης διεπαφών με χειρονομίες


-Το άγγιγμα του Μίδα
  • Η διεπαφή μας πρέπει να καταλαβαίνει πότε να αρχίζει και πότε να σταματά την ερμηνεία μιας χειρονομίας.
  • Μπορούμε να καθορίσουμε κάποιες χειρονομίες ως εναρκτήριες και καταληκτικές για μια σύνοδο όπου το σύστημα θα αναγνωρίζει τις κινήσεις μας.
  • Όπως ο Μίδας δεν ήθελε ότι άγγιζε να γίνεται χρυσός, έτσι κι εμείς δεν θέλουμε όποτε κινούμαστε να ενεργοποιείται το σύστημα

-Πολιτισμικά θέματα
  • Είναι γνωστό πως οι μη προφορική επικοινωνία εξαρτάται από πολιτισμικά στοιχεία.
  • Ο πολιτισμός μπορεί να επηρεάζει την σημασία της χειρονομίας, τον ρυθμό εκτέλεσης της και την ταχύτητά της.
  • Όταν μια χειρονομία δεν ταιριάζει σε κάποιον πολιτισμό τότε μπορούμε να προσαρμόσουμε την διεπαφή μας ανάλογα με τον χρήστη και να επιλέγει ο ίδιος τις χειρονομίες που του ταιριάζουν για να χρησιμοποιεί.

- Σειρά εκτέλεσης επιμέρους ενεργειών

  • Καθορίζεται το κάθε βήμα που πρέπει να εκτελέσει ο χρήστης στην διεπαφή μας για να φέρει σε πέρας μια συγκεκριμένη διεργασία.
  • Παράδειγμα:
    • Ο χρήστης κάνει μια χειρονομία για εισαγωγή και η χειρονομία εκτελείται στο σημείο τοποθέτησης του αντικειμένου
    • Η διεπαφή επιστρέφει ένα σύνολο από αντικείμενα για εισαγωγή
    • Ο χρήστης κάνει μια χειρονομία επιλογής και διαλέγει το αντικείμενο που θέλει
    • Η διεπαφή αφαιρεί την λίστα αντικειμένων και εισάγει το αντικείμενο που επιλέχθηκε

- Σχεδίαση με βάση το πλαίσιο χρήσης

  • Η εφαρμογή θα πρέπει να ερμηνεύει τις χειρονομίες σε σχέση με το πλαίσιο χρήσης.
    • Χωρικές ζώνες – Ο χώρος γύρω από τον χρήστη μπορεί να χωριστεί σε διάφορες ζώνες διάδρασης, όπως χώρος μενού, χώρος εργασίας, χώρος εντολών κ.α. Η θέση στην οποία γίνεται μια χειρονομία καθορίζει και το αποτέλεσμά της.
    • Τρόπος χρήσης – Μπορούμε να επαναχρησιμοποιούμε χειρονομίες με διαφορετικούς τρόπους. Όπως για παράδειγμα το ποντίκι στο Photoshop όπου ανάλογα με τον τρόπο που επιλέγουμε να χρησιμοποιηθεί μπορεί να ζωγραφίσει, να αποκόψει εικόνα κ.α.
- Ανάδραση

  • Η χρήση χειρονομιών για την επικοινωνία με το σύστημα μπορεί να κάνει τον χρήστη ναι νιώσει αποκομμένος. Πρέπει επομένως να τροφοδοτούμε τον χρήστη με ανάδραση η οποία θα τον πληροφορεί ότι το σύστημα καταλαβαίνει την παρουσία και τις κινήσεις του.
  • Η ανάδραση του συστήματος προς τον χρήστη δεν πρέπει να είναι μόνο οπτική αλλά και ακουστική και απτική.

- Ολοκλήρωση και Αποσαφήνιση

  • Η σχεδίαση μιας αποκλειστικά και μόνο διεπαφής χειρονομιών είναι δύσκολη εργασία. Η ταξινομία συνεργασίας όταν έχουμε πολλές τροπικότητες φαίνεται παρακάτω:
    • Μεταφορά: Πρώτα εκτελείται η μια τροπικότητα και μετά η άλλη.
    • Ισοδυναμία: Χρήση οποιασδήποτε τροπικότητας θα φέρει το ίδιο αποτέλεσμα.
    • Συμπληρωματικότητα: Βάλε αυτό εκεί (Λές «βάλε» δείχνοντας το αντικείμενο και μετακινείς το χέρι σου στην τοποθεσία και λες «εκεί» για να ολοκληρωθεί η διαδικασία).
    • Πλεονασμός: Πολλές ταυτόχρονες τροπικότητες.
    • Ειδικότητα: Μόνο μια τροπικότητα έχει πρόσβαση σε κάποια λειτουργία.





Παρουσίαση





Βίντεο























Βιβλιογραφικές Πηγές


  1. Kortum, P. (2008). HCI Beyond the GUI, Elsevier. http://www.hcibeyondthegui.com
  2. Saffer D. (2008). Designing Gestural Interfaces. O'Reilly Media
  3. Smith, C.M. (2004). Human Factors in Haptic Interfaces, ACM Crossroads, http://www.acm.org/crossroads/xrds3- 3/haptic.html
  4. Rubine, D. (1991). Specifying gestures by example, Proceedings of the 18th annual conference on Computer graphics and interactive techniques, ACM SIGRAPH, pp. 329 – 337, 1991
  5. Κουτσάμπασης Π. Προηγμένες διεπαφές χρήστη, Διεπαφές με χειρονομίες (Gesture Interfaces). Τμήμα Μηχανικών Σχεδίασης Προϊόντων και Συστημάτων, Πανεπιστήμιο Αιγαίου
  6. Krueger, M.W. Artificial Reality. Reading, Mass.: Addison-Wesley, 1983.
  7. Buxton, B. Multi-Touch Systems that I Have Known and Loved, Available from http://www.billbuxton.com/multitouchOverview.html
  8. Myers, B.A. A Brief History of Human Computer Interaction Technology. Interactions 5, 2 (1998)44-54. http://www.cs.cmu.edu/~amulet/papers/uihistory.tr.html
  9. http://jnd.org/dn.mss/natural_user_interfaces_are_not_natural.html