Το σύστημα περιλαμβάνει τη δημιουργία μιας επιδεικτικής εγκατάστασης για την ενημέρωση των επισκεπτών του Μουσείου σχετικά με τα μουσικά όργανα που εκτίθενται σε αυτό, την εξοικείωσή τους με τους ήχους που μπορούν αυτά να παράγουν, καθώς και τον τρόπο λειτουργίας (παίξιμο) και δόμησής (κατασκευή) τους. Υποστηρίζεται η συμμετοχή του επισκέπτη σε μια εμπειρία μελέτης του λειτουργικού μοντέλου του μουσικού οργάνου, που κλιμακώνεται μεταξύ της απλής παραγωγής ήχων και της εκτέλεσης μουσικών μοτίβων.
Επιπλέον, υποστηρίζεται η μελέτη του δομικού μοντέλου του μουσικού οργάνου, ως προς τη συναρμολόγησή του, στο πλαίσιο ενός σοβαρού παιχνιδιού (serious game).

Με το σύστημα HapticSOUND, o επισκέπτης θα μπορεί με φυσικές χειρονομίες:

1) Να ενημερωθεί για τα Παραδοσιακά Μουσικά Όργανα (ΠΜΟ), μέσω:

α) προβολής κειμένων, βίντεο, φωτογραφιών ή τρισδιάστατων (3D) αναπαραστάσεων. Η επίδειξη των οργάνων θα περιλαμβάνει τη δομική ανάλυση και
τεκμηρίωσή τους, με κατάλληλα 3D μοντέλα αναπαράστασης.

β) ακρόασης μουσικών δειγμάτων μέσω ειδικής ηχητικής διάταξης που θα αναπαράγει ήχους, με τρόπο ώστε να μπορούν να συμμετέχουν ακόμη και άτομα με
προβλήματα ακοής (μετάδοση ήχου μέσω δονήσεων).

2) Να διαδράσει με το πιστό αντίγραφο (προϊόν 3D εκτύπωσης) του μουσικού οργάνου, ώστε:

α) να εξερευνήσει απτικά και ηχητικά τις δυνατότητες του οργάνου, παράγοντας ήχους με την καθοδήγηση του συστήματος HapticSOUND και λαμβάνοντας σε
πραγματικό χρόνο ανατροφοδότηση οπτική (με τη βοήθεια ενός avatar) και ακουστική / απτική (μέσω κατάλληλων διατάξεων αισθητήρων).

β) να συμμετέχει στην εκμάθηση του οργάνου, στο πλαίσιο ενός ανοικτού μουσικού εργαστηρίου (open music lab), μέσα από μια διαδικασία μίμησης πρότυπων/αυθεντικών εκτελέσεων.

3) Να ψυχαγωγηθεί με τη χρήση σοβαρού παιχνιδιού (serious game), όπου θα επιχειρεί την εικονική συναρμολόγηση των ΠΜΟ με τη βοήθεια μιας βιβλιοθήκης 3D αντικειμένων.

Πρόκειται για μια καινοτόμα προσέγγιση που αξιοποιεί τεχνικές αισθητηριοκινητικής (sensorimotor learning) και μηχανικής μάθησης (machine learning) σε ένα πεδίο
εφαρμογής (αναπαραγωγή ήχων στη βάση αναγνώρισης χειρονομιών και δακτυλισμών σε πραγματικό χρόνο) για το οποίο δεν έχουν εντοπισθεί ανάλογες ολοκληρωμένες εργασίες. Σε αυτή την προσέγγιση, διερευνάται η αξιοποίηση τεχνικών παραγωγής ήχου με bone conduction, καθώς και η ανάπτυξη σοβαρών παιχνιδιών στη βάση γνωστικών θεωριών και πρωτότυπων μοντέλων. Η έρευνα που πρόκειται να πραγματοποιηθεί και η εφαρμογή των αποτελεσμάτων της αναμένεται να προάγει σε σημαντικό βαθμό την παραγωγή και μετάδοση της γνώσης.