Τρόπος υλοποίησης

i. Συνολική Επιστημονική & Τεχνολογική προσέγγιση

Το έργο περιλαμβάνει επτά στόχους, οι οποίοι διακρίνονται σε δύο κατηγορίες: ερευνητικοί (ΕΣ) και προσανατολισμένοι στο χρήστη (ΠΧΣ).

ii. Περιγραφή της μεθοδολογίας ανά στόχο

ΕΣ1: Εθνομουσικολογική τεκμηρίωση αντιπροσωπευτικού μέρους (λαούτο, λύρα και ασκομαντούρα) της συλλογής Παραδοσιακών Μουσικών Οργάνων (ΠΜΟ) του MKE.
Μεθοδολογία: Βιβλιογραφική έρευνα και δια ζώσης επιτόπιες συνεντεύξεις από οργανοπαίκτες, οργανοκατασκευαστές κ.ά. Καταγραφή μουσικών εκτελέσεων με χρήση των ΠΜΟ από παραδοσιακούς οργανοπαίκτες και συλλογή υπάρχοντος πολυμεσικού υλικού.

Καινοτομία: Ανάκτηση του διαχρονικού βίου των ΠΜΟ του ΜΚΕ, μέσα από τη δημιουργία προφορικών μαρτυριών από οργανοποιούς και οργανοπαίχτες, καθώς
και μέσα από την τεκμηρίωση της διαδικασίας κατασκευής των οργάνων.

ΕΣ2: Μελέτη του τρόπου κατασκευής των ΠΜΟ με μη παρεμβατικές τεχνικές. Σχεδιασμός τρισδιάστατων μοντέλων αναπαράστασης των ΠΜΟ και 3D εκτύπωση αντιγράφων.

Μεθοδολογία: Τεχνική έρευνα των χαρακτηριστικών των ΠΜΟ. Εφαρμογή τρισδιάστατης σάρωσης και βελτιστοποίηση του αποτελέσματος, για την παραγωγή τρισδιάστατων εκτυπώσεων σε φυσικό μέγεθος.

Καινοτομία: Θα πρέπει να γίνει εφαρμογή κατάλληλων τεχνικών, ώστε μαζί με τη γεωμετρία να αποκτηθεί και η υφή των σκαναρισμένων ΠΜΟ. Θα βελτιστοποιηθεί η
ποιότητά τους και μέσω της δημιουργίας μπαλωμάτων επιφανειών NURBS θα μειωθεί σημαντικά το μέγεθος των αρχείων που τα αποτελούν.

ΕΣ3: Καθορισμός οντολογιών των ΠΜΟ.

Προετοιμασία της πλατφόρμας διαχείρισης πολυμεσικών δεδομένων (ΠΔΠΔ).

Μεθοδολογία: Καθορισμός προδιαγραφών συστήματος διαχείρισης δεδομένων. Καταχώριση μεταδεδομένων και ψηφιακών οντοτήτων στην ΠΔΠΔ.
Καινοτομία: Θα χρησιμοποιηθεί η πλατφόρμα ανοικτού λογισμικού Omeka το οποίο είναι ειδικά σχεδιασμένο για μουσεία, βιβλιοθήκες, αρχεία και εκθέσεις.

ΕΣ4: Καταγραφή ηχητικών δειγμάτων από φυσικά ΠΜΟ για τη δημιουργία ψηφιακών οργάνων.
Μεθοδολογία: Η ηχογράφηση των ΠΜΟ θα γίνει στο studio του εργαστηρίου ΤΕΧΝΕΣ του ΠΑΜΑΚ, σε βέλτιστες συνθήκες ακουστικής και ηχομόνωσης.
Καινοτομία: Τα μουσικά δείγματα θα πρέπει να ικανοποιούν την ψηφιακή ηχητική αναπαράσταση όλων των ειδών των μουσικών συνθέσεων και παραδοσιακών έργων.

ΠΧΣ1: Ανάπτυξη υποσυστήματος ενημέρωσης με αναγνώριση χειρονομιών. Μελέτη ηχητικής εγκατάστασης με τεχνολογία bone conduction.
Μεθοδολογία: Θα αναπτυχθεί διεπαφή χρήστη αναγνώρισης χειρονομιών με χρήση αισθητήρων Leap Motion. Θα εξερευνηθεί η κατηγοριοποίηση με χρήση τεχνικών Μηχανών Διανυσμάτων Υποστήριξης (SVM) και Συνελικτικών Νευρωνικών Δικτύων (CNN). Θα μελετηθούν ζητήματα ακουστικής τεχνολογίας και μετάδοσης ήχου με την τεχνική bone conduction. Θα δημιουργηθεί πρότυπη επιφάνεια μετάδοσης δονήσεων δαπέδου.

Καινοτομία: Η αναγνώριση των κινήσεων θα γίνεται σε πραγματικό χρόνο και με μεγάλη ακρίβεια με ρυθμό δειγματοληψίας.

ΠΧΣ2: Ανάπτυξη υποσυστήματος διάδρασης του επισκέπτη με τα πιστά αντίγραφα των ΠΜΟ.
Μεθοδολογία: Θα αναπτυχθεί υποσύστημα διάδρασης του επισκέπτη, μέσω διεπαφής αναγνώρισης των χειρονομιών του με χρήση Time-of-Flight (ToF) καμερών
βάθους (depth cameras). Θα αναπτυχθεί υποσύστημα αισθητηριοκινητικής μάθησης για την εκπαίδευση του χρήστη.

Καινοτομία: Η αναγνώριση των δακτυλισμών θα γίνεται μέσω κινητών συσκευών βασισμένων σε τεχνολογίες μικροελεγκτών, ενώ η μετάδοση δεδομένων θα γίνεται
ασύρματα. Το λογισμικό θα εκτελεί δυναμικές διαδικασίες εκπαίδευσης και αναγνώρισης ήχου ή/και χειρονομιών και θα δίνει την κατάλληλη ηχητική ή/και οπτική ανατροφοδότηση.

ΠΧΣ3: Ανάπτυξη υποσυστήματος δημιουργικής ψυχαγωγίας

Μεθοδολογία: Θα υλοποιηθεί εκπαιδευτικό παιχνίδι το οποίο θα περιλαμβάνει ένα τρισδιάστατο παζλ εικονικής συναρμολόγησης ΠΜΟ.

Καινοτομία: Το παιχνίδι θα πρέπει να εναρμονίζεται με το περιβάλλον και τις συνθήκες του μουσείου (π.χ. λειτουργία σε θορυβώδες περιβάλλον για περιορισμένο
χρόνο ανά επισκέπτη) και να προσαρμόζεται στα προφίλ των διαφόρων χρηστών (όπως παιδιά, ενήλικες, κ.ά.).