Sposób wzrokowego wykonywania utworów na instrumentach muzycznych z wykorzystaniem nut

Pełna nazwa: Sposób wzrokowego wykonywania utworów dźwiękowych na instrumentach muzycznych z wykorzystaniem zapisu nutowego oraz układ do realizacji tego sposobu

Istota wynalazku

Rozwiązanie umożliwia sterowanie procesami generowania dźwięku w elektronicznych instrumentach muzycznych z wykorzystaniem wzroku. Może być także użyte do efektywnego wspomagania procesu nauki gry na tego typu instrumentach, zwłaszcza jako pomoc w opanowywaniu umiejętności czytania zapisu nutowego. Dzięki rozwojowi techniki, dostępne są na rynku elektroniczne instrumenty muzyczne, które dzięki połączeniu z komputerem (lub innymi elektronicznymi urządzeniami przenośnymi), umożliwiają wytwarzanie różnorodnych dźwięków muzycznych. Jednocześnie zastosowanie komputerów, a także urządzeń przenośnych, pozwala na sterowanie elektronicznymi instrumentami muzycznymi, a także na syntetyzowanie dźwięku z użyciem wbudowanego w instrument układu dźwiękowego. Takie podejście jest często stosowane przez muzyków, także w trakcie komponowania utworów.

Znane są liczne sposoby odtwarzania dźwięku, które wykorzystywane do nauki gry np. na elektronicznym instrumencie klawiszowym. Polegają one np. na wyświetlaniu zadania uczniowi na wyświetlaczu i na generowaniu przez instrument dźwięków. Uczeń odpowiada na wyświetlane treści, naciskając klawisze klawiatury urządzenia. Następuje porównanie z zapisanymi wzorami odpowiedzi ucznia poprzez analizę sposobu naciśnięcia klawisza, siły i prędkości nacisku. Bardziej rozbudowane rozwiązania wykorzystują pianino wyposażone w dodatkowy panel montowany nad klawiszami. Panel posiada wbudowane lampki wskazujące, który klawisz należy w danej chwili nacisnąć. Dodatkowo używany jest wyświetlacz alfanumeryczny, który wyświetla zapis nutowy. Elementem składowym urządzenia bywa także pedał pozwalający regulować tempo wyświetlania informacji na panelu i wyświetlaczu.

Opisywany wynalazek wykorzystuje do kontrolowania procesu odtwarzania dźwięku technikę identyfikacji miejsca skupiania wzroku przy patrzeniu na wyświetlacz komputerowy, do wyświetlania zapisu nutowego oraz do odtwarzania dźwięku na podstawie patrzenia na poszczególne nuty. Charakterystycznym elementem urządzenia jest wyświetlacz wyposażony w układ dokonujący pomiaru punktu skupienia wzroku. Wykorzystuje on oświetlacze podczerwieni oraz kamerę również pracującą w zakresie podczerwieni.

Na ekranie wyświetlacza wyświetla się obraz z zapisem nutowym, zaś na oczy użytkownika kieruje się światło podczerwone i dzięki analizie obrazu, mierzy się fiksację wzroku użytkownika. Na podstawie pomiarów fiksacji wzroku określa się jednostkowy element zapisu nutowego, na którym skupiony jest w danej chwili wzrok użytkownika – może to być, zatem, konkretna nuta, która ma zostać zagrana. W związku z tym modyfikowany jest także wyświetlany na ekranie graficzny obraz zapisu nutowego (np. przez zmianę koloru i/lub wielkości nuty). W wyniku interakcji wzrokowej możliwe jest wygenerowanie dźwięku odpowiadającego danemu elementowi (danej nucie). Możliwe jest także wygenerowanie komunikatu (zgodnego ze standardem MIDI lub OSC, stosowanymi w instrumentach muzycznych) i przesłanie go do zewnętrznego instrumentu.

Przesuwanie wzroku wzdłuż wyświetlonego zapisu nutowego powoduje automatyczne odtwarzanie kolejnych dźwięków odpowiadających temu zapisowi. W rezultacie, grający wykonuje utwór muzyczny bez użycia rąk, jednak słysząc, w jaki sposób nuty zamieniają się na dźwięki. Wynalazek może więc być także przydatny dla osób niepełnosprawnych, zwłaszcza z niedowładem rąk.

Wynalazek może być przede wszystkim wykorzystywany do nauki czytania nut, mającej na celu opanowanie umiejętności samodzielnej gry na instrumentach muzycznych. W takiej sytuacji wykorzystywana jest też dodatkowo klawiatura muzyczna, której klawisze mogą być podświetlane równolegle z odtwarzanymi dźwiękami. W każdej chwili użytkownik może także nacisnąć wybrany klawisz, co spowoduje odtworzenie odpowiadającego jej dźwięku i wyróżnienie na ekranie właściwej nuty. Rozwiązanie to dodatkowo wspomaga proces nauki gry z zapisu nutowego. Tę samą zasadę i rozwiązanie techniczne można wykorzystać do automatycznej zmiany strony zapisu nutowego, w momencie, gdy wzrokiem odczytana zostanie ostatnia nuta na stronie poprzedniej. Nawet jeśli muzycy nie będą mieli potrzeby dokonywania zamiany nut na dźwięki, grając ręcznie, to będą zainteresowani możliwością odwracania stron zapisu nutowego bez używania ręki lub pomocy dodatkowej osoby (np. na koncertach).

Potencjał komercjalizacji

Największe możliwości komercjalizacji wynalazku daje wykorzystanie go w procesie nauki czytania zapisu nutowego i gry na instrumentach. Dzięki temu mógłby być wykorzystywany przez dzieci np. w trakcie zajęć z muzyki w klasach szkoły podstawowej. Wynalazek pozwala na całkowicie nową formę interakcji między uczniem a elektronicznym urządzeniem muzycznym, co w przypadku młodego pokolenia, korzystającego dość powszechnie z komputerowych urządzeń muzycznych, jest szczególnie ważne i może być bardzo efektywne. Oczywiście, wskazane byłoby zintegrowanie wynalazku do postaci elektronicznego instrumentu muzycznego tak by nie było konieczności używania komputera. Zapis nutowy i identyfikacja punktu fiksacji wzroku realizowane byłyby z użyciem wyświetlacza wbudowanego w urządzenie, powodując że na szerokim rynku pojawi się nowy rodzaj instrumentów muzycznych, umożliwiających "granie nut wzrokiem".

Należy dostrzec istotną funkcjonalność wynalazku - możliwość gry na instrumencie elektronicznym bez konieczności posługiwania się rękoma. Pozwala to na użycie wynalazku w procesie rehabilitacji osób niepełnosprawnych.