Sonifikacja

Film przedstawiający dane dotyczące zanieczyszczenia powietrza z Pekinu przekazywane jako utwór muzyczny

Sonifikacja to wykorzystanie dźwięku innego niż mowa do przekazywania informacji lub percepcji danych. Percepcja słuchowa ma zalety w rozdzielczości czasowej, przestrzennej, amplitudowej i częstotliwościowej, co otwiera możliwości jako alternatywa lub uzupełnienie technik wizualizacji .

Na przykład szybkość klikania licznika Geigera przekazuje poziom promieniowania w bezpośrednim sąsiedztwie urządzenia.

Chociaż wiele eksperymentów z sonifikacją danych zostało zbadanych na forach, takich jak International Community for Auditory Display (ICAD), sonifikacja napotyka wiele wyzwań związanych z powszechnym stosowaniem do prezentacji i analizy danych. Na przykład badania pokazują, że zapewnienie odpowiedniego kontekstu do interpretacji sonifikacji danych jest trudne, ale niezbędne. Wiele prób sonifikacji jest kodowanych od podstaw ze względu na brak elastycznych narzędzi do badań nad sonifikacją i eksploracji danych.

Historia

Licznik Geigera , wynaleziony w 1908 roku, jest jednym z najwcześniejszych i odnoszących największe sukcesy zastosowań sonifikacji. Licznik Geigera ma rurkę z gazem o niskim ciśnieniu; każda wykryta cząstka wytwarza impuls prądu, gdy jonizuje gaz, wytwarzając kliknięcie dźwiękowe. Oryginalna wersja była w stanie wykryć tylko cząstki alfa. W 1928 roku Geiger i Walther Müller (doktorant Geigera) ulepszyli licznik tak, aby mógł wykrywać więcej rodzajów promieniowania jonizującego.

W 1913 roku dr Edmund Fournier d'Albe z University of Birmingham wynalazł optofon , który wykorzystywał fotoczujniki selenowe do wykrywania czarnego druku i przekształcania go w sygnał dźwiękowy. Niewidomy czytelnik mógł przyłożyć książkę do urządzenia i przyłożyć urządzenie do obszaru, który chciał przeczytać. Optofon zagrał ustaloną grupę dźwięków: g c' d' e' g' b' c e . Każda nuta odpowiadała pozycji w obszarze czytania optofonu, a nuta ta była wyciszona, jeśli wykryto czarny atrament. Tak więc brakujące notatki wskazywały miejsca, w których czarny atrament znajdował się na stronie i mógł być używany do czytania.

Pollack i Ficks opublikowali pierwsze eksperymenty percepcyjne dotyczące transmisji informacji za pomocą wyświetlacza słuchowego w 1954 r. Eksperymentowali z łączeniem wymiarów dźwięku, takich jak czas, częstotliwość, głośność, czas trwania i przestrzenność, i odkryli, że mogą skłonić badanych do zarejestrowania zmian w wielu wymiarach natychmiast. Eksperymenty te nie były bardziej szczegółowe, ponieważ każdy wymiar miał tylko dwie możliwe wartości.

John M. Chambers , Max Mathews i FR Moore z Bell Laboratories przeprowadzili najwcześniejszą pracę nad wykresami słuchowymi w swoim memorandum technicznym „Auditory Data Inspection” w 1974 r. Rozszerzyli wykres rozrzutu za pomocą dźwięków, które zmieniały się w zależności od częstotliwości, zawartości widmowej i modulacji amplitudy wymiary do wykorzystania w klasyfikacji. Nie dokonali żadnej formalnej oceny skuteczności tych eksperymentów.

W 1976 roku filozof technologii, Don Ihde, napisał: „Tak jak wydaje się, że nauka tworzy nieskończony zestaw wizualnych obrazów dla praktycznie wszystkich swoich zjawisk – atomy po galaktyki są nam znane od stolików do kawy po czasopisma naukowe; tak też” muzyka też mogłaby powstać z tych samych danych, które służą do tworzenia wizualizacji”. Wydaje się, że jest to jedno z najwcześniejszych odniesień do sonifikacji jako praktyki twórczej.

Pulsoksymetry weszły do ​​powszechnego użytku w latach 80 . Pulsoksymetry mogą sonifikować stężenie tlenu we krwi, emitując wyższe tony dla wyższych stężeń. Jednak w praktyce ta szczególna cecha pulsoksymetrów może nie być szeroko wykorzystywana przez personel medyczny ze względu na ryzyko zbyt wielu bodźców dźwiękowych w środowisku medycznym.

W 1992 roku Gregory Kramer założył International Community for Auditory Display (ICAD) jako forum badań nad wyświetlaniem słuchowym , które obejmuje sonifikację danych. Od tego czasu ICAD stał się domem dla badaczy z wielu różnych dyscyplin zainteresowanych wykorzystaniem dźwięku do przekazywania informacji na konferencjach i recenzowanych materiałach.

W maju 2022 roku NASA poinformowała o sonifikacji (przekształceniu danych astronomicznych związanych z falami ciśnienia w dźwięk ) czarnej dziury w centrum gromady galaktyk Perseusza .

Niektóre istniejące aplikacje i projekty

Techniki sonifikacji

Można zmienić wiele różnych komponentów, aby zmienić postrzeganie dźwięku przez użytkownika, a co za tym idzie, jego postrzeganie przedstawianych podstawowych informacji. Często wzrost lub spadek poziomu tych informacji jest wskazywany przez wzrost lub spadek wysokości tonu , amplitudy lub tempa , ale można to również wskazać zmieniając inne, rzadziej używane komponenty. Na przykład cenę giełdową można przedstawić jako rosnącą w miarę wzrostu ceny akcji i obniżającą w miarę jej spadku. Aby umożliwić użytkownikowi ustalenie, że przedstawiany był więcej niż jeden materiał, różne barwy lub jasności mogą być używane dla różnych materiałów lub mogą być odtwarzane użytkownikowi z różnych punktów w przestrzeni, na przykład przez różne strony słuchawek .

Podjęto wiele badań w celu znalezienia najlepszych technik prezentacji różnych rodzajów informacji, ale jak dotąd nie sformułowano rozstrzygającego zestawu technik, które należy zastosować. Ponieważ uważa się, że obszar sonifikacji wciąż jest w powijakach, obecne badania mają na celu określenie najlepszego zestawu komponentów dźwiękowych, które będą się zmieniać w różnych sytuacjach.

Można podzielić na kategorie kilka różnych technik słuchowego renderowania danych:

  • Sonifikacja akustyczna
  • Audycja
  • Sonifikacja oparta na modelu
  • Mapowanie parametrów
  • Sonifikacja oparta na strumieniu

Alternatywnym podejściem do tradycyjnej sonifikacji jest „sonifikacja przez zastąpienie”, na przykład Pulsed Melodic Affective Processing (PMAP). W PMAP zamiast sondyfikować strumień danych, protokołem obliczeniowym są same dane muzyczne, na przykład MIDI. Strumień danych reprezentuje stan niemuzyczny: w PMAP stan afektywny. Obliczenia można następnie wykonać bezpośrednio na danych muzycznych, a wyników można słuchać przy minimalnym tłumaczeniu.

Zobacz też

Linki zewnętrzne

Pobrano z „ https://en.wikipedia.org/w/index.php?title=Sonification&oldid=1136217404 ”