Narzędzia i metody dokumentacji językowej

Dziedzina dokumentacji językowej we współczesnym kontekście obejmuje złożony i stale ewoluujący zestaw narzędzi i metod, a badanie i rozwój ich wykorzystania – a zwłaszcza identyfikacja i promocja najlepszych praktyk – można uznać za poddziedzinę właściwa dokumentacja językowa . Wśród nich są zasady etyczne i rejestracyjne, przepływy pracy i metody, narzędzia sprzętowe i narzędzia programowe.

Zasady i przepływy pracy

Badacze dokumentacji językowej często przeprowadzają lingwistyczne badania terenowe, aby zebrać dane, na których opiera się ich praca, nagrywając pliki audiowizualne, które dokumentują użycie języka w tradycyjnych kontekstach. Ponieważ środowiska, w których często odbywają się lingwistyczne badania terenowe, mogą stanowić wyzwanie logistyczne, nie każdy rodzaj narzędzia rejestrującego jest konieczny lub idealny, a często trzeba znaleźć kompromis między jakością, kosztami i użytecznością. Ważne jest również, aby wyobrazić sobie pełny przepływ pracy i zamierzone wyniki; na przykład, jeśli tworzone są pliki wideo, może być wymagana pewna ilość przetwarzania, aby wystawić komponent audio na przetwarzanie na różne sposoby przez różne pakiety oprogramowania.

Etyka

Praktyki etyczne w dokumentacji językowej były przedmiotem wielu ostatnich dyskusji i debat. Linguistic Society of America przygotowało Oświadczenie o etyce i prowadzi blog dyskusyjny o etyce , który koncentruje się przede wszystkim na etyce w kontekście dokumentacji językowej. Sama moralność protokołów etycznych została zakwestionowana przez George'a van Driema . Większość programów studiów podyplomowych, które obejmują jakąś formę dokumentacji językowej i opisu, wymaga od badaczy przedłożenia proponowanych protokołów do wewnętrznej instytucjonalnej komisji rewizyjnej, która zapewnia etyczne prowadzenie badań. Minimalnie uczestnicy powinni zostać poinformowani o procesie i zamierzonym wykorzystaniu nagrań oraz udzielić nagranej dźwiękowej lub pisemnej zgody na wykorzystanie materiałów audiowizualnych przez badacza (badaczy) do badań językowych. Wielu uczestników będzie chciało zostać nazwanymi konsultantami, ale inni nie – to zadecyduje, czy dane muszą zostać zanonimizowane, czy też należy ograniczyć ich publiczny dostęp.

Formaty danych

Przestrzeganie standardów formatów ma kluczowe znaczenie dla współdziałania narzędzi programowych. Wiele pojedynczych archiwów lub repozytoriów danych ma własne standardy i wymagania dotyczące danych zdeponowanych na swoich serwerach – znajomość tych wymagań powinna stanowić podstawę strategii gromadzenia danych i stosowanych narzędzi oraz powinna być częścią planu zarządzania danymi opracowanego przed rozpoczęciem badań . Poniżej podano kilka przykładowych wskazówek z dobrze używanych repozytoriów:

• Wytyczne Archiwum Zagrożonych Języków (ELAR).
• Akceptowane formaty Archiwum Instytutu Maxa Plancka
• Wytyczne audiowizualne w Bibliotece Uniwersytetu Yale

Większość obecnych standardów archiwizacji wideo wykorzystuje MPEG-4 (H264) jako format kodowania lub przechowywania, który obejmuje strumień audio AAC (zwykle do 320 kbit/s). Jakość archiwum audio to co najmniej WAV 44,1 kHz, 16-bit.

Zasady nagrywania

Ponieważ dokumentacja języków jest często trudna, a wiele języków, z którymi pracują lingwiści, jest zagrożonych (w najbliższej przyszłości mogą nie być używane), zaleca się nagrywanie z najwyższą możliwą jakością, biorąc pod uwagę ograniczenia dyktafonu. W przypadku wideo oznacza to nagrywanie w rozdzielczości HD (1080p lub 720p) lub wyższej, jeśli to możliwe, podczas gdy w przypadku dźwięku oznacza to nagrywanie minimalne w nieskompresowanym PCM 44 100 próbek na sekundę, rozdzielczość 16-bitowa. Prawdopodobnie jednak dobre techniki nagrywania (izolacja, wybór i użycie mikrofonu, użycie statywu w celu zminimalizowania rozmycia) są ważniejsze niż rozdzielczość. Mikrofon, który daje wyraźne nagranie mówcy opowiadającego bajkę (wysoki stosunek sygnału do szumu) w formacie MP3 (na przykład przez telefon) jest lepszy niż bardzo hałaśliwe nagranie w formacie WAV, gdzie słychać tylko przejeżdżające samochody. Aby zapewnić uzyskanie dobrych nagrań, lingwiści powinni jak najwięcej ćwiczyć ze swoimi urządzeniami nagrywającymi i porównywać wyniki, aby obserwować, które techniki dają najlepsze wyniki.

Przepływy pracy

Dla wielu lingwistów końcowym rezultatem dokonywania nagrań jest analiza języka, często badanie właściwości fonologicznych lub składniowych języka za pomocą różnych narzędzi programowych. Wymaga to transkrypcji dźwięku, zwykle we współpracy z rodzimymi użytkownikami danego języka. W przypadku ogólnej transkrypcji pliki multimedialne można odtwarzać na komputerze (lub innym urządzeniu zdolnym do odtwarzania) i wstrzymywać transkrypcję w edytorze tekstu. Inne (międzyplatformowe) narzędzia wspomagające ten proces to Audacity i Transcriber , podczas gdy program taki jak ELAN (opisany poniżej) może również pełnić tę funkcję.

Programy takie jak Toolbox lub FLEx są często preferowane przez lingwistów, którzy chcą mieć możliwość interlinearyzacji swoich tekstów, ponieważ programy te tworzą słownik formularzy i reguł analizowania, aby przyspieszyć analizę. Niestety, pliki multimedialne na ogół nie są łączone przez te programy (w przeciwieństwie do ELAN, w którym preferowane są pliki połączone), co utrudnia oglądanie lub odsłuchiwanie nagrań w celu sprawdzenia transkrypcji. istnieje obejście dla Toolbox, które umożliwia kodom czasowym odwoływanie się do pliku audio i umożliwia odtwarzanie (całego tekstu lub zdania, do którego istnieje odwołanie) z poziomu Toolbox — w tym przepływie pracy wyrównanie czasowe tekstu jest wykonywane w Transcriber, a następnie odpowiednie kody czasowe i tekst są konwertowane do formatu, który może odczytać Toolbox.

Sprzęt komputerowy

Rejestratory wideo+audio

Rejestratory, które rejestrują wideo, zwykle rejestrują również dźwięk. Jednak dźwięk nie zawsze spełnia kryteria minimalnych potrzeb i zalecanych najlepszych praktyk dotyczących dokumentacji językowej (nieskompresowany format WAV, 44,1 kHz, 16-bitowy) i często nie jest przydatny do celów językowych, takich jak analiza fonetyczna. różnego rodzaju opakowaniach . Wyjątkiem od tej ogólnej zasady są następujące rejestratory Video+Audio:

Seria Zoom , w szczególności Q8 , Q4n i Q2n , które nagrywają w wielu rozdzielczościach / formatach wideo i audio, w szczególności WAV (44,1/48/96 kHz, 16/24-bit).

W przypadku korzystania z magnetowidu, który nie nagrywa dźwięku w formacie WAV (takiego jak większość lustrzanek cyfrowych), zaleca się osobne nagrywanie dźwięku na innym rejestratorze, zgodnie z poniższymi wskazówkami. Podobnie jak w przypadku dyktafonów opisanych poniżej, wiele dyktafonów obsługuje również różnego rodzaju wejścia mikrofonowe (zwykle przez złącze 1/8 cala lub TRS) – może to zapewnić wysokiej jakości zapasowe nagranie audio, które jest zsynchronizowane z nagranym wideo , co może być pomocne w niektórych przypadkach (np. przy transkrypcji).

Rejestratory dźwięku i mikrofony

Nagrywarki tylko audio mogą być używane w scenariuszach, w których wideo jest niepraktyczne lub w inny sposób niepożądane. W większości przypadków korzystne jest połączenie użycia rejestratora tylko dźwięku z jednym lub kilkoma mikrofonami zewnętrznymi, jednak wiele nowoczesnych rejestratorów dźwięku ma wbudowane mikrofony, które są przydatne, jeśli ważny jest koszt lub szybkość konfiguracji. Rejestratory cyfrowe (półprzewodnikowe) są preferowane w przypadku większości scenariuszy dokumentacji językowej. Nowoczesne dyktafony cyfrowe osiągają bardzo wysoki poziom jakości przy relatywnie niskiej cenie. Niektóre z najpopularniejszych dyktafonów terenowych można znaleźć w Zoom , w tym H1 , H2 , H4 , H5 i H6 . H1 i łatwość obsługi. Inne popularne dyktafony w sytuacjach, w których rozmiar ma znaczenie, to Olympus z serii LS i cyfrowe dyktafony Sony (choć w tym drugim przypadku należy upewnić się, że urządzenie może nagrywać w formacie WAV/Linear PCM).

W scenariuszach dokumentacji językowej można efektywnie wykorzystać kilka typów mikrofonów , w zależności od sytuacji (zwłaszcza uwzględniającej takie czynniki, jak liczba, pozycja i mobilność mówców) oraz budżetu. Ogólnie rzecz biorąc, należy wybierać mikrofony pojemnościowe , a nie dynamiczne . W większości sytuacji w terenie korzystne jest, jeśli mikrofon pojemnościowy ma własne zasilanie (za pomocą baterii); jednakże, gdy moc nie jest głównym czynnikiem, można również zastosować modele zasilane phantomem. Konfiguracja mikrofonu stereofonicznego jest potrzebna, gdy w nagraniu bierze udział więcej niż jeden głośnik; można to osiągnąć za pomocą zestawu dwóch mikrofonów mono lub dedykowanego mikrofonu stereo.

W większości przypadków należy stosować mikrofony kierunkowe, aby odizolować głos mówiącego od innych potencjalnych źródeł hałasu. Jednak mikrofony dookólne mogą być preferowane w sytuacjach, w których występuje większa liczba głośników ustawionych w stosunkowo dużej przestrzeni. Spośród mikrofonów kierunkowych do większości zastosowań odpowiednie są mikrofony kardioidalne , jednak w niektórych przypadkach preferowany może być mikrofon hiperkardioidalny („strzelba”).

Dobrej jakości mikrofony nagłowne są stosunkowo drogie, ale mogą zapewnić nagrania o bardzo wysokiej jakości w kontrolowanych sytuacjach. Mikrofony lavalier lub „lapel” mogą być używane w niektórych sytuacjach, jednak w zależności od mikrofonu mogą one generować nagrania gorsze od mikrofonu nagłownego pod względem analizy fonetycznej i podlegają tym samym obawom, co mikrofony nagłowne pod względem ograniczenie nagrania do jednego mówcy - podczas gdy inni mówcy mogą być słyszalni na nagraniu, będą oni w tle w stosunku do mówcy z mikrofonem krawatowym.

Niektóre mikrofony dobrej jakości używane do kręcenia filmów i wywiadów obejmują strzelbę Røde VideoMic i serię Røde lavalier , mikrofony nagłowne Shure i lavaliery Shure . W zależności od rejestratora i mikrofonu potrzebne będą dodatkowe kable (XLR, konwerter stereo/mono lub przejściówka TRRS na TRS ).

Oprogramowanie

Jak dotąd nie ma jednego pakietu oprogramowania, który byłby przeznaczony do obsługi wszystkich aspektów typowego obiegu dokumentacji językowej lub który byłby w stanie obsłużyć wszystkie aspekty typowego przepływu pracy z dokumentacją językową. Zamiast tego istnieje duża i rosnąca liczba pakietów zaprojektowanych do obsługi różnych aspektów przepływu pracy, z których wiele znacznie się pokrywa. Niektóre z tych pakietów używają standardowych formatów i są interoperacyjne, podczas gdy inne są znacznie mniej.

Powiedz więcej

SayMore to pakiet dokumentacji językowej opracowany przez SIL International w Dallas , który koncentruje się przede wszystkim na początkowych etapach dokumentacji językowej i ma na celu stosunkowo nieskomplikowane wrażenia użytkownika.

Podstawowe funkcje SayMore to: (a) nagrywanie dźwięku (b) import plików z urządzenia nagrywającego (wideo i/lub audio) (c) organizacja plików (d) wprowadzanie metadanych na poziomie sesji i pliku (e) kojarzenie plików AV z dowód świadomej zgody i inne dodatkowe obiekty (takie jak fotografie) (f) segmentacja pliku AV (g) transkrypcja/tłumaczenie (h) adnotacja Ostrożna mowa i tłumaczenie ustne w stylu BOLD .

Pliki SayMore można dalej eksportować do adnotacji w FLEx , a metadane można eksportować w formatach .csv i IMDI ​​w celu archiwizacji.

ROZMACH

ELAN jest rozwijany przez The Language Archive w Instytucie Psycholingwistyki Maxa Plancka w Nijmegen . ELAN to w pełni funkcjonalne narzędzie do transkrypcji, szczególnie przydatne dla naukowców o złożonych potrzebach/celach w zakresie adnotacji.

Przewód

FieldWorks Language Explorer, FLEx jest rozwijany przez SIL International, dawniej Summer Institute of Linguistics, Inc. w SIL International w Dallas . FLEx pozwala użytkownikowi na zbudowanie „leksykonu” języka, czyli listy słów z definicjami i informacjami gramatycznymi, a także na przechowywanie tekstów z danego języka. W tekstach każde słowo lub część słowa (tj. „morfem”) jest powiązane z hasłem w leksykonie. W przypadku nowych projektów i uczniów uczących się po raz pierwszy FLEx jest obecnie najlepszym narzędziem do interlinearyzacji i tworzenia słowników.

Przybornik

Field Linguist's Toolbox (zwykle nazywany Toolbox) jest prekursorem FLEx i od kilkudziesięciu lat jest jednym z najczęściej używanych pakietów dokumentacji językowej. Znany wcześniej jako Shoebox , podstawowe funkcje Toolbox to tworzenie leksykalnej bazy danych i interlinearyzacja tekstów poprzez interakcję z leksykalną bazą danych. Zarówno leksykalną bazę danych, jak i teksty można eksportować do środowiska edytora tekstu, w przypadku leksykalnej bazy danych przy użyciu Multi-Dictionary Formatter ( MDF ) narzędzie do konwersji. Możliwe jest również użycie Toolbox jako środowiska transkrypcyjnego. W porównaniu z ELAN i FLEx, Toolbox ma stosunkowo ograniczoną funkcjonalność i niektórzy uważają, że ma nieintuicyjny projekt i interfejs. Jednak w całym okresie istnienia środowiska Shoebox/Toolbox przeprowadzono dużą liczbę projektów, a jego baza użytkowników nadal korzysta z jego zalet związanych ze znajomością, szybkością i wsparciem społeczności. Zaletą Toolbox jest również bezpośrednia praca z plikami tekstowymi czytelnymi dla człowieka, które można otwierać w dowolnym edytorze tekstu i łatwo nimi manipulować oraz archiwizować. Pliki Toolbox można również łatwo przekonwertować do przechowywania w formacie XML (zalecane w przypadku archiwów), na przykład za pomocą bibliotek Python typu open source, takich jak Xigt przeznaczony do obliczeniowych zastosowań danych IGT.

Narzędzia do automatyzacji elementów przepływu pracy

Dokumentacja językowa może być częściowo zautomatyzowana dzięki wielu narzędziom programowym, w tym:

• eSpeak
• HTK
• Lingua Libre , bezpłatne narzędzie online pozwalające na rejestrację dużej liczby słów i fraz w krótkim czasie (do 1 000 słów/godzinę przy czytelnej liście słów i doświadczonym użytkowniku). Automatyzuje klasyczną procedurę nagrywania plików audio i wideo z wymową (dla mówionych i migowych ). Po zakończeniu nagrywania platforma automatycznie przesyła czyste, dobrze przycięte, dobrze nazwane i przyjazne dla aplikacji pliki bezpośrednio do Wikimedia Commons (możliwe jest pobranie zestawów danych dla określonego języka).
• mysz
• Wyrównywacz Prosodylab
• Sox

Literatura

W recenzowanym czasopiśmie Language Documentation and Conservation opublikowano wiele artykułów poświęconych narzędziom i metodom w dokumentacji językowej.

Film

Indyjski film dokumentalny Dreaming of Words z 2021 roku śledzi życie i twórczość Njattyeli Sreedharan , czwartej standardowej osoby, która porzuciła naukę, która kompiluje wielojęzyczny słownik łączący cztery główne języki drawidyjskie : malajalam , kannada , tamilski i telugu . Podróżując po czterech stanach i prowadząc szeroko zakrojone badania, spędził dwadzieścia pięć lat, tworząc ten wielojęzyczny słownik.

Zobacz też

LRE Mapa zasobów językowych Wyszukiwanie według typu zasobu, języka(ów), typu języka, modalności, wykorzystania zasobów, dostępności, stanu produkcji, konferencji(ów), nazwy zasobu

Katalog GitHub Richarda Littauera Katalog „kodu open source, który byłby przydatny do dokumentowania, konserwacji, rozwijania, ochrony lub pracy z zagrożonymi językami”.

Strona oprogramowania RNLD Strona Research Network for Linguistic Diversity poświęcona oprogramowaniu językowemu.