Spraak-naar-tekst transcriptie met noScribe

Inleiding

De tool combineert verschillende opensource technologieën in een grafische gebruikersinterface om kwaliteitsvolle transcripties te maken. Het maakt gebruik van Whisper AI (ontwikkeld door OpenAI) en faster-whisper (Guillaume Klein). Voor de sprekersidentificatiefunctie gebruikt de tool Pyannnote, ontwikkeld door Hervé Bredin

Mogelijkheden van noScribe:

• het is mogelijk om verschillende sprekers te identificeren met S00, S01, S02 etc.
• Er worden tijdscodes toegevoegd aan de transcriptie.
• Stopwoorden, gelach en euhm's worden overgeslagen en pauzes worden gemarkeerd met "(..)".

Sommige onderdelen van een opname kunnen dus verloren gaan. Voor onderzoekers kunnen deze elementen belangrijk zijn. Het is daarom belangrijk om transcripties te controleren en eventuele fouten aan te passen. Geen enkele automatische transcriptietool is foutloos. Tekst controleren en aanpassen kan in een ingebouwde tekstverwerker met de mogelijkheid om de audio te beluisteren in de achtergrond. Zo kan je de transcriptie eenvoudig vergelijken met de opname.

De automatische transcriptie gebeurt offline. Er is dus geen internetverbinding nodig na de installatie. Een potentieel nadeel daaraan is dat het transcriberen traag kan gaan op oude of niet performante computers. Hoe krachtiger de computer, hoe sneller de transcriptie. Op een relatief krachtige laptop was het mogelijk om een audio-opname van 10 minuten met verschillende sprekers in het Nederlands te transcriberen in 6 minuten.

Andere potentiële nadelen:

• NoScribe wordt op het moment van schrijven actief verder ontwikkeld, dus bugs zijn niet uit te sluiten. Op Windows kan het bijvoorbeeld gebeuren dat de Start knop niet zichtbaar is bij het openen van het programma. Het volstaat gelukkig om het venster naar onder te vergroten om het onderdeel zichtbaar/bruikbaar te maken.
• Whisper, het automatische transcriptiesysteem in de achtergrond, kan de neiging hebben om te hallucineren tijdens stiltes omdat het de achtergrond interpreteert als tekst, maar dit hebben we nog niet echt kunnen vaststellen
• De sprekersidentificatiefunctie is niet 100 % accuraat en kan soms meerdere sprekers noteren dan er in werkelijkheid zijn.

Installatie

NoScribe werkt op Windows, macOs en Linux.

Windows

Op Windows zijn er 2 keuzes:

1. Als je computer een toegewijde grafische kaart (GPU) heeft van NVIDIA met meer dan 6GB grafisch geheugen, kan noScribe gebruik maken van een speciale technologie die het transcriberen merkbaar versnelt. Dat vereist een andere installatieprocedure.
2. Anders gebeurt de transcriptie via de interne processor of CPU, waardoor het iets trager verloopt.

Om te checken of je computer een aparte, geschikte grafische kaart heeft van NVIDIA, open taakbeheer met ctrl+shift+esc en navigeer naar het "Performance" (pretaties) menu.

Zoek hier naar een GPU van het merk NVIDIA én check of het videogeheugen of VRAM 6GB is of hoger. Gevonden? Ga verder met de installatie-instructies vanaf hier.

Heeft je computer geen geschikte grafische kaart? Ga dan verder met onderstaande installatie-instructies.

Voor computers zonder NVIDIA-kaart met meer dan 6GB VRAM

• Ga naar de downloadpagina en klik op de link onder The general purpose version for normal PCs without a NVIDIA graphics card. Normaalgezien is dat een "drive.switch"-link naar een online folder.
• Klik daar op de "noScribe_setup_0_5_1.exe"-link. Een download zou moeten starten.

Na het downloaden (wat even kan duren) kan je noScribe installeren zoals andere software.

• Het starten van de installatie kan even duren.
• Als je de melding krijgt "Windows protected your PC", klik op Run anyway. Windows vindt open source software wel vaker verdacht. In dit geval is het een false positive en is noScribe veilig om te gebruiken.

Voor computers met een dedicated GPU met een VRAM van minstens 6GB

Volg deze link en klik op de link onder A special version using CUDA acceleration on NVIDIA graphics cards with at least 6 GB of VRAM.

• Klik op de beide bestanden op de website "noScribe_Setup_0_5_cuda.exe" en "noScribe_setup_0_5_cuda.nsisbin" om ze te downloaden.

Dit kan lang duren. Vooral het het nsisbin bestand is groot.

• Om succesvol gebruik te maken van de aparte grafische kaart bij het transcriberen moet ook een correcte installatie van NVIDIA CUDA toolkit aanwezig zijn. Dit zorgt ervoor dat noScribe de kracht van de GPU kan benutten om het transcriptieproces te versnellen.
• Om de juiste CUDA-versie te installeren moeten we de GPU Driver versie vinden.
• Zoek naar Nvidia control panel, open het programma en druk op enter om het programma te openen.

• Klik vervolgens op Help en dan op System Information

• In het menu "System information" staat er onder Details een lijn Driver version:

• Vergelijk nu het Driver nummer met deze tabel om te weten te komen welke CUDA-versie compatibel is met jouw grafische kaart.
• Ga vervolgens naar deze website om de juiste CUDA versie te downloaden.

Wanneer alle noscribe bestanden en de CUDA toolkit bestanden gedownload zijn:

1. Installeer eerst de Nvidia CUDA toolkit.
2. Herstart je computer
3. Zorg dat het noScribe_setup_0_5_1.exe-bestand en de nsisbin-bestand in dezelfde map zitten.
4. Dubbelklik het noScribe_setup_0_5_1.exe-bestand. Het kan even duren eer de setup start. Geduld.

Wanneer de installatie van noScribe is afgerond, open dan noScribe.

Potentiële bug oplossen

Er is een aparte bug bij deze versie van noscribe waar je potentieel tegenaan kan lopen. Gelukkig is het gemakkelijk op te lossen. Dit probleem is gemeld op de noScribe github, de ontwikkelaars zijn op de hoogte van het probleem).

• Het startscherm van noScribe wordt soms verkeerd geschaald waardoor het scherm er zo uit ziet:

In plaats van zo:

• Klik en sleep het onderste gedeelte van het noscribe venster om de startknop zichtbaar te maken.

NoScribe is nu succesvol geïnstalleerd.

Mac

Afhankelijk van het soort processor en de versie van je besturingssysteem (macOs) dien je een specifiek installatiebestand te downloaden en installatieprocedure te volgen.

• Identificeer de processor van je computer. Klik hiervoor op het Appel-icoontje linksboven en selecteer About This Mac.

• In het volgende menu naast "Chip" of "Processor" zou er een model moeten staan. Dat is Apple M1 of M2 of een intelprocessor.

• Als je computer een Apple MX chip heeft, start hier met de installatieprocedure
• Als je mac wat ouder is (ouder dan 2020) is de kans groot dat je een "Intel Processor" vermelding zal vinden.

• Kijk in dat geval welke macOS-versie geïnstalleerd is en volg deze stappen

Voor nieuwe macs met een M1, M2, M3 of M4 processer (CPU)

• Ga naar (Apple%20Silicon) deze map en download het installatiebestand noScribe_0.5.0b_arm64.dmg.
• Dubbelklik op het gedownloade dmg-bestand en sleep noScribe en noScribeEdit naar de je Applicaties (met het label drag both here to install).
• Je hebt een Apple Rosetta2 Intel Emulator nodig omdat FFmpeg, een onderdeel van noScribe om video- en audiobestanden te converteren, niet compatibel is je CPU.
• Installeer Rosetta2 manueel:
• Open de terminal met cmd + spatie, zoek vervolgens naar Terminal en druk op enter. Of navigeer naar de map /Applications/Utilities/ en open de Terminal.app.
• Met de terminal open, kopieer het volgende commando softwareupdate --install-rosetta or softwareupdate --install-rosetta --agree-to-license en druk op enter om het commando uit te voeren.
• Volg vervolgens de instructies op het scherm om de rosetta2 software van apple te installeren.
• Open vervolgens noScribe.

Voor macs met een intel processor

• Afhankelijk van je besturingssysteem:
• voor macOS 14 (Sonoma) of 15 (Sequoia): Ga naar (Intel) deze pagina om de correcte installer (noScribe_0.5.0b_x86_64_unsigned.dmg) te downloaden.
• voor macOS 11 (Big Sur), 12 (Monterey) and 13 (Ventura): Open (old%20Intel) deze link en download het installatiebestand (noScribe_0.5.0_x86_64_unsigned_legacy.dmg).

Bericht van de ontwikkelaars: Helaas kunnen we het x86_64-pakket momenteel niet correct ondertekenen, dus u krijgt een waarschuwing dat noScribe en noScribeEdit van niet-geregistreerde ontwikkelaars zijn. U moet handmatig toestaan ​​dat noScribe en noScribeEdit worden uitgevoerd als uw Gatekeeper actief is.

Dit betekent dat je je computer moet geruststellen dat de software veilig genoeg is om te openen en te gebruiken.

• Dubbelklik op het gedownloade dmg-bestand
• Sleep noScribe en noScribeEdit naar je Applicatiesmap.
• Dubbelklik nu op noScribe alsof je het programma zou starten.
• Er verschijnt een error met de melding dat noScribe van een niet-geregistreerde ontwikkelaar komt
• Ga naar Systeeminstellingen > Privacy en Beveiliging > Privacy and Security. Scroll naar beneden tot je een bericht ziet dat het starten van noScribe werd vermeden en klik op Open toch of Open anyway.
• Doe hetzelfde voor de noScribe Editor.

Vanaf nu zouden beide programma's gewoon moeten openen als je ze opstart.

Linux

Er zijn nog geen officiele installatieinstructies voor Linux, Voorlopig zijn er deze instructies voor Ubuntu: opgesteld door iemand die noScribe aan de praat heeft gekregen op Ubuntu.

Opmerking: De procedure hieronder maakt gebruik van een Python virtuele omgeving.

Zorg ervoor dat Python en pip geïnstalleerd zijn.

1. Download en pak de laatste NoScribe broncode uit van https://github.com/kaixxx/noScribe/releases.
2. Download en pak de laatste NoScribeEdit broncode uit van https://github.com/kaixxx/noScribeEditor.
3. Zet de NoScribeEditor-map in de NoScribe-map die je eerder hebt gedownload en hernoem de NoScribeEditor-map naar noScribeEdit.
4. Open een terminal en ga naar de NoScribe-map (cd in de NoScribe-map).
5. Voer de volgende commando's uit:

python3 -m venv .venv # je moet mogelijk python3 vervangen door python, afhankelijk van de versie van Python die geïnstalleerd is.

source .venv/bin/activate

pip install -r environments/requirements_linux.txt

pip install -r noScribeEdit/environments/requirements_macOS.txt # Ja, het zegt macOS, maar er is op dit moment geen Linux vereistenbestand.

1. Download alle bestanden van https://huggingface.co/guillaumekln/faster-whisper-large-v2/tree/main en zet ze in de map models/faster-whisper-large-v2 binnen je NoScribe-map.
2. Download alle bestanden van https://huggingface.co/guillaumekln/faster-whisper-small/tree/main en zet ze in de map models/faster-whisper-small binnen je NoScribe-map.
3. Bewerk het bestand noScribe.py zoals volgt om NoScribeEditor te kunnen openen vanuit NoScribe:

• Bewerk regel 566 zodat deze er als volgt uitziet:

program = os.path.join(app_dir, 'noScribeEdit', "noScribeEdit.py")

• Bewerk regel 578 zodat deze er als volgt uitziet:

Popen(['python3', program, file], **kwargs) # je moet misschien python in plaats van python3 gebruiken, afhankelijk van je omgeving

• Bewerk regel 580 zodat deze er als volgt uitziet:

Popen(['python3', program], **kwargs)

NoScribe starten:

1. Open een terminal en ga naar de directory waar de NoScribe-bronbestanden zich bevinden.
2. Activeer je virtuele omgeving met:

source .venv/bin/activate

1. Voer het volgende commando uit:

python3 noScribe.py

HiDPI probleem:

Als je een HiDPI-scherm hebt, kunnen het NoScribe-venster en de tekst erg klein zijn.

Je kunt de volgende regels toevoegen aan het bestand noScribe.py na regel 70:

ctk.set_widget_scaling(2) # widgetdimensies en tekstgrootte / pas de waarde aan zoals gewenst

ctk.set_window_scaling(2) # venstergeometrie / pas de waarde aan zoals gewenst

Opmerking: Soms, wanneer je een bestandsnaam selecteert om op te slaan, ontbreekt de punt voor de extensie standaard, wat een fout veroorzaakt. Voeg de punt handmatig toe.

Gebruik

Open noScribe. Het kan even duren eer je een interface ziet, even geduld. Als noScribe start, check of je de blauwe Start-knop kan zien , zo niet, maak het venster wat groter naar onder toe.

1. Audio file: Klik op het blauwe mapje om je audio of video bestand te selecteren dat je wil transcriberen.Video bestanden worden automatisch geconverteerd naar .wav (zonder het originele bestand te overschrijven).
2. Save Transcript as: Klik op het blauwe mapje om de doelmap van je transcriptie te selecteren en selecteer het formaat:
• HTML om je transcriptie te bewerken in de ingebouwde editor;
• TXT om je transcriptie op te slaan als een standaard tekstbestand
• VTT om een ondertitel bestand te maken.

  

3. Start (hh:mm:ss): Geef hier aan vanaf wanneer in het bronbestand de transcriptie moet starten, hh= uur, mm= minuten, ss= seconden.
4. Stop (hh:mm:ss): Geef aan tot wanneer in het bronbestand de transcriptie moet uitgevoerd worden. Een transcriptie maken van enkel de eerst 5 minuten, kan in dit veld met bijvoorbeeld: "00:05:00".
5. Language: Selecteer de gesproken taal van het bronbestand, gebruik de optie "Auto" om Whisper te laten analyseren welke taal er gesproken wordt. Er worden 100 talen ondersteund door Whisper. Niet elke taal zal een even accurate transcriptie opleveren. Voor Nederlands werkt Whisper goed.
6. Quality: Geef aan hoe accuraat de transcriptie moet gebeuren. Precise duurt langer maar is meer accuraat. Fas gaat sneller, maar het transcript gaat meer fouten bevatten.

   

7. Mark pause: markeer pauzes langer dan x aantal seconden. Pauzes worden getranscribeerd als ronde haakjes met één punt per seconde ertussen, bijvoorbeeld '(..)' voor een pauze van twee seconden. Pauzes langer dan 10 seconden worden uitgeschreven als '(XX seconden pauze)' of '(XX minuten pauze)'.

   

   De opties zijn:
• None: geen pauzes markeren;
• 1sec+: markeert pauzes langer dan 1 seconde;
• 2sec+: markeert pauzes langer dan 2 seconden;
• 3sec+: markeert pauzes langer dan 3 seconden.
8. Speaker detection: Opties om op voorhand een paar dingen in te stellen over het aantal sprekers in het bronbestand. Het op voorhand aangeven van het aantal sprekers kan het eenvoudiger maken om de sprekers te identificeren. De Auto-optie probeert het aantal sprekers te identificeren, maar is hierin niet feilloos. Je kan het aantal sprekers ook op None zetten als het identificeren van sprekers niet nodig is. Dit versnelt de transcriptietijd aanzienlijk, maar de transcriptie wordt dan één doorlopende blok tekst.

   

9. Overlapping Speech: Geef aan of er sprekers in het bronbestand door elkaar spreken of niet. Als deze optie aan staat, probeert noScribe momenten te markeren waarin twee mensen tegelijkertijd spreken met //dubbele slashes//. Dit is een experimentele functie.
10. "Timestamps:" Wanneer ingeschakeld, verwerkt noScribe tijdstempels in het formaat [hh:mm:ss] in de transcriptie. Hetzij bij elke wisseling van spreker of elke 60 seconden.
11. Start: De Start- of Cance-knop wanneer er een transcriptie wordt gemaakt. Deze knop heeft de neiging om niet zichtbaar te zijn bij het starten van noScribe.
12. Editor: De knop om de ingebouwde tekstverwerker te openen en zo nodig de transcriptie aan de hand van de audio aan te passen.
13. Logvenster: Een venster dat informatie geeft over de versie van de software en je verwijst naar de documentatie. Hier zal ook de voortgang te zien zijn van de transcriptie.

Transcriberen starten

• Navigeer naar een audio- of videobestand dat je wilt transcriberen. Via het Audio file:-tekstveld.

• Selecteer daarna het formaat waarin je de transcriptie wil opslaan en druk op "Save" of "Opslaan".

Selecteer .html als je de transcriptie wilt bewerken in de ingebouwde tekstverwerker.

• Geef via de Start- en/of Stop-optie aan welk deel van het bronbestand je wilt transcriberen. Laat de opties voor wat ze zijn als je heel het bestand wil transcriberen.
• Selecteer de taal als je de taal weet.
• Kies de kwaliteit waarin je de transcriptie wil.
• Beslis of pauzes langer dan x aantal seconden moeten worden genoteerd
• Als je weet hoeveel sprekers er zijn in het bronbestand, geef dan het aantal aan.
• Wanneer je denkt dat er overlappende sprekers zijn in het bronbestand en je wil dat dit genoteerd wordt, kan je dit aangeven in de Overlapping Speech:-optie.
• Geef aan of je tijdscodes wilt zien in de transcriptie.
• Klik vervolgens op Start.
• De transcriptie zal nu starten. Dit kan even duren afhankelijk van hoe krachtig je computer is, hoe lang het audio- of videobestand is, hoeveel sprekers er zijn en hoe precies de transcriptie moet zijn. De vooruitgang zou zichtbaar moeten zijn in het logvenster met een progressiebar in het rood onderaan

Transcriptie aanpassen

• Als het automatische transcriptieproces klaar is, zie je het volgende scherm.

• Normaalgezien gaat de editor automatisch open. Als dat niet gebeurt, klik op de grijze Editor-knop rechtsonder in het logvenster.

• In de editor kan je de transcriptie aanpassen. Het is mogelijk om ergens in de tekst te klikken en het relevante stuk audio af te spelen door op de Play/Pause Audio-knop te klikken.

• De tekst zal worden gemarkeerd tijdens het afspelen van de audio.
• Sla de tekst op na het bewerken.

Eerder gemaakte transcriptie aanpassen in de editor

Dit werkt enkel als je de eerdere transcriptie hebt opgeslagen als HTML.

• Open de noScribe Editor. Dit is een apart stukje software. Op Mac zit dit in de Applications-folder. Op Windows zoek je naar "noScribe Editor" via het startmenu.

• In de editor: Gebruik het mapicoontje linksboven, en selecteer een eerder gemaakte transcriptie.

• Het kan even duren voor een transcriptie geladen is. Dit is afhankelijk van de grootte.

• Als het originele bronbestand niet meer op de originele plek staat, ga je de audio niet tegelijkertijd met de transcriptie kunnen afspelen. Als het bronbestand niet verplaatst is geweest zal er audio afspelen in de achtergrond als je op de Play/Pause Audio knop klikt.

Tot hier de handleiding voor noScribe. We willen herhalen dat de software in volle ontwikkeling is en dat de handleiding is geschreven in een vroeg stadium van dat proces. De informatie in de handleiding kan dus verouderd zijn. Wees welkom om deze pagina aan te passen.

Als je problemen ondervindt met noScribe, laat het dan weten op de issuespagina van de Github pagina van noScribe. Vermeld welke computer je gebruikt, met welke versie van je besturingssysteem en de kans is groot dat de ontwikkelaars je probleem kunnen oplossen of je vragen beantwoorden.