Glashelder. Intelligent automatiseren, leren en valoriseren

Project Glashelder

'Glashelder' is een driejarig-project dat mens en machine laat samenwerken bij het verrijken van 62.000 gedigitaliseerde glasplaten. Glasplaten zijn de eerste fotografische dragers en kwamen in gebruik in de 19e eeuw. Ze werden gebruikt om reproducties te maken of om beelden te projecteren, bijvoorbeeld in het onderwijs. Deze vroege fotografische dragers zijn historisch relevant, maar ook erg kwetsbaar.

Het onderzoeksproject Glashelder bestudeert hoe we bestaande Visual Language Models en AI-technieken kunnen inzetten voor het beschrijven van beeldcollecties. De glasplaten dienen als proeftuin om te analyseren hoe processen van intelligent automatiseren, leren en valoriseren kunnen ingezet worden. Een ethisch en juridisch kader biedt houvast bij de uitdagingen die AI met zich meebrengt.

Fase 1 (2026)

In de eerste fase hebben we ingezet op het opzetten van belangrijke pre-processing componenten, waaronder het clusteren van de afbeeldingen; de ontwikkeling van Glaswacht, een tool voor het labellen van glasplaten als 'safe' of 'unsafe' op basis van specifieke criteria en richtlijnen; en de creatie van Artwork-Matcher, om reeds bestaande metadata over kunst aan onze glasplaten met kunst- en beeldhouwwerken te koppelen.

Fase 2 & 3 (2027-2028)

Na een nieuwe subsidieaanvraag bij de Vlaamse overheid, waarin we tegemoetkwamen aan eerdere opmerkingen, is de verdere financiering goedgekeurd. In fase 2 en 3 gaan we maximaal inzetten op de metadata verrijking en de validatie hiervan, evenals het breed beschikbaar maken van onze ontwikkelde tools en richtlijnen via onder andere Github en de meemoo toolbox.

Partners

Om van Glashelder een breed gedragen en succesvol project te maken, zullen we doorheen de projectfases op verschillende vlakken samenwerken met diverse partners, waaronder:

• Ghent Centre for Digital Humanities (GhentCDH)
• Gents Universiteitsmuseum (GUM)
• Meemoo Vlaams instituut voor het archief
• Amsab-ISG
• Design Museum Gent,
• ADVN
• IGA Poperinge-Vleteren
• FOMU
• DIVA.

De uitdaging: naar een rijke, inhoudelijke beschrijving

Hoe kan de ruime collectie gedigitaliseerde glasplaten inhoudelijk worden beschreven en ontsloten? Het GIVE-project digitaliseerde 62.000 glasplaten uit de Boekentorencollectie: van topografische beelden en lesmateriaal van de vakgroep kunstwetenschappen tot een etnografische collectie. De collectie is een zeer omvangrijk, divers geheel.

Hoewel de glasplaten een beperkte technische beschrijving hebben, is deze beschrijving niet gedetailleerd genoeg om nuttig te zijn voor het publiek of voor verder onderzoek. Sterker, het is op dit moment voor de collectiebeheerders moeilijk om een totaalbeeld te krijgen van de aard van de beeldcollectie en de diverse inhoud van de verschillende deelcollecties. Het handmatig, inhoudelijk beschrijven van deze collecties is praktisch onmogelijk: zowel de schaalgrootte als de nodige expertise zorgt voor aanzienlijke uitdagingen.

De ambitie om een waardering en kwalitatieve beschrijving van de volledige collectie te bereiken, komt dichterbij dankzij artificiële intelligentie. De omvang en typologische diversiteit van de glasplatencollectie maakt het de ideale proeftuin om de methodologie en technieken omtrent artificiële intelligentie in de breedte en de diepte te onderzoeken en beschrijven.

Een hybride aanpak: mens en machine werken samen

Het project Glashelder gebruikt verschillende AI-technieken om de omvangrijke beeldcollectie te verrijken. We gaan aan de slag in drie stappen: intelligent automatiseren, leren en valoriseren. Dit is een hybride methode: mens en machine werken samen en wisselen elkaar af. Via beeldherkenning proberen we in eerste instantie een overzicht te krijgen van de diversiteit van de beeldcollectie. Welke categorieën, of ‘clusters’, zijn er aan te brengen in deze grote hoeveelheid beelden? Via generatieve artificiële intelligentie kunnen we vervolgens beschrijvingen en trefwoorden aan de beelden toekennen, zodat ze in de toekomst vindbaar zijn in de catalogus.

Daarnaast brengen we in kaart welke rollen mensen in het proces opnemen: welke input van een vrijwilliger, conservator, onderzoeker, de erfgoedgemeenschap hebben we nodig vooraleer we een AI-resultaat accepteren? Zo kunnen we menselijke feedback gebruiken om de AI-modellen te trainen en de resultaten te verbeteren. Er wordt bewust gekozen voor het gebruik van open weight modellen. Dit garandeert niet enkel de toegankelijkheid en transparantie maar ook de veiligheid van de data. Deze bestaande modellen kunnen we efficiënt toepassen en verfijnen voor onze casussen, zonder eigen modellen te gaan ontwikkelen.

Ethische & juridische vraagstukken

Het gebruik van GenAI werpt natuurlijk ook heel wat ethische en juridische vraagstukken op. Wat met glasplaten die beschermd zijn door auteursrecht? Of wat als er beelden opduiken die te gevoelig zijn om openbaar te etaleren? Een van de manieren om de dataveiligheid te garanderen, is het gebruiken van niet-commerciële AI-modellen op eigen, beveiligde systemen. Daarnaast zijn we ons ervan bewust dat het gebruik van genAI veel energie kost en een impact heeft op ons klimaat. Het Glashelder-project beperkt deze impact door AI modellen doordacht te gebruiken, en deze enkel in te zetten waar het een meerwaarde oplevert. Aan kunsthistorische glasplaten, bijvoorbeeld, wordt reeds bestaande metadadata gekoppeld via Linked Open Data in plaats van deze nodeloos door een AI model te laten (her)genereren.

Toekomstige resultaten

Op het einde van het project Glashelder hopen we:

• De prachtige en diverse collectie glasplaten verrijkt te hebben met gedetailleerde beschrijvingen en zo toegankelijk maken voor iedereen.
• Interne kennis en expertise te hebben opgebouwd rond de inzet van artificiële intelligentie in erfgoedprojecten en deze te integreren in de werking.
• Methodologische expertise verwerven voor automatische verrijking (i.f.v. thematische onderverdelingen over topografie, dieren, planten, objecten, mensen, scènes, …) en die delen met de sector.
• Een analyse gemaakt te hebben over diverse AI-technieken die herbruikbaar zijn voor het registreren van beelden in de erfgoedsector.
• Een kritische reflectie over de samenwerking tussen mens en machine in de erfgoedsector gestimuleerd te hebben.
• Inzicht verwerven in de automatische reproductie van bias vervat in beladen erfgoedcollecties, met een focus op medisch en koloniaal erfgoed.
• Validatie van de automatische verrijking via een participatieve validatie-omgeving.
• Inzichten collectiebeherende (erfgoed) instellingen verwerken i.f.v het breed uitrollen van de door ons ontwikkelde tools.
• Ontwikkelen van een beleidskader rond het gebruik van AI binnen erfgoedregistratie en -studie.

Vragen, meer lezen of op de hoogte blijven?

• Meer details over het Glashelder-project vind je op onze website. We publiceren hier regelmatig blogposts over het project.
• Blijf op de hoogte met onze driemaandelijkse nieuwsbrief. Schrijf je in door een mailtje te sturen met je naam en mailadres naar de project- en datamanager dr Eva Andersen (eva.andersen@ugent.be).
• Je kan ons ook altijd per mail contacteren voor meer informatie of bij eventuele vragen.