AI 3D Builder

Wat is de AI 3D Builder?

De AI 3D Builder is ontworpen in het EUreka3D-XR project om tweedimensionale afbeeldingen om te zetten in complete, bruikbare 3D-modellen. Het doel is om de tijd die nodig is voor het maken van 3D-assets drastisch te verkorten door een proces te automatiseren dat traditioneel expertise in modelleren, textureren en renderen vereist. Het hart van deze pijplijn is Trellis, een systeem gebaseerd op een AI-architectuur die gebruikmaakt van Structured Latents (SLAT)-representatie, waardoor het systeem visuele kenmerken en impliciete ruimtelijke relaties kan vastleggen om 3D-geometrie coherent en realistisch te reconstrueren.

Voor wie is de AI 3D Builder?

• Professionals in cultureel erfgoed
• Onderzoekers
• Instellingen zonder eigen 3D-infrastructuur of expertise

Handleiding

Meer info over deze tool kan je hier vinden.

Overzicht van de pijplijn

Stap 1: afbeeldingen voorbereiden in Photopea

Het doel van deze stap is het object dat je wilt construeren in 3D uit de 2D-beelden te isoleren om fouten in het AI-model te minimaliseren.

• Open je afbeelding in Photopea. Gebruik de 'Polygonal Lasso Select' om het object nauwkeurig te selecteren. Keer de selectie om (Select → Inverse) en druk op Delete om de achtergrond te verwijderen.
• Belangrijk: Exporteer het bestand als PNG om de transparantie te behouden.

Demo

Stap 2: 3D-model genereren met Trellis

Trellis is een AI-gebaseerde tool om 3D modellen te genereren.

• Upload je PNG-afbeeldingen naar de Trellis-webinterface. Gebruik de aanbevolen instellingen uit de handleiding (zoals Guidance Strength en Sampling Steps) voor het meest getrouwe resultaat. Genereer het model en download het als een GLB-bestand.

Demo

Stap 3: 3D-model opschonen in Blender

AI-gegeneerde 3D-modellen zullen altijd imperfecties hebben, die je best corrigeert voor je het verder gaat gebruiken.

• Laad het 3D-model op in Blender. Verwijder ongewenste artefacten, dicht gaten, etc.

Demo

Stap 4: de textuur voorbereiden in Photopea

Tijdens het genereren van modellen kan Trellis een textuur maken op basis van de foto’s die het als invoer ontvangt. Als er slechts één foto wordt aangeleverd, vult Trellis de ontbrekende informatie aan aan de hand van de database met foto’s die voor de training is gebruikt. Wanneer er meerdere afbeeldingen worden aangeleverd, probeert de AI-tool alle informatie te interpoleren om te voldoen aan de instellingen voor de betrouwbaarheidsparameters die vóór het genereren zijn vastgesteld. Soms wordt de textuurinhoud echter willekeurig gegenereerd en is de resolutie in de meeste gevallen niet hoog genoeg om als optimaal te worden beschouwd. Het is daarom noodzakelijk om handmatig een textuur te maken op basis van lokaal beschikbare afbeeldingen.

De belangrijkste stappen bij het creëren van de textuur zijn:

• afbeeldingen samenvoegen,
• het verwijderen van overbodige details,
• afwijkingen in het perspectief corrigeren,
• helderheid en contrast aanpassen.

Demo

Stap 5: de textuur toepassen op het 3D-model in Blender

Importeer het gecorrigeerde 3D-model opnieuw in Blender. Maak een nieuw materiaal aan, importeer je geoptimaliseerde textuur uit stap 4 en breng deze aan op het model. Exporteer het eindresultaat wanneer de positionering correct is en je tevreden bent met het resultaat.

Demo