Webcrawling
Een techniek waarbij een bot, een computerprogramma dat autonoom een taak kan uitvoeren, op een geautomatiseerde en methodische manier het web doorbladert. De webcrawlers maken daarbij een kopie van de gevonden pagina's zodat ze lokaal bewaard kunnen worden.
Webcrawlers zijn oorspronkelijk ontwikkeld om inhoud te indexeren (bv. door zoekmachines). Ze zijn nadien aangepast om websites te archiveren zonder medewerking van hun eigenaar of directe toegang tot de server.