Ga verder naar de inhoud

brozzler

Brozzler is een gedistribueerde webcrawler die gebruik maakt van een echte browser (Chrome of Chromium) om webpagin's op te halen. Het is daarom in staat om dynamische websites te capteren. Het bevat scripts met menselijk gedrag om interacties te capteren (bv. naar beneden scrolling, media afspelen, etc.). Crawls worden opgestart via de command line; de voortgang kan gevolgd worden via een webinterface. Webarchieven worden opgeslagen in het WARC-formaat.

Beschrijving

Brozzler is een gedistribueerde webcrawler die gebruik maakt van een echte browser (Chrome of Chromium) om webpagin's op te halen. Het is daarom in staat om dynamische websites te capteren. Het bevat scripts met menselijk gedrag om interacties te capteren (bv. naar beneden scrolling, media afspelen, etc.). Crawls worden opgestart via de command line; de voortgang kan gevolgd worden via een webinterface. Webarchieven worden opgeslagen in het WARC-formaat.

Systeemvereisten

* Python 3.5 of hoger * [https://rethinkdb.com/ RethinkDB] * Chromium of Google Chrome versie 64 en hoger

Documentatie

Beheerder

Specificaties

Handleiding & documentatie

Versie

1.5.6

Interface

Platform
["Windows","Linux","MacOS"]
Interface
command line, webinterface

Verwante software

Verwante standaarden

Trefwoorden

archiefcollecties bewegende beelden rasterbeelden tekst

Deze pagina is laatst aangepast op 24 november 2020