snscrape
Snscrape is open source software om de inhoud van sociale media binnen te halen in een gestructureerd tekstformaat.
Sociale media bronnen
snscrape kan volgende sociale media scrapen:
- Facebook:
- pagina
- groep
- community
- Twitter:
- thread
- search
- user
- hashtag
- posts
- profiel
- user
- Telegram channel
- Weibo user
- VKontakte user
- Instagram:
- user
- hashtag
- location
- reddit:
- user
- subreddit
- search
Enkel publieke posts kunnen gescrapet worden.
Gebruik
URL's van iedere post, afbeelding, ... opvragen
Met snscrape kan je van iedere webresource op een sociale media pagina opvragen die je vervolgens kan gebruiken om met een crawler zoals Wget deze webresource te archiveren.
De inhoud van iedere post verzamelen in een gestructureerd tekstformaat
Je kan ook snscrape gebruiken om de inhoud van iedere post van een sociale media bron te verzamelen in een gestructureerd tekstformaat. Hiervoor wordt het jsonl-bestandformaat gebruikt ( JSON Lines).