CrawlNScrape

CrawlNScrape : Internet Bot, explorez n'importe où ! Grattez n'importe quoi !

Qu'est-ce que CrawlNScrape ?

CrawlNScrape facilite l'exploration sur Internet, en suivant des liens d'un site Web à l'autre, en scrutant ici et là, en obtenant une introduction à l'exploration Internet éthique et au scraping HTML. Il s’agit d’une véritable exploration de facettes inconnues, et peut-être inconnues, d’Internet.

CrawlNScrape vous permet de visiter des sites Web arbitraires pour extraire toutes les données qui peuvent s'y trouver - éléments techniques tels que les détails du code HTML, les images, l'icône, l'auteur, la description, les mots-clés, les métadonnées, les données de formulaires, les médias, et surtout les adresses IP, les géolocalisations. et des liens - et surtout encore - des liens vers d'autres sites Internet !

Un robot d'exploration Web typique tel qu'un robot Google reçoit un ensemble de « sites de départ » et est libéré pour explorer et gratter. Avec CrawlNScrape, vous êtes le bot et CrawlNScrape est votre outil d'exploration et de scraping. Vous contrôlez le choix du site de départ, les sites que vous visiterez et les données que vous récupérerez.

Si vous êtes intéressé par l'exploration d'Internet et le scraping de sites Web, vous devriez aimer travailler avec cette application. Cela peut être fastidieux jusqu'à ce que vous sachiez comment sélectionner | Copier | Coller sur votre appareil, comment utiliser la pile et jusqu'à ce que vous découvriez quels sites Web sont de « bonnes graines » pour vos intérêts particuliers - de préférence ceux avec de nombreux liens hors site.

Scraping HTML éthique…

Le robot d'exploration Web doit respecter les règles définies par robots.txt. CrawlNScrape vous donne les outils pour travailler de cette façon. Le Web scraping est comme n'importe quel autre outil : vous pouvez l'utiliser pour de bonnes choses et vous pouvez l'utiliser pour de mauvaises choses. Le fait que le scraping HTML en lui-même n'est pas illégal ne signifie pas que vous pouvez scraper n'importe quel site de votre choix. CrawlNScrape vous donne les outils nécessaires pour télécharger et étudier le fichier robots.txt, afin que vous puissiez choisir de visiter ou non des sites individuels, et de supprimer ou non divers dossiers et fichiers, selon le cas.

Le Web profond !

Avec Deep Crawling, l’idée est de rechercher des liens sur n’importe quelle page Web, en particulier des liens vers d’autres sites Web. Explorez ensuite ces sites pour trouver d’autres liens vers d’autres pays, où que vous soyez. Continuez ensuite, de plus en plus profondément, dans le World Wide Web.

Depuis la vue d'ouverture, CrawlNScrape propose des leçons d'introduction pratiques pour vous aider à démarrer. De plus, vous constaterez que vous pouvez quitter n'importe quelle autre application telle que Google Maps, la recherche Google, un éditeur de texte et votre navigateur préféré, puis revenir à CrawlNScrape tout en gardant votre « fil d'Ariane » intact dans la pile, afin que vous puissiez aller n'importe où. est un endroit où aller et explorer tout ce qui s'y trouve, avec la certitude que vous pourrez y revenir.

Un aperçu est disponible ici, dès maintenant !

Cette exploration d'introduction commence par un aperçu des options du menu CrawlNScrape afin que vous puissiez comprendre la structure et le flux de l'application. Il commence ensuite une exploration sur https://www.example.com à Phoenix, Arizona, États-Unis et des tournées sur Internet jusqu'à Stockholm, comté de Stockholm, Suède. Par la suite, vous devriez peut-être envisager de rejoindre l'Open Test Group et de poursuivre cette tournée à travers Stockholm, le comté de Stockholm, en Suède ; Londres, Angleterre, Royaume-Uni ; Dublin, Leinster, Irlande ; et bien, partout…

… pour voir ce que tu peux voir

Suivez ce lien pour commencer…

https://mickwebsite.com/MMWebSite/IntroductoryCrawl.html

:)

Mick

[email protected]