C'est quoi le Web Scraping ?

Web Scraping en une image

C’est quoi le Web Scraping ?

Le web scraping (aussi appelé extraction de donnée, ou harvesting) consiste à collecter de la donnée présente sur internet par l’intermédiaire d’un programme qui va la retranscrire dans un format adapté aux besoins de l’utilisateur final.

Les opérations de web scraping sont réalisées de manière automatique ou semi-automatique par des scripts (ou agents, ou robots, ou algorithmes) avec des objectifs précis.

Pourquoi faire du Scraping ?

Recueillir de la donnée sur Internet à la main est long et fastidieux. Les actions de copier/collée d’une page web à un fichier excel sont rarement sans erreur et le temps que le fichier soit terminé, la donnée a déjà été mise à jour sur le site internet. Qui souhaite appuyer sa stratégie sur de la donnée peu fiable et couteuse ?

L’intérêt du web scraping se situe dans la rapidité d’exécution des robots et dans la qualité de la data restituée à la livraison. Pour ne citer qu’un exemple, vérifier le tarif de 100 000 références sur des sites concurrents ou des places de marché (comme Amazon ou Cdiscount par exemple) n’est réellement faisable que par l’intermédiaire d’outils de Web Scraping.

Web Scraping du site au fichier

Quelques exemples d’utilisation ?

Le web scraping est utilisé par toutes les professions, du secteur la distribution en passant par des architectes, des garages automobiles ou des services marketing. Nous citons quelques exemples ici, mais voici trois cas précis : un vendeur de voiture d’occasion, un acheteur de smartphone reconditionné et un e-commerçant.

  • Le vendeur de voiture d’occasion fait de l’extraction de donnée pour trois raisons majeures : connaitre son marché, identifier les véhicules qu’il peut acheter à bon prix et identifier les véhicules qu’il peut vendre plus chère dans une autre région. Pour ce faire, il « scrap » des sites comme le bon coin ou la centrale, les robots lui rendent un fichier excel regroupant les annonces récentes classées par marque, année, région, etc.

  • Le « reconditionneur » de smartphone a une problématique importante, s’il n’a pas de téléphone à acheter, il n’a pas de business. Il utilise le web scraping avec un objectif : acheter des téléphones à un bon prix. Ses robots agglomèrent les annonces de vente de téléphone d’occasion sur des sites comme Facebook, Leboncoin, Paruvendu ou autre. Lors de la création du fichier, le robot supprime les annonces qui ne rentres par dans les critères du reconditionneur (téléphone qui ne s’allume pas, prix trop élevé etc.) puis il classe la donnée suivant les marques, modèles etc. Le service commercial du reconditionneur n’a plus qu’à prendre contact avec les vendeurs.

  • Le e-commerçant a de nombreuses applications possibles de Web Scraping : Veille tarifaire, analyse de catalogue de concurrents (par exemple, pour trouver une référence qu’il n’aurait pas), Identification des best-sellers des concurrents etc. Dans le cadre d’un de nos client, vendeur dans un secteur très concurrentiel, c’est l’identification des stocks de ses concurrents qui l’intéresse. Quand un de ses concurrents n’a plus de stock il peut mettre en avant son produit avec un prix qui préserve ses marges.

Retrouvez également des cas d’utilisation particulier : Le Web Scraping dans le Drop Shipping

Pourquoi faire appel à une agence de web scraping ?

Il existe bien des façons de faire du web scraping, vous pouvez utiliser des outils disponibles sur le web, coder vos agents en interne ou faire appel à une société de web scraping.

Chez Stratalis, nous sommes spécialistes du Web Scraping depuis 2010, nous développons les robots sur-mesure, suivant les spécifications de nos clients.

Nous conseillons nos clients pour qu’ils obtiennent la meilleure donnée possible pour chaque euros investis, puis nous développons les agents de web scraping adaptés à chacun des sites ciblés, les fichiers de sorties correspondent parfaitement aux attentes de nos clients.

Et vous, quel est votre besoin de data ?
Si vous avez la moindre question, contactez-nous, Maxime ou Florent reviendront vers vous rapidement.

Petit lexique de rappel
Web Scraping = Extraction de donnée = Harvesting.
Robot d’extraction = Scrapeur = Crawler = Algorithme d’extraction = Agent d’extraction.

Vous avez un projet d'extraction ?

Maxime et Florent sont là pour vous conseiller. Parlons-nous !

Contactez-nous