Qu'est-ce que le data mining ? Comment ça fonctionne, techniques et exemples

Brittany Kaiser, ancienne directrice du développement commercial pour Cambridge Analytica, a déclaré dans le documentaire de Netflix The Great Hack que les données sont désormais plus précieuses que le pétrole.

Et tout comme le pétrole, l'or, le minerai et d'autres ressources naturelles, il y a une valeur cachée dans les données qui doit être extraite et exploitée à l'aide de logiciels d'apprentissage automatique. Ce processus est appelé exploration de données.

L'exploration de données utilise la collecte de données, les entrepôts de données et le traitement informatique pour découvrir des motifs, des tendances et d'autres vérités sur les données qui ne sont pas initialement visibles en utilisant l'apprentissage automatique, les statistiques et les systèmes de bases de données.

Bien que ce terme soit relativement nouveau (apparu pour la première fois dans les années 1990), il devient de plus en plus courant car les organisations de tous les secteurs l'utilisent pour obtenir des informations supplémentaires sur la manière dont elles peuvent améliorer leurs activités.

Pourquoi l'exploration de données est-elle utile ?

Avoir des données structurées et non structurées ne vous fournit pas nécessairement les informations ou les connaissances dont vous avez besoin. C'est là que l'exploration de données intervient, car elle vous permet de découvrir des motifs et des relations dans de grands volumes de données provenant de multiples sources.

L'exploration de données est utile car elle vous permet de :

• Minimiser le bruit chaotique et répétitif que contiennent vos données
• Découvrir des points de données pertinents et les utiliser pour prédire des résultats probables
• Accélérer le rythme de la prise de décision éclairée grâce à des informations cruciales sur les données
• Utiliser l'analyse prédictive pour trouver des motifs de données historiques et prédire des événements futurs

L'exploration de données examine les données historiques d'une entreprise lors du processus d'analyse des données pour examiner les performances passées ou les prévisions futures. Cela conduit à une prise de décision plus rapide et plus efficace.

Par exemple, grâce à l'exploration de données, une entreprise peut être en mesure de voir quels clients achètent des produits spécifiques à certains moments de l'année. Ces informations peuvent ensuite être utilisées pour segmenter ces clients. La segmentation des clients est importante pour cibler les campagnes de vente et de marketing, ce qui peut conduire à des profits plus élevés, mais aussi indiquer une ou deux tendances potentielles.

En plus de la prise de décision automatisée, l'exploration de données est également un outil important car elle peut prédire et prévoir avec précision les tendances pour votre entreprise en se basant sur des informations historiques et des conditions actuelles. Elle a également la capacité de permettre une utilisation et une allocation plus efficaces des ressources afin que les entreprises puissent planifier et prendre des décisions automatisées pour maximiser la réduction des coûts.

Comment fonctionne l'exploration de données ?

L'exploration de données implique l'exploration et l'analyse de grandes quantités d'informations pour découvrir des motifs et des tendances significatifs. C'est essentiellement un processus en cinq étapes.

1. Une organisation collectera des données à l'aide de logiciels d'extraction de données et les chargera dans un entrepôt de données.
2. Ces données seront stockées et gérées soit sur des serveurs internes, soit dans le cloud. Les outils de visualisation des données utilisent cette étape pour explorer les propriétés des données afin de s'assurer qu'elles aideront à atteindre les objectifs de l'entreprise.
3. Rassemblez les analystes commerciaux, les équipes de gestion et les professionnels des technologies de l'information de votre organisation pour accéder aux données et déterminer les façons dont ils souhaitent les organiser.
4. Les outils logiciels d'application trieront les données en fonction des résultats et utiliseront la modélisation des données et les modèles mathématiques pour trouver des motifs dans les données.
5. Les données seront présentées dans un format lisible et partageable, tel qu'un graphique ou un tableau, créé à l'aide de plateformes d'intelligence d'affaires, et partagées dans les opérations commerciales quotidiennes comme une source unique de vérité.

Passer par ce processus n'aide personne si les données que vous collectez restent inexploitées. Le bon outil d'intelligence d'affaires décompose les données à un niveau granulaire, permettant à votre équipe d'explorer les données pour créer des prévisions, des stratégies et des informations exploitables.

Techniques d'exploration de données

L'exploration de données utilise différentes techniques telles que les règles d'association, le clustering, les arbres de décision, les réseaux neuronaux, l'analyse prédictive et K-Nearest neighbor (KNN) pour trouver des informations utiles à partir des données.

• Règles d'association ou analyse du panier d'achat trouve des relations entre les variables dans un grand ensemble de données. L'analyse de cette relation aide les entreprises à comprendre comment différents points de données s'influencent mutuellement et l'effet global qu'ils créent ensemble. Par exemple, les entreprises de commerce électronique peuvent utiliser les règles d'association pour comprendre la relation entre les ventes totales et les produits que les consommateurs achètent ensemble. Elles peuvent utiliser cette information pour placer des produits, vendre de manière croisée et faire des recommandations personnalisées aux clients.
• Classification est une autre technique d'exploration de données qui utilise des classes prédéfinies pour catégoriser les données. Elle fonctionne en décrivant les facteurs communs entre différents points de données. Par exemple, la détection de spam utilise des algorithmes de classification pour prédire si un nouveau message est un spam ou non en fonction de sa similitude avec les messages de spam précédents.
• Clustering crée des clusters de points de données similaires en fonction de leurs attributs. Il ne nécessite pas de labels prédéfinis comme la classification. Au lieu de cela, les modèles de clustering visent à segmenter les données de manière à ce que chaque cluster contienne des points de données similaires. Par exemple, un modèle de clustering regroupera des termes comme smartphone, casque et écouteurs, et les placera sous un groupe appelé appareils intelligents.
• Arbres de décision décomposent les données numériques et catégoriques en sous-ensembles plus petits en fonction d'une liste de critères que vous définissez. Cette technique d'exploration de données décide des sous-ensembles en fonction de la valeur des entrées et représente les résultats à l'aide d'une structure arborescente. Chaque nœud de l'arbre représente une décision, tandis que chaque branche montre un résultat de cette décision.
• Algorithme KNN segmente les points de données en fonction de leur proximité avec d'autres points de données. Cette technique suppose que les points de données proches les uns des autres ont tendance à être plus similaires que les points de données avec une distance significative entre eux. L'algorithme KNN est une technique d'apprentissage supervisé que les organisations utilisent pour prédire les caractéristiques d'un groupe en fonction de points de données individuels.
• Réseaux neuronaux, également connus sous le nom de réseaux neuronaux artificiels, utilisent des nœuds ou des neurones contenant des entrées, des sorties et des poids pour traiter les données. Chaque nœud génère un signal de sortie après avoir reçu et traité des signaux d'entrée. Les connexions entre les neurones apprennent les motifs et les relations des données pendant le processus d'entraînement du modèle.
• Analyse prédictive partage les résultats ou événements futurs basés sur l'analyse des données historiques. Les organisations utilisent cette méthode d'exploration de données pour battre la concurrence, personnaliser leurs offres, améliorer l'efficacité opérationnelle et accélérer la prise de décision éclairée.
• Modélisation prescriptive fournit une ou plusieurs actions recommandées après avoir analysé, filtré et transformé des données non structurées. Cette technique examine à la fois les variables internes et externes pour améliorer la précision des prédictions.
• Text mining, ou logiciel d'analyse de texte, est une extension de l'exploration de données utilisant le traitement du langage naturel (NLP) pour extraire des informations à partir de données non structurées riches en texte. Cette stratégie au sein de l'exploration de données est utilisée par les compagnies aériennes pour retrouver les bagages perdus, les équipes financières sur le marché boursier pour suivre les nouvelles de dernière minute, et permettre aux professionnels de la santé de catégoriser les dossiers médicaux de leurs patients.

Voici un exemple de fonctionnement du text mining :

Les données riches en texte devront d'abord être collectées et formatées de manière uniforme. Le texte est extrait de tout, des fichiers HTML et XML aux documents Word et fichiers PDF à l'aide de logiciels d'analyse de texte. Ensuite, les fichiers d'image intégrés seront supprimés car ils n'ont aucune valeur en ce qui concerne le text mining.

Ensuite, tout texte considéré comme du "bruit" sera éliminé. Cela comprend des mots comme "de", "un", "le", et ainsi de suite.

Les mots qui sont des synonymes seront unifiés. Les valeurs numériques et les pourcentages seront extraits et formatés de manière distincte. Les phrases, les termes clés, les structures de phrases et d'autres nuances du langage humain seront également décomposés. Maintenant, tout devrait être aussi proche que possible de données structurées.

Processus d'exploration de données

Le processus standard inter-industries pour l'exploration de données (CRISP-DM) a conçu un flux de travail flexible en six phases que les équipes de données peuvent utiliser pour accélérer les tâches d'exploration de données. Suivre ces étapes d'exploration de données permet aux analystes de données d'avoir une structure pour leur travail et de respecter les étapes préparatoires.

Voici les six phases CRISP-DM que vous pouvez suivre pour l'exploration de données.

1. Compréhension de l'entreprise : Les analystes doivent commencer par comprendre l'objectif et la portée du projet avant de nettoyer, extraire ou analyser les données. Commencez par poser des questions telles que : quels sont les objectifs de cette activité d'exploration de données ? quelles forces, faiblesses, opportunités et menaces le SWOT analysis révèle-t-il ? Quelle est la situation actuelle de l'entreprise et à quoi ressemble le succès ?

2. Compréhension des données : Cela implique de collecter des données structurées et non structurées pertinentes à partir de différentes sources. Au cours de cette étape, vous devrez également déterminer le résultat final que vous souhaitez atteindre et comment vous prévoyez de stocker les données. Envisagez également comment la collecte, le stockage et la sécurité des données peuvent affecter le processus d'exploration de données. À la fin, vous voudrez peut-être effectuer une analyse exploratoire pour découvrir des motifs de données préliminaires.

3. Préparation des données : Cette étape d'exploration de données implique l'utilisation d'outils de préparation des données pour finaliser l'ensemble de données. Lors de la préparation des données, vous devez vérifier l'ensemble de données pour détecter les valeurs aberrantes, les erreurs d'entrée et d'autres erreurs. Idéalement, vous devriez également évaluer si l'ensemble de données est inutilement surdimensionné, ce qui pourrait entraver le processus de calcul.

4. Modélisation des données : Une fois que vous avez l'ensemble de données final, vous pouvez commencer à choisir les techniques de modélisation et d'analyse des données appropriées. Votre choix de modèle de données dépend en grande partie des relations ou des motifs que vous souhaitez trouver. Les analystes de données peuvent revenir à l'étape de préparation des données s'ils décident d'utiliser un modèle qui nécessite plus de variables que ce qu'ils ont actuellement.

5. Évaluation : Cette étape du processus d'exploration de données implique de tester le modèle que vous avez construit et de mesurer s'il peut réussir à fournir ce dont vous avez besoin. En fonction des résultats des tests, vous devrez peut-être optimiser le modèle. La phase d'évaluation est un point de contrôle crucial vous aidant à comprendre si vous allez dans la bonne direction pour atteindre les objectifs commerciaux avec le modèle de données.

6. Déploiement : La phase finale du processus d'exploration de données implique de déployer le modèle au sein de l'organisation ou à l'extérieur. Idéalement, vous devriez créer un plan de déploiement pour aider différents publics à comprendre l'objectif du modèle d'exploration de données, comment il fonctionne et comment il résout les problèmes commerciaux.

Applications de l'exploration de données

Les entreprises de divers secteurs se tournent vers l'exploration de données pour obtenir des informations de manière autrefois impossible. Voici quelques exemples de la façon dont l'exploration de données change les entreprises pour le mieux.

Exploration de données dans le marketing

Les entreprises du secteur du marketing utilisent l'exploration de données pour analyser de grandes quantités de données afin d'améliorer la segmentation marketing. Par exemple, en examinant des paramètres tels que l'âge, le sexe, la localisation ou d'autres informations démographiques des clients, l'exploration de données permet de deviner le comportement de leurs clients en corrélation directe avec ces paramètres.

Il est également possible d'utiliser l'exploration de données dans le marketing pour prédire lesquels de vos utilisateurs vont se désabonner de vos campagnes par e-mail ou services, ce qui les intéresse en fonction de leurs recherches sur le site, et ce que votre liste de diffusion devrait inclure pour obtenir un taux de réponse plus élevé.

Exploration de données dans le commerce de détail

Pensez à la façon dont Amazon vous montre une sélection de produits en fonction de ce que vous avez recherché ou acheté dans le passé. C'est l'exploration de données en action. Ou pensez à une équipe de produits qui s'apprête à présenter une idée pour une nouvelle paire de chaussures de course. Ils peuvent dire que les chaussures de course pour hommes se vendent mieux avec un emballage noir plutôt que bleu. Pour prouver cela, ils utilisent un outil d'exploration de données pour montrer le soutien historique de leur théorie.

Nous voyons également l'exploration de données utilisée dans les supermarchés. Grâce aux motifs d'achat conjoints, les supermarchés peuvent identifier les associations de produits pour obtenir des informations sur la façon de placer certains articles dans les allées et sur les étagères (au niveau des yeux ou en haut de l'étagère, par exemple). Ils peuvent également utiliser l'exploration de données pour comprendre quelles offres sont les plus appréciées par leurs clients pour augmenter les ventes à la caisse.

Exploration de données dans le secteur bancaire

Les banques appliquent des techniques d'exploration de données aux notations de crédit et aux systèmes intelligents anti-fraude pour analyser les transactions, les motifs d'achat et les données financières de leurs clients. Elles peuvent également l'utiliser pour en savoir plus sur les préférences ou habitudes en ligne de leurs clients afin d'optimiser le retour sur les campagnes marketing et étudier les obligations de conformité.

Un exemple de cela serait lorsqu'une banque utilise l'exploration de données pour voir qu'un client effectue la majorité de ses achats en ligne. En raison de cette information, la banque peut décider d'augmenter sa limite de carte de crédit avant une grande fête commerciale, comme le Black Friday ou le Memorial Day.

Exploration de données dans le secteur de la santé

Le secteur médical est peut-être celui qui bénéficiera le plus de l'exploration de données, car il l'utilise pour permettre des diagnostics plus précis. Lorsqu'un médecin ou un praticien médical dispose de toutes les informations d'un patient, comme les dossiers médicaux, les motifs de traitement et les examens physiques, il peut prescrire un traitement plus efficace pour les maladies.

L'exploration de données permet également à ceux du domaine médical de gérer les ressources de santé de manière plus efficace et rentable, car elle peut identifier les risques et mieux prévoir la durée des admissions à l'hôpital pour leurs patients. Cela permettrait une meilleure allocation des lits d'hôpital et d'autres ressources vitales pendant le séjour d'un patient à l'hôpital.

Exploration de données dans le secteur de l'assurance

Avec une meilleure compréhension des analyses, les compagnies d'assurance peuvent utiliser l'exploration de données pour résoudre des problèmes complexes liés à la fraude, à la conformité, à la gestion des risques et à l'attrition des clients. Les compagnies d'assurance peuvent également utiliser l'exploration de données pour mieux et plus précisément tarifer les produits dans leurs lignes d'affaires et leur base de clients existante.

Exploration de données dans le secteur manufacturier

Lorsque l'exploration de données est utilisée dans le secteur manufacturier, les plans d'approvisionnement peuvent être mieux alignés sur les prévisions de demande, et la détection des problèmes est utilisée à leur avantage, ce qui est essentiel dans l'industrie. De plus, l'exploration de données dans le secteur manufacturier peut prédire l'usure des actifs de production ainsi que prévoir la maintenance, permettant aux entreprises de maximiser le temps de fonctionnement et de maintenir leur chaîne de production à l'heure.

Exploration de données dans le secteur de l'éducation

En ce qui concerne l'éducation et l'exploration de données, les enseignants peuvent prédire les performances des étudiants avant même le début des cours. Cela permet aux instructeurs de développer des stratégies d'intervention pour s'assurer que les étudiants restent sur la bonne voie. Lorsque les éducateurs peuvent accéder aux données des étudiants, prédire les niveaux de réussite et identifier quels étudiants ont besoin d'une attention supplémentaire, tout le monde peut réussir.

Avantages et inconvénients de l'exploration de données

Il est clair que l'exploration de données est une technologie cruciale dans le monde des affaires en général. Les organisations utilisant l'exploration de données améliorent leurs opérations, quantifient les problèmes commerciaux pour trouver des solutions et découvrent des tendances cachées. Cependant, il existe encore des défis et des obstacles que vous pouvez rencontrer au cours du processus.

Avantages de l'exploration de données

Voici les avantages que les organisations tirent de l'exploration de données.

• Améliorer la rentabilité et l'efficacité : L'exploration de données assure une collecte et une analyse efficaces des données à l'aide de sources de données fiables. De plus, le processus d'exploration de données est bien structuré, permettant aux organisations d'identifier systématiquement les problèmes, de rassembler les données connexes et de formuler des solutions. Cette construction de solutions centrée sur le processus aide les entreprises à résoudre les problèmes efficacement et à augmenter les profits.
• Quantifier et résoudre les problèmes commerciaux : Il est vrai que l'exploration de données peut sembler très différente, selon la maturité organisationnelle et d'autres facteurs. Cependant, toute entreprise, quelle que soit sa taille, peut utiliser l'exploration de données avec des applications nouvelles ou héritées pour identifier les problèmes commerciaux, créer des preuves quantifiables et les résoudre.
• Découvrir des tendances cachées : L'exploration de données permet aux organisations de collecter, traiter et analyser des données brutes provenant de sources disparates dans le but d'obtenir des informations utiles. En d'autres termes, l'exploration de données permet aux entreprises de découvrir des informations qu'elles n'auraient pas remarquées autrement.

Défis de l'exploration de données

L'exploration de données présente également des défis. Vous pouvez rencontrer des données de mauvaise qualité, des préoccupations en matière de confidentialité, et plus encore.

• Données de mauvaise qualité : La mauvaise qualité des données provient souvent de valeurs de données mal placées ou incorrectes. La qualité des données peut également être perdue en raison d'erreurs humaines ou de défaillances logicielles.
• Données redondantes : Un autre problème courant est l'intégration de données redondantes provenant de sources non marquées. Les données redondantes peuvent prendre de nombreuses formes, y compris des données numériques, des fichiers multimédias, des géolocalisations, et plus encore.
• Préoccupations en matière de sécurité et de confidentialité : L'exploration de données est également sujette à des préoccupations en matière de sécurité et de confidentialité. Les organisations privées et gouvernementales rencontrent souvent l'obstacle d'une exploration de données sécurisée et protégée par la confidentialité, étant donné que des informations sensibles et privées sont souvent collectées pour les profils clients et la compréhension du comportement des utilisateurs.

Avenir de l'exploration de données

Le text mining est le présent, mais l'avenir de l'exploration de données se concentrera également sur d'autres formes de données non structurées. Par exemple, les données provenant d'images et de vidéos peuvent être exploitées pour la découverte de connaissances. Il existe déjà certains cadres qui se concentrent sur l'exploration d'images, de vidéos et de sons, mais ils en sont encore à leurs débuts. Cela est appelé exploration de données multimédia.

L'exploration sémantique du Web sera également plus répandue, permettant aux chercheurs de trouver un sens plus profond caché dans les données sur le Web. Le Web sémantique est essentiellement une extension du World Wide Web où les données sur les sites Web sont structurées et étiquetées de manière à être plus faciles à lire pour les machines.

Il y a aussi l'exploration de données ubiquitaire, qui implique l'exploration de données à partir de dispositifs mobiles pour obtenir des informations sur l'utilisateur. Bien que cette méthode soit encore en cours de développement et rencontrera des défis en matière de confidentialité et de coût, elle ouvrira de nombreuses opportunités pour une multitude d'entreprises d'étudier comment les humains interagissent avec les ordinateurs.

D'autres éléments de l'exploration de données que nous verrons à l'avenir sont l'exploration de données géographiques, qui implique l'analyse d'informations provenant d'images prises depuis l'espace. Ce type d'exploration de données est principalement utilisé pour montrer des aspects tels que la distance et la topographie pour les applications de navigation. Il y a aussi l'exploration de données de séries temporelles, une stratégie utilisée pour étudier les tendances cycliques et saisonnières. Elle est également utilisée par les entreprises de vente au détail pour mieux comprendre les motifs d'achat des clients et leurs comportements.

Aucune quantité de données n'est trop vaste

De l'intelligence d'affaires à l'analyse de big data, toutes les données que les entreprises collectent ne serviraient à rien sans la découverte de connaissances.

L'exploration de données permet aux entreprises de visualiser des motifs et des tendances de données brutes qui peuvent ne pas être initialement visibles. Quelles que soient les informations révélées, elles conduiront à une prise de décision plus rapide et plus éclairée. Cela est bénéfique à la fois pour les entreprises et les clients qu'elles servent.

Seul le temps nous dira comment nous, en tant que société, trouverons de nouvelles façons d'exploiter les données et de découvrir des informations exploitables qui conduisent à de nouvelles façons de faire des affaires.

Approfondissez vos connaissances en découvrant comment vous pouvez utiliser l'analyse commerciale pour réussir.

Cet article a été publié à l'origine en 2020. Il a été mis à jour avec de nouvelles informations.