Comment faire pour extraire, transformer et charger des données pour l'analyse prédictive
Après il est initialement collectées, les données sont généralement dispersé dans une déclaration il réside dans plusieurs systèmes de bases de données et ou doit être analysé avant prédire rien. Avant que vous pouvez l'utiliser pour un modèle d'analyse prédictive, vous avez à le consolider en un seul endroit. En outre, vous ne voulez pas travailler sur les données qui résident dans les systèmes opérationnels - qui est d'avoir des ennuis.
Au lieu de cela, placer une partie de celui-ci dans un endroit où vous pouvez travailler sur librement sans affecter les opérations. ETL (extraction, transformation et chargement) est le processus qui permet d'atteindre cet état souhaitable.
De nombreuses organisations ont plusieurs databases- votre modèle prédictif sera probablement utiliser les données de chacun d'eux. ETL est le processus qui recueille toutes les informations nécessaires et le place dans un environnement séparé où vous pouvez lancer votre analyse.
ETL est pas, cependant, une fois et pour tous Notice d'utilisation en général il est un processus continu qui rafraîchit les données et le maintient à jour. Soyez sûr que vous exécutez vos processus ETL de nuit ou à d'autres moments lorsque la charge sur le système d'exploitation est faible.
L'étape d'extraction recueille les données souhaitées dans sa forme brute des systèmes opérationnels.
L'étape de transformation rend les données recueillies prêt à être utilisé dans votre modèle prédictif - fusionnant, générer les attributs dérivés souhaités, et de mettre les données transformées dans le format approprié pour répondre aux exigences de l'entreprise.
L'étape de chargement place les données dans son emplacement désigné, où vous pouvez lancer votre analyse à ce sujet - par exemple, dans un magasin de données, entrepôt de données, ou d'une autre base de données.
Vous devez suivre une approche systématique pour construire vos processus ETL pour remplir les exigences de l'entreprise. Il est une bonne pratique de conserver une copie des données d'origine dans une zone séparée de sorte que vous pouvez toujours revenir à elle en cas d'erreur perturbe la transformation ou les étapes de chargement des processus.
Votre processus ETL doit intégrer modularité - la séparation des tâches et d'accomplir le travail en plusieurs étapes. Cette approche présente des avantages au cas où vous voulez de retraiter ou de recharger les données, ou si vous voulez utiliser certaines de ces données pour une analyse différente ou pour construire différents modèles prédictifs. La conception de votre ETL devrait être en mesure d'accueillir les grandes modifications des exigences d'affaires - avec des changements minimes à votre processus ETL.
-
Hadoop comme un moteur de prétraitement des données -
Bases de données statiques et écoutés dans analyics prédictifs - Construire un modèle d'analyse prédictive
- Les sources de données pour les projets d'analyse prédictive
- Assurer le succès lors de l'utilisation d'analyse prédictive
- Comment construire déployables modèles d'analyse prédictive
Comment trouver la valeur dans vos données d'analyse prédictive Tout voyage réussie exige une préparation sérieuse. Modèles d'analyse prédictive sont essentiellement une plongée en profondeur dans de grandes quantités de données. Si les données ne sont pas bien préparé, le modèle d'analyse…
Comment aller vivre avec le modèle d'analyse prédictive Après le développement de votre modèle d'analyse prédictive et avec succès le tester, vous êtes prêt à le déployer dans l'environnement de production. Le but ultime d'un projet d'analyse prédictive est de mettre le modèle que vous…
Comment identifier les données pour l'analyse prédictive Pour votre projet d'analyse prédictive, vous aurez besoin d'identifier les sources de données appropriées, les données du pool de ces sources, et le mettre dans un format structuré bien organisé. Ces tâches peuvent être très difficiles et…
Comment garder prédictive des données d'analyse à jour Après l'étape de chargement de Extract Transform Load, après que vous obtenez vos données dans cette base de données séparée, data mart, ou d'un entrepôt pour l'analyse, vous aurez besoin de conserver les données de sorte que les frais…
Comment décrire les données d'essais et de test pour l'analyse prédictive Lorsque vos données est prêt et vous êtes sur le point de commencer à construire votre modèle prédictif pour l'analyse, il est utile de décrire votre méthodologie de test et de rédiger un plan de test. Le test doit être guidée par les…
Comment utiliser l'analyse supervisées pour former des modèles prédictifs Dans Analytics supervisées, l'entrée et la sortie préférée font partie des données de formation. Le modèle d'analyse prédictive est présenté avec les résultats corrects dans le cadre de son processus d'apprentissage. Un tel apprentissage…
Analyse des données Big et l'entrepôt de données Vous trouverez la valeur en apportant les capacités de l'entrepôt de données et de l'environnement de données grand ensemble. Vous devez créer un environnement hybride où les grandes données peuvent travailler main dans la main avec…
Analyse d'affaires (olap) Analyse d'affaires est le terme utilisé pour décrire les données de visualisation d'une manière multidimensionnelle. Données de requête et de rapport est généralement présentés dans la rangée après rangée de données bidimensionnelles.…
L'extraction des données, le mouvement, et le chargement de l'entrepôt de données suprême Un entrepôt de données a une distribution de données à grande échelle et de technologies de pointe qui peuvent intégrer diverses “ diriger l'entreprise ” systèmes, l'amélioration de la qualité globale des actifs de données à…
Services de middleware: mouvement de données et le chargement de données Dans la plupart des situations, les deux services de middleware - la sélection et de l'extraction, et l'assurance qualité - se déroulent sur le même plate-forme (système) sur lequel la source de données réside. Si votre entrepôt de données…
Middleware pour l'entreposage de données Middleware est un logiciel d'ordinateur qui se connecte les composants logiciels. Dans un environnement d'entreposage de données, les services de middleware sont l'ensemble des programmes et des routines qui font ce qui suit:Extraire des données…
Services de réplication pour l'entreposage de données Services de middleware de réplication combinent la sélection et de l'extraction, le mouvement, et le chargement d'une base de données à un ou plusieurs autres, généralement gérés par un produit de SGBD unique. (La base de données de source…
L'avenir des entrepôts de données à l'époque grand de données Le marché de l'entrepôt de données a en effet commencé à changer et à évoluer avec l'avènement de grands volumes de données. Dans le passé, il était tout simplement pas rentable pour les entreprises de stocker la quantité massive de…
Comment construire le rapport de composants de processus d'une analyse d'affaires Votre analyse d'affaires devrait briser les exigences en quatre grands composants essentiels: Règles données, des processus, des agents externes / acteurs, et d'affaires. UN processus est quelque chose qu'une personne ou une chose ne reçoit que…