Comment générer des données dérivées et de réduire sa dimension pour l'analyse prédictive

Dans cette phase de l'exploration de l'analyse prédictive, vous gagnerez une connaissance intime de vos données - qui à son tour vous aider à choisir les variables pertinentes à analyser. Cette compréhension vous aidera également à évaluer les résultats de votre modèle. Mais d'abord vous devez identifier et nettoyer les données pour l'analyse.

Comment générer des données dérivées

Les attributs dérivés sont entièrement nouveaux enregistrements construits à partir d'un ou plusieurs attributs existants. Un exemple serait la création de documents d'identification des livres qui sont best-sellers à des salons du livre. Les données brutes ne peuvent pas capturer ces dossiers - mais à des fins de modélisation, ces enregistrements dérivés peuvent être importants. Prix-per-ratio des gains et 200 jours de moyenne mobile sont deux exemples de données dérivées qui sont fortement utilisés dans les applications financières.

Les attributs dérivés peuvent être obtenus auprès de calcul simple comme en déduire l'âge à partir de la date de naissance. Les attributs dérivés peuvent également être calculées en résumant les informations de plusieurs dossiers.

Par exemple, convertir une table de clients et de leurs livres achetés dans une table peut vous permettre de suivre le nombre de livres vendus par l'intermédiaire d'un système de recommandation, à travers le marketing ciblé, et à une foire du livre - et d'identifier les caractéristiques démographiques des clients qui ont acheté ces livres .

Générer de tels attributs supplémentaires apporter la puissance prédictive supplémentaires à l'analyse. En fait, beaucoup de ces attributs sont créés afin de sonder leur pouvoir prédictif potentiel. Certains modèles prédictifs peuvent utiliser des attributs plus que les attributs dérivés à l'état brut. Si certains attributs dérivés prouvent surtout prédictive et leur pouvoir est prouvé pour être pertinente, alors il est logique d'automatiser le processus qui les génère.

Enregistrements sont issus de nouveaux records qui apportent de nouvelles informations et de fournir de nouvelles façons de présenter de données brutes, ils peuvent être d'une valeur inestimable à la modélisation prédictive.

Comment réduire la dimension de vos données

Les données utilisées dans les modèles de prévision est généralement regroupées à partir de sources multiples. Votre analyse peut tirer de données dispersées dans de multiples formats de données, des fichiers et bases de données, ou plusieurs tables dans la même base de données. La mise en commun des données ensemble et combiner dans un format intégré pour les modélisateurs de données à utiliser est essentiel.

Si vos données contiennent tout contenu hiérarchique, il peut être nécessaire de aplatie. Certaines données ont certaines caractéristiques hiérarchiques tels que les relations parent-enfant, ou un enregistrement qui est constitué d'autres dossiers. Par exemple, un produit comme une voiture peut avoir de multiples données d'aplatissement makers-, dans ce cas, signifie notamment chaque fabricant comme une caractéristique supplémentaire de la fiche que vous analysez.

Aplatissement des données est essentiel quand il a fusionné à partir de plusieurs dossiers connexes pour former une meilleure image.

Par exemple, l'analyse des événements indésirables pour plusieurs médicaments fabriqués par plusieurs sociétés peuvent exiger que les données être aplati au niveau de la substance. En faisant cela, vous vous retrouvez de retirer le un-à-plusieurs (dans ce cas, de nombreux décideurs et de nombreuses substances pour un produit) qui peuvent causer trop de duplication des données en répétant entrées de substances multiples qui répètent produit et le fabricant de l'information à chaque entrée.

Réduit l'aplatissement dimensionnalité des données, qui est représenté par le nombre de fonctions d'un enregistrement ou une observation a.

Par exemple, un client peut avoir les caractéristiques suivantes: nom, âge, adresse, articles achetés. Lorsque vous démarrez votre analyse, vous pouvez vous retrouver à l'évaluation des dossiers avec de nombreuses fonctionnalités, dont certaines seulement sont importants pour l'analyse. Donc, vous devez éliminer tous, mais les très peu de caractéristiques qui ont un pouvoir prédictif le plus pour votre projet spécifique.

La réduction de la dimensionnalité des données peut être réalisée en mettant toutes les données dans un seul tableau qui utilise plusieurs colonnes pour représenter les attributs d'intérêt. Au début de l'analyse, bien sûr, l'analyse doit évaluer un grand nombre de colonnes - mais ce nombre peut être réduit que l'analyse progresse.

Ce processus peut être facilité en reconstituant les champs - par exemple, par le regroupement des données dans des catégories ayant des caractéristiques similaires.

L'ensemble de données résultante - l'ensemble de données nettoyé - est généralement mis dans une base de données distincte pour les analystes d'utiliser. Au cours du processus de modélisation, ces données devrait être facilement accessible, géré et tenu à jour.