Comment décider de garder les valeurs aberrantes dans l'analyse prédictive
Décider d'inclure les valeurs aberrantes dans l'analyse - ou de les exclure - aura des implications pour votre modèle d'analyse prédictive. Garder les valeurs aberrantes dans le cadre des données dans votre analyse peut mener à un modèle qui est non applicable - soit pour les valeurs aberrantes ou pour le reste des données.
Si vous décidez de garder une valeur aberrante, vous aurez besoin de choisir les techniques et les méthodes statistiques qui excellent dans la manipulation des valeurs aberrantes sans influencer l'analyse. Une telle technique est d'utiliser des fonctions mathématiques tels que les algorithmes naturelles et la racine carrée de réduire l'écart entre les valeurs aberrantes et le reste des données.
Ces fonctions, cependant, ne fonctionnent que pour les données numérique qui est supérieur à zéro - et d'autres problèmes peuvent survenir. Par exemple, la transformation des données peut nécessiter des interprétations de la relation entre les variables dans les données nouvellement transformées qui diffèrent de l'interprétation qui régit les variables dans les données d'origine.
La simple présence de valeurs aberrantes dans vos données peut fournir des indications sur votre entreprise qui peut être très utile dans la génération d'un modèle robuste. Les valeurs aberrantes peuvent attirer l'attention sur un cas d'entreprise valide qui illustre un bit événement important inhabituel.
Vous cherchez des valeurs aberrantes, les identifier et d'évaluer leur impact devrait faire partie de l'analyse des données et de prétraitement. Experts du domaine d'affaires peuvent donner un aperçu et vous aider à décider quoi faire avec les cas inhabituels dans votre analyse. Bien que parfois le sens commun est tout ce que vous devez faire face à des valeurs aberrantes, il est souvent utile de demander à quelqu'un qui connaît les ficelles du métier.
Si vous êtes dans une entreprise qui bénéficie d'événements rares - par exemple, un observatoire astronomique avec une subvention pour l'étude des astéroïdes en orbite de la Terre-franchissement - vous êtes plus intéressé par les valeurs aberrantes que dans la masse des données.
Les valeurs aberrantes peuvent être une grande source d'information. Déviant de la norme pourrait être un signal d'une activité suspecte, nouvelles de dernière heure, ou un événement opportuniste ou catastrophique. Vous devrez peut-être développer des modèles qui vous aident à identifier les valeurs aberrantes et les ânes les risques qu'ils signifient.
Il est prudent de procéder à deux analyses: une qui comprend les valeurs aberrantes, et un autre qui les omet. Ensuite, examiner les différences, essayer de comprendre les implications de chaque méthode, et d'évaluer la façon dont l'adoption d'une méthode plutôt qu'une autre pourrait influencer vos objectifs d'affaires.
-
8 Meilleures pratiques dans la préparation des données - Bases de données statiques et écoutés dans analyics prédictifs
-
Eda techniques pour tester des hypothèses -
Analyse exploratoire des données graphiques (eda) techniques - Comment nettoyer les données pour l'analyse prédictive
- Comment traiter les valeurs aberrantes causés par des erreurs dans le système
Comment traiter les valeurs aberrantes causés par des forces extérieures Soyez sûr que vous vérifiez soigneusement pour les valeurs aberrantes avant elles influencent votre analyse prédictive. Les valeurs aberrantes peuvent fausser les données et l'analyse des données. Par exemple, toute analyse statistique…
Comment trouver la valeur dans vos données d'analyse prédictive Tout voyage réussie exige une préparation sérieuse. Modèles d'analyse prédictive sont essentiellement une plongée en profondeur dans de grandes quantités de données. Si les données ne sont pas bien préparé, le modèle d'analyse…
Comment préparer les données pour un modèle d'analyse prédictive Lorsque vous avez défini les objectifs du modèle pour l'analyse prédictive, la prochaine étape est d'identifier et de préparer les données que vous allez utiliser pour construire votre modèle. La séquence générale des mesures ressemble à…
Comment marquer vos prédictions analytiques précision Lors de l'analyse de la qualité d'un modèle prédictif, vous aurez envie de mesurer son exactitude. L'une prévision plus précise le modèle fait, plus il est utile à l'entreprise, ce qui est une indication de sa qualité. Ceci est tout bon -…
Comment utiliser régressions linéaires dans l'analyse prédictive Régression linéaire est une méthode statistique qui analyse et trouve les relations entre les deux variables. Dans l'analyse prédictive, il peut être utilisé pour prédire une valeur numérique d'une grandeur future.Prenons un exemple de…
Comment visualiser les résultats d'analyse de votre modèle: regroupements cachés, les classifications de données, et les valeurs aberrantes Visualisation des résultats de votre analyse prédictive aide vraiment les parties prenantes à comprendre les prochaines étapes. Voici quelques façons d'utiliser des techniques de visualisation de rapporter les résultats de vos modèles pour…
Test d'hypothèse pour des données aberrantes Plusieurs tests statistiques officielles qui sont conçus pour détecter les données aberrantes. Trois d'entre elles prennent la forme de tests d'hypothèses. Un test d'hypothèse est une procédure pour déterminer si une proposition peut être…
Les statistiques robustes et Big Data Une statistique est dit robuste si elle n'a pas fortement influencée par la présence de valeurs aberrantes. Par exemple, la moyenne est robuste, car il ne peut être fortement affectée par la présence de valeurs aberrantes. D'autre part, la…
Comment mettre en évidence les valeurs aberrantes statistiques dans Excel Lorsqu'on effectue une analyse de données, vous assumez généralement que vos valeurs regroupent autour certain point central de données (une médiane). Mais parfois, quelques-unes des valeurs tombent trop loin du point central. Ces valeurs sont…
Box valeurs aberrantes de l'intrigue et l'utilisation de la couleur sur TI-Nspire Pour représenter graphiquement une deuxième parcelle de boîte sur la TI-Nspire contenant les données de la Ligue nationale, appuyez [MENU]-Terrain Propriétés-Ajouter la variable X et de choisir nl pour créer la deuxième boîte à…
Comment construire une boîte à moustaches sur la TI-84 Plus Vous pouvez utiliser votre calculatrice TI-84 Plus pour construire une boîte à moustaches pour vos données. Appuyez sur [2] [Y =] [2] pour l'accès Plot2. Suivez les étapes 1 à 9 pour la construction d'un histogramme. À l'étape 5,…
Comment trouver la valeur médiane dans un ensemble de données statistiques La médiane est une statistique qui est couramment utilisé pour mesurer le centre d'un ensemble de données. Cependant, il est encore un héros méconnu de la statistique dans le sens où il ne sert presque aussi souvent qu'il devrait l'être,…
Comment interpréter l'écart type dans un ensemble de données statistiques L'écart-type peut être difficile à interpréter comme un seul numéro sur son propre. Fondamentalement, un petit écart signifie que les valeurs dans un ensemble de données statistiques sont proches de la moyenne de l'ensemble de données, en…
Comment faire une boîte à moustaches d'un résumé de cinq nombre UN boîte à moustaches est un graphique unidimensionnel des données numériques basées sur le résumé en cinq nombres. Ce résumé comprend les statistiques suivantes: la valeur minimale, le 25e percentile (connu sous le nom Q1), La médiane, le…