Notions de base de K-moyens et des modèles de clustering dbscan pour l'analyse prédictive

category Ordinateurs et logiciels / Big Data / La science des données

Apprentissage non supervisé a de nombreux défis pour l'analyse prédictive - y compris de ne pas savoir à quoi vous attendre lorsque vous exécutez un algorithme. Chaque algorithme va produire sur les résultats différent, vous ne serez jamais certain que l'un résultat est meilleur que l'autre - ou même si le résultat est de toute valeur.

Lorsque vous savez ce que les résultats devraient être, vous pouvez modifier les algorithmes pour produire les résultats souhaités. Dans les ensembles de données du monde réel, vous ne devrez pas ce luxe. Vous devrez compter sur une connaissance préalable des données - ou l'intuition - de décider quels paramètres d'initialisation et les algorithmes à utiliser comme vous créez votre modèle.

Dans tâches réelles d'apprentissage non supervisé, toutefois, cette connaissance préalable est indisponible et le résultat souhaité est difficile à trouver. Choisir le bon nombre de grappes est le problème clé. Si vous arrive de tomber sur le bon nombre de grappes, vos données seront obtenir des connaissances que vous pouvez faire des prédictions très précises. D'un autre côté, devinant le mauvais nombre de grappes peut donner des résultats subpar.




K-means est un bon choix pour les ensembles de données qui ont un petit nombre de grappes avec des tailles proportionnelles et les données linéairement séparables - et vous pouvez escalader pour utiliser l'algorithme sur de très grands ensembles de données.

Penser à linéairement séparables données comme un tas de points dans un graphique qui peut être séparé en utilisant une ligne droite. Si les données ne sont pas linéairement séparables, alors versions plus avancées de K-means devront être employé - qui deviendra plus cher de calcul et peuvent ne pas convenir à de très grands ensembles de données. Dans sa mise en œuvre standard, la complexité pour calculer les centres de classes et les distances est faible.

K-means est largement utilisé pour résoudre les problèmes de grand-données, car il est simple à utiliser, efficace et hautement évolutive. Pas étonnant que la plupart des fournisseurs commerciaux utilisent l'algorithme k-means comme un élément clé de leurs paquets d'analyse prédictive.

Le dbscan (de regroupement spatial densité à base d'applications avec bruit) dans la mise en œuvre scikit-learn ne nécessite pas de paramètres d'initialisation définies par l'utilisateur pour créer une instance. Vous pouvez remplacer les paramètres par défaut lors de l'initialisation si vous voulez. Malheureusement, si vous utilisez les paramètres par défaut, l'algorithme ne peut pas fournir un match serré au résultat souhaité.

Dbscan est mieux adapté pour les ensembles de données qui ont des tailles de cluster disproportionnés, et dont les données peuvent être séparés d'une manière non-linéaire. Comme K-means, dbscan est évolutive, mais son utilisation sur de très grands ensembles de données nécessite plus de mémoire et de puissance de calcul.

Articles Similaires

A propos Auteur
Comment créer et exécuter un modèle d'apprentissage non supervisé de faire des prédictions avec k-means Comment créer et exécuter un modèle d'apprentissage non supervisé de faire des prédictions avec k-means

L'algorithme K-means nécessite un paramètre d'initialisation de l'utilisateur afin de créer une instance pour l'analyse prédictive. Il a besoin de savoir combien de K groupes à utiliser pour effectuer son travail.Longueur des sépalesSépale…

Comment créer un classement de r analyse prédictive modèle Comment créer un classement de r analyse prédictive modèle

Vous voulez créer un modèle d'analyse prédictive que vous puissiez évaluer en utilisant les résultats connus. Pour ce faire, diviser la graines ensemble de données en deux ensembles: l'un pour l'apprentissage du modèle et un pour tester le…

Comment créer un modèle d'apprentissage sans surveillance avec dbscan Comment créer un modèle d'apprentissage sans surveillance avec dbscan

Dbscan (Densité-Basé regroupement spatial des applications avec bruit) est un algorithme de clustering populaire utilisé comme une alternative à K-Means dans l'analyse prédictive. Il ne nécessite pas que vous entrez le nombre de grappes afin…

Comment créer un modèle d'analyse prédictive avec r régression Comment créer un modèle d'analyse prédictive avec r régression

Vous voulez créer un modèle d'analyse prédictive que vous puissiez évaluer en utilisant les résultats connus. Pour ce faire, nous allons partager notre ensemble de données en deux ensembles: l'un pour l'apprentissage du modèle et un pour…

Comment définir et tester des prototypes de d'analyse prédictive Comment définir et tester des prototypes de d'analyse prédictive

Un moyen efficace d'indiquer vos objectifs d'affaires pour l'analyse prédictive est clairement une liste à puces des décisions de l'utilisateur. Ensuite, exécutez votre prototype pour générer des prédictions et des scores pour chaque…

Comment évaluer un modèle d'apprentissage sans surveillance avec des k-means Comment évaluer un modèle d'apprentissage sans surveillance avec des k-means

Après que vous avez choisi votre nombre de grappes pour l'analyse prédictive et avez mis en place l'algorithme pour remplir les clusters, vous avez un modèle prédictif. Vous pouvez faire des prédictions basées sur les nouvelles données…

Comment générer l'analyse prédictive des données et des données axés sur les utilisateurs Comment générer l'analyse prédictive des données et des données axés sur les utilisateurs

Il ya deux façons d'aller sur la génération ou la mise en oeuvre des analyses prédictives: uniquement sur la base de vos données (avec aucune connaissance préalable de ce que vous êtes après) ou avec un objectif d'entreprise proposé que les…

Comment décrire les données d'essais et de test pour l'analyse prédictive Comment décrire les données d'essais et de test pour l'analyse prédictive

Lorsque vos données est prêt et vous êtes sur le point de commencer à construire votre modèle prédictif pour l'analyse, il est utile de décrire votre méthodologie de test et de rédiger un plan de test. Le test doit être guidée par les…

Comment préparer les données pour l'analyse prédictive Comment préparer les données pour l'analyse prédictive

Quand vous apprenez un nouveau langage de programmation, il est de coutume d'écrire le “ Bonjour tout le monde ” programme. Pour l'apprentissage automatique et l'analyse prédictive, la création d'un modèle de classer l'ensemble de…

Comment tester le modèle d'analyse prédictive Comment tester le modèle d'analyse prédictive

Pour être en mesure de tester le modèle d'analyse prédictive vous avez construit, vous devez diviser votre ensemble de données en deux ensembles: formation et de test des ensembles de données. Ces ensembles de données doivent être choisis au…

Comment utiliser K-Means algorithmes de munitions dans l'analyse prédictive Comment utiliser K-Means algorithmes de munitions dans l'analyse prédictive

K est une entrée à l'algorithme prédictif pour analyse- il représente le nombre de groupes que l'algorithme doit extraire à partir d'un ensemble de données, exprimée algébriquement comme k. Un algorithme K-means divise un ensemble de…

Comment utiliser mahout Apache pour l'analyse prédictive Comment utiliser mahout Apache pour l'analyse prédictive

Un outil open-source qui est uniquement utile dans l'analyse prédictive est Apache Mahout. Cette bibliothèque d'apprentissage comprend des versions à grande échelle de la classification, la classification, filtrage collaboratif, et d'autres…

Comment visualiser les grappes dans un k-means modèle de l'apprentissage non supervisé Comment visualiser les grappes dans un k-means modèle de l'apprentissage non supervisé

L'ensemble de données Iris est pas facile à tracer pour l'analyse prédictive dans sa forme originale. Par conséquent, vous devez réduire le nombre de dimensions en appliquant une algorithme de réduction de dimensionnalité qui fonctionne sur…

Comment visualiser les résultats d'analyse de votre modèle: regroupements cachés, les classifications de données, et les valeurs aberrantes Comment visualiser les résultats d'analyse de votre modèle: regroupements cachés, les classifications de données, et les valeurs aberrantes

Visualisation des résultats de votre analyse prédictive aide vraiment les parties prenantes à comprendre les prochaines étapes. Voici quelques façons d'utiliser des techniques de visualisation de rapporter les résultats de vos modèles pour…

» » » » Notions de base de K-moyens et des modèles de clustering dbscan pour l'analyse prédictive