La classification d'images avec Hadoop

Classification d'images nécessite une quantité importante de ressources de traitement de données, toutefois, ce qui a limité l'ampleur des déploiements. La classification de l'image est un sujet brûlant dans le monde Hadoop car aucune technologie courante était capable - jusqu'à ce que Hadoop est venu - d'ouvrir les portes pour ce genre de traitement cher sur une telle échelle et efficace.

Classement de l'image commence par la notion que vous construisez un ensemble de formation et que les ordinateurs apprennent à identifier et classer ce qu'ils cherchent à. De la même manière que d'avoir plus de données aide à construire de meilleurs modèles de détection de la fraude et de risque, il contribue également à mieux classer les systèmes d'images.

Dans ce cas d'utilisation, les données est désigné comme la formation réglé ainsi que les modèles sont des classificateurs. Classificateurs reconnaître les caractéristiques ou des modèles au sein de son, l'image, ou vidéo et les classer de manière appropriée. Les classificateurs sont construits et itérativement affinés à partir d'ensembles de formation afin que leurs scores de précision (une mesure d'exactitude) et rappellent scores (une mesure de la couverture) sont élevés.

Hadoop est bien adapté pour la classification d'image, car il fournit un environnement de traitement massivement parallèle pour créer non seulement des modèles de classeurs (itération sur des ensembles de formation), mais fournissent également une évolutivité quasi illimitée pour traiter et exécuter les classificateurs à travers des ensembles massifs de volumes de données non structurées.

Considérez sources multimédias tels que YouTube, Facebook, Instagram, et Flickr - tous sont des sources de données binaires non structurées. La figure montre une façon vous pouvez utiliser Hadoop à l'échelle le traitement de gros volumes d'images et de vidéos stockées pour la classification sémantique multimédia.

Vous pouvez voir comment tous les concepts relatifs au cadre de traitement Hadoop sont appliquées à ces données. Remarquez comment les images sont chargées dans HDFS. Les modèles de classificateur, construites au fil du temps, sont maintenant appliquées aux composants supplémentaires de caractéristique d'image dans la phase de la carte de cette solution. Comme vous pouvez le voir dans le coin inférieur droit, la sortie de ce traitement se compose de classifications d'images qui vont de dessins animés pour les sports et les lieux, entre autres.

Hadoop peut être utilisé pour l'analyse audio ou vocaux, aussi. Un client de l'industrie de la sécurité, nous travaillons avec crée un système de classification audio de classer des sons qui sont entendus par l'intermédiaire de fibres optiques de câbles acoustiques enrichi prévues autour du périmètre de réacteurs nucléaires.

Par exemple, ce système sait comment classer presque instantanément le murmure du vent par rapport au murmure de la voix humaine ou de distinguer le bruit des pas humains courir dans les parcs de périmètre de celle de la faune.

Cette description peut avoir une sorte de Star Trek se sentir à lui, mais vous pouvez maintenant voir des exemples vivants. En fait, IBM rend publique des plus grands systèmes de classification d'image dans le monde, via le système analyse et de recherche IBM Multimédia (iMARS).

Voici le résultat d'une recherche pour le terme iMARS ski alpin. Au sommet de la figure, vous pouvez voir les résultats des classificateurs mappés à l'ensemble de l'image qui a été traitée par Hadoop, avec un nuage de tags associé.

Notez le classificateur parent plus grossièrement définie, par opposition à la plus granulaire. En fait, remarquer les multiples niveaux de classification: rouleaux en, qui roule en - tous générés automatiquement par le modèle de classificateur, construit et marqué en utilisant Hadoop.

Aucune de ces photos a toutes les métadonnées ajouté. Personne n'a ouvert iPhoto et marqué une image comme un sport d'hiver pour le faire apparaître dans ce classement. Il est le classificateur de sports d'hiver qui a été construit à reconnaître attributs et caractéristiques des sports qui sont joués dans un décor hivernal image.

Classement de l'image a de nombreuses applications, et d'être en mesure d'effectuer cette classification à une échelle massive utilisant Hadoop ouvre plus de possibilités pour l'analyse que d'autres applications peuvent utiliser les informations de classification générée pour les images.

Regardez cet exemple de l'industrie de la santé. Une grande agence de la santé en Asie a été axée sur la prestation des soins de santé au moyen de cliniques mobiles pour une population rurale répartis sur un vaste territoire. Un problème important que l'agence a été confronté au défi logistique de l'analyse des données d'imagerie médicale qui a été généré dans ses cliniques mobiles.

Un radiologue est une ressource rare dans cette partie du monde, il était donc logique de transmettre électroniquement les images médicales à un point central et avoir une armée de médecins examinent eux. Les médecins examinant les images ont été rapidement surchargés, cependant.

L'agence travaille actuellement sur un système de classification pour aider à identifier les conditions possibles pour fournir efficacement des suggestions pour les médecins de vérifier. Le dépistage précoce a montré cette stratégie pour aider à réduire le nombre de diagnostics erronés ou inexacts, d'économiser du temps, de l'argent, et - surtout - vie.