Google dremel et Hadoop
Pour la plupart des gens, le terme Dremel apporte à l'esprit, un outil à faible couple haut débit pratique qui fonctionne bien pour une variété d'emplois autour de la maison. Mais saviez-vous que Google a créé un Dremel? Plutôt que de produire autre Outil mécanique portable, cependant, Google a choisi un outil logiciel rapide destiné à l'analyse interactive des données importantes.
Comme avec d'autres technologies de Google qui ont inspiré parties de l'écosystème Hadoop, comme MapReduce, Google File System (HDFS), et BigTable (voir HBase), Google a développé Dremel pour usage interne et a ensuite publié un document décrivant le but et la conception de la technologie . (En d'autres termes, Dremel est pas quelque chose que vous pouvez télécharger et utiliser sur votre cluster Hadoop.)
Google utilise Dremel pour une variété d'emplois, y compris l'analyse de documents Web-chenilles, détection de spam e-mail, au travers de rapports de plantage de l'application, et plus encore. BigQuery le service de Google utilise en fait Dremel.
Google MapReduce conçu la technologie pour le traitement par lots sur des ensembles massifs de données. Comme leurs besoins ont évolué, a ainsi fait leur technologie, et Google a décidé de créer Dremel pour améliorer les performances des requêtes interactives contre grands ensembles de données.
L'approche de MapReduce offre une tolérance d'évolutivité et de requête faute, mais il est fondamentalement un système basé lot, donc les temps de réponse pour les requêtes plus petites (les requêtes impliquant seulement une petite partie d'un ensemble de données complet, par exemple) ne sont souvent pas ce que les utilisateurs attendent.
Donc, Google a développé une technologie d'exécution des requêtes conçu pour requêtes interactives, qui fonctionne sur des serveurs intermédiaires sur le dessus du Google File System (GFS). (Rappelez-vous, GFS a été l'inspiration pour Apache HDFS, qui est le système de fichiers de Hadoop.)
Similaire à ruche, Dremel utilise un langage de type SQL (plupart des programmeurs connaissent) et emploie une mise en page de données en colonnes. Dremel propose réponse à la requête rapide, interactive tout en préservant l'évolutivité et la tolérance aux pannes trouvé dans Apache Hive. Dans le livre blanc Dremel, Google explique comment il peut effectuer des requêtes d'agrégation en quelques secondes sur les tables avec un billion de lignes - pas mal du tout.
Ainsi Google a sa technologie Dremel, qu'il utilise en interne, mais alors il ya toutes les technologies “ inspiré par ” Dremel (un peu comme tous ces parfums “ inspiré par ” Drakkar Noir).
Hadapt et Hadoop Vers la fin de l'année 2010, Hadapt a été formé comme une start-up par deux étudiants de l'Université de Yale et professeur adjoint de science informatique. Professeur Daniel Abadi et Kamil Bajda-Pawlikowski, un étudiant au doctorat du…
Hadoop Sqoop pour Big Data Sqoop (SQL-à-Hadoop) est un outil grand de données qui offre la possibilité d'extraire des données à partir des données magasins non Hadoop, transformer les données en une forme utilisable par Hadoop, puis charger les données dans HDFS. Ce…
Ibm grande sql et Hadoop IBM a une longue histoire de collaboration avec SQL et de la technologie de base de données. En accord avec cette histoire, la solution d'IBM pour SQL sur Hadoop exploite des composants de ses technologies de base de données relationnelles qui…
Gestion des données de grandes avec Hadoop HDFS et MapReduce: Hadoop, un framework logiciel open-source, utilise HDFS (le système de fichiers distribués Hadoop) et MapReduce pour analyser les données de grandes sur des groupes de produits de base sur le matériel qui est, dans un environnement de calcul…
Bases de données de traitement massivement parallèle Pour permettre une meilleure compréhension des alternatives SQL-sur-Hadoop Hive, il pourrait être utile d'examiner une amorce sur le traitement massivement parallèle (MPP) des bases de données en premier.Apache Hive est posée sur le dessus du…
Hawq Pivotal et Hadoop En 2010, EMC et VMware, les leaders du marché dans la prestation de l'informatique comme un service via le cloud computing, acquis Greenplum Corporation, les gens qui avaient obtenu gain de cause le produit MPP Greenplum Data Warehouse (DW) sur le…
Applications en temps réel et en streaming dans Hadoop Le flux de processus de fils ressemble beaucoup comme un cadre de l'exécution du lot. Vous pourriez vous demander, “? Qu'est-il arrivé à cette idée de flexibilité pour les différents modes d'applications ” Eh bien, le seul cadre de…
Access SQL et ruche apache Apache Hive est incontestablement interface d'interrogation de données la plus répandue dans la communauté Hadoop. À l'origine, les objectifs de conception pour la ruche étaient pas pour assurer la compatibilité de SQL complète et de haute…
Stockage de données structurées et de traitement dans Hadoop Lorsque l'on considère les capacités de Hadoop pour travailler avec des données structurées (ou de travailler avec des données de tout type, d'ailleurs), rappelez-vous les caractéristiques de base de Hadoop: Hadoop est, d'abord et avant tout,…
L'écosystème Hadoop Apache Hadoop est plus que MapReduce et HDFS (Distributed File System Hadoop): Il est également une famille de projets connexes (un écosystème, vraiment) pour le calcul distribué et le traitement de données à grande échelle. La plupart (mais pas…
L'architecture de la ruche apache Comme vous examinez les éléments de Apache Hive montrées, vous pouvez voir au bas cette ruche se trouve au sommet du système Hadoop Distributed File (HDFS) et les systèmes de MapReduce.Dans le cas de MapReduce, les figureshows deux composants…
L'écosystème du client HBase HBase est écrit en Java, un langage élégant pour la construction de technologies distribuées comme HBase, mais le visage il - pas tout le monde qui veut prendre avantage des innovations Hbase est un développeur Java. Voilà pourquoi il ya un…
Les données de grandes mines avec ruche Hive est, une couche d'entreposage des données orientée lots construit sur les éléments de base de Hadoop (HDFS et MapReduce) et est très utile dans les grandes données. Il fournit aux utilisateurs qui connaissent SQL avec une mise en œuvre…
Comment AOL et ask.com recherche Internet En plus des grands moteurs de recherche, d'autres plus petits moteurs, comme AOL et Ask.com, attirent un nombre assez respectable de hits. Et, ils utilisent la technologie Google pour assurer les meilleurs résultats.AOLAOL a été autour, sous une…