Mettez votre grand ensemble de données

Comment allez-vous savoir comment mettre toutes vos données ensemble? Avec un grand projet de données, ce que vous voulez faire avec vos données structurées et non structurées indique pourquoi vous pouvez choisir une seule pièce de la technologie sur l'autre. Il détermine également la nécessité de comprendre les structures de données entrants à mettre ces données à la bonne place.

Gérer différents types de données pour les données volumineuses

Vous devrez tenir compte de certaines des caractéristiques des grandes données et les types de systèmes de gestion de données que vous pourriez utiliser pour aborder chacun.

Intégrer types de données dans un environnement grand de données

Un autre aspect important du Big Data est que vous ne souvent pas besoin de posséder toutes les données que vous allez utiliser. De nombreux exemples font le point. Vous pouvez être exploitant les données des médias sociaux, des données provenant de statistiques de l'industrie de tiers, ou même des données provenant de satellites. Il suffit de penser sur les médias sociaux et vous comprendrez.

Souvent, il est nécessaire d'intégrer les différentes sources. Ces données peuvent venir de tous les systèmes internes, à partir des deux sources internes et externes, ou à partir de sources entièrement externes. Une grande partie de ces données ont pu être cloisonnée avant.

Les données ne doivent pas être viennent à vous en temps réel. Vous venez peut avoir beaucoup de lui et il est disparate dans la nature. Cela pourrait encore se qualifier comme un gros problème de données. Bien sûr, vous pouvez aussi être confronté à un scénario où vous voyez d'énormes volumes de données, à des vitesses élevées, et il est disparate dans la nature.

Le point est que vous ne recevrez pas la valeur de l'entreprise si vous faites affaire avec une variété de sources de données comme un ensemble de silos d'informations déconnectées.

Composants vous devez inclure des connecteurs et des métadonnées.

Connecteurs

Vous voulez avoir quelques connecteurs qui vous permettent de récupérer des données depuis différentes sources de données grands. Peut-être vous voulez un connecteur Twitter ou Facebook un. Peut-être que vous avez besoin d'intégrer de votre entrepôt de données avec une grande source de données qui est hors de vos locaux afin que vous pouvez analyser ces deux sources de données ensemble.

Métadonnées

Un élément essentiel à l'intégration de toutes ces données sont les métadonnées. Métadonnées est les définitions, les correspondances, et d'autres caractéristiques utilisées pour décrire comment trouver, l'accès et utiliser les données d'une entreprise (et logiciels) composants. Un exemple de métadonnées sont des données sur un numéro de compte. Cela pourrait inclure le nombre, la description, le type de données, nom, adresse, numéro de téléphone, et le niveau de la vie privée.

Métadonnées peuvent être utilisés pour vous aider à organiser vos magasins de données et de traiter avec des sources de données nouvelles et changeantes. Bien que l'idée de métadonnées est pas nouvelle, elle est en train de changer et d'évoluer dans le cadre de grands volumes de données. Dans le monde de métadonnées traditionnelle, il est important d'avoir un catalogue qui offre une vue unique de toutes les sources de données.

Mais ce catalogue devra être différent quand vous ne contrôlez pas toutes ces sources de données. Vous devrez peut-être un outil analytique qui vous aidera à comprendre les métadonnées sous-jacent.