Big Data y el modelo de gobierno de grandes volúmenes de datos. Una experiencia práctica para el manejo de mas de 5 mil millones de registros

Se describe el modelo de gobierno de grandes volúmenes de datos para su aplicación en el mundo BigData para el manejo de mas de 5 mil millones de registros de fuentes heterogéneas.

El modelo se ha diseñado en base a las experiencias realizadas en ambitos diversos del sector gubernamental y de empresas privadas.

En todas las experiencias se cuenta con una gran diversidad de sistemas productivos de generacion de contenido. Cada sistema ofrece un gran numero de servicios y reportes.

Sin embargo, la integracion de todas las fuentes heterogeneas (V=Variedad), con un gran numero de registros (V=Volumen), que se desean buscar con tiempos de respuesta instantaneos (V=Velocidad) y que se desea entregar en una aplicacion web (V=Visibilidad) conlleva a un problema V4, hoy conocido como problematica BigData

En la ponencia se explica como siguiendo la Metodologia del Modelo de Gobierno de Grandes Volumenes de Datos, powered by WebGestiones de saXsa, es factible ofrecer un esquema de solucion utilizando conjuntamente los utensilios o herramientas de Hadoop HDFS, Pig, Hbase, Spark, Mahout, Storm y en general todos los elementos del ecosistema Hadoop de Apache.

Esta metodologia ha sido puesta en operacion en varios ejemplos del sector gubernamental y en empresas privadas que generan una gran cantidad de fuentes de informacion y que desean INTEGRARLAS con un enfoque de servicio HOLISTICO

Este modelo NO requiere una infraestructura dedicada con gran costo, sino solo un conjunto de maquinas LINUX con una gran diversidad de ambientes de codigo abierto en perfecta armonia.

--
Facebook: BigDataMx
Twitter: @BigData_WG
YouTube: Bigdata WebGestiones
Web: www.saxsa.com.mx