Mi Big Data Personal

Cuando fui invitado a escribir este artículo para SG me dediqué a explorar temas, conceptos, reseñas, white papers, podcasts, hasta fotocopias que tenía de cuando estudié la maestría, todo eso con el fin de darme una idea de qué escribir. Estaba inmerso en una gran cantidad de información, de cifras y datos, confieso que me estaba comenzando a sentir abrumado y hasta angustiado. Fue cuando me dí cuenta de que lo que me estaba pasando era lo mismo que le pasa a muchas empresas al lidiar con el big data… así es, estaba ahogándome en mi big data personal.

 El big data es el resultado de que casi todo está monitoreado y medido hoy en día; la velocidad a la cual se crean nuevos datos es más rápida que el avance en la creación de tecnologías disponibles para su almacenamiento, procesamiento o administración. Adicionalmente, la mayor parte de los datos que recibimos no están estructurados, comúnmente recibimos “archivos” en lugar de un objeto relacional Se podría decir que cerca del 80% de los nuevos datos que tenemos son datos no estructurados, simplemente son datos.

Reto de grandes y pequeños

 Todas las organizaciones, sin importar su tamaño, están luchando para manejar grandes volúmenes de datos. De acuerdo con IDC, en el año 2007 la cantidad de información creada, capturada o replicada superó por primera vez la infraestructura para su almacenamiento. Y la brecha continúa creciendo, el tamaño del universo digital este año va a ser diez veces más de lo que era apenas hace cinco años.

De acuerdo con Forrester Research:

• La organización promedio aumentará el tamaño de sus datos en un 50% en el próximo año.
• En general, los datos corporativos crecerán en un asombroso 94%.
• Las bases de datos crecerán un 97%.
• La inversión en servidores de respaldo, para copias de seguridad y para la recuperación de desastres y continuidad de operaciones se ampliará en un 89%.

 Muchas organizaciones creen que pueden manejar los grandes volúmenes de datos aumentando su infraestructura de almacenamiento. Suelen comprar más capacidad de almacenamiento cada 6 o 12 meses, lo cual no solamente se traduce en costos exorbitantes, sino que también agota a su personal, el cual se ocupa en gestionar datos en lugar de diseñar iniciativas estratégicas de TI. El no contar con una solución real para la gestión de grandes volúmenes de datos hace ineficiente a cualquier organización.

 Más allá de arquitecturas adecuadas para almacenar grandes cantidades de datos y con una mejorada capacidad de procesamiento. La próxima frontera es aprender a manejar grandes volúmenes de datos durante todo su ciclo de vida.

 Algo más de lo que debemos estar conscientes es que sin una buena administración de información, es muy probable que una gran parte de nuestro big data terminen siendo datos duplicados o redundantes. Pensemos tan solo en el caso de nuestra empresa, ¿qué tantos datos duplicados almacenamos? Deduplicar los datos y gestionar copias únicas no es una tarea trivial.

Comenzar desde el recurso humano

Considero que más allá de infraestructura, costos, procesos, consultorías, gestores de negocio etcétera, debemos regresar a lo esencial —a final de cuentas las cosas más sencillas siempre han funcionado. El problema del big data no se va a resolver a nivel macro, es más viable ver la solución desde el punto de vista del recurso más valioso: el recurso humano.

 Son muchas las empresas que quieren sacar ventajas de los beneficios que el big data puede proporcionarles, pero no pueden extraer el máximo provecho a éste por la falta del personal adecuadamente preparado y capacitado.

 La complejidad de las tecnologías para el big data requieren ciertas capacidades avanzadas que no están presentes en la mayoría de los profesionales de TI.

 Susan Feldman, vicepresidente de investigación en IDC recientemente comentó en un evento de la industria sobre big data, que “no hay mucha gente que esté realmente bien formada en estas nuevas tecnologías (como Hadoop, por ejemplo). ¿Cómo van a contratar las empresas personal si éste ni tan siquiera existe?”. Soy de la misma opinión: las empresas, tanto clientes como proveedores, deben invertir en la formación de capital humano con las habilidades necesarias para aprovechar y gestionar adecuadamente el big data.