Consideraciones para Migrar un Modelo de Data Warehouse

El presente artículo pretende guiar al lector en las consideraciones que tiene que seguir para migrar de Data Warehouse como una solución para el análisis de la información financiera, el ejemplo esta referido para una empresa de Telecomunicaciones dedicada a ofrecer equipo y servicios de telefonía celular.

Antecedentes

Las empresas en el mercado de las Telecomunicaciones que actualmente es un medio muy dinámico y competitivo, deben considerar mejores estrategias comerciales que estén basadas en capturar y retener a los clientes más rentables, siendo ellos la mayoría de las veces los de mayor consumo. Las estrategias tradicionales de ventas y comercialización son desafiadas por estas características del mercado:

• La explosión de tecnología de comunicaciones ha cambiado rápidamente los tipos de ofertas de servicio disponibles. Hoy se cuenta con tecnologías de comunicación inalámbricas que ofrecen capacidades de transmisión suficiente como para ofrecer servicios tradicionales de voz, TV On Demand, transmisión de datos e Internet móvil en un mismo canal.
• La variedad en ofertas y precios ha llevado el poder de compra al consumidor que cada vez exige mayor valor a un menor precio.
• Las decisiones de lealtad, están volviéndose rápidamente a ser manejadas por el valor.
• Las empresas están cada vez más enfocadas en la captura y retención de clientes más rentables lo que implica detectar a tiempo estas oportunidades.

Descripción del problema
Se deben exponer la problemática dadas las características actuales del Data Warehouse y algunas de las razones del por qué se requiere hacer este proyecto (migración):

1.Se debe visualizar si se requiere migrar tanto de modelo como la información para tener una mejor integridad de ésta y que sea más ágil la carga diaria de la información.
2.El modelo debe soportar la estructura actual del Data Warehouse con la posibilidad de darle un crecimiento a nuevos nichos de información por la creación de nuevos servicios que ofrece la compañía. 3.Hacer más eficiente y versátil la extracción de la información para su análisis.
4.Se requiere de mejores indicadores que le den información puntual a los directivos de cuáles son los productos y servicios que están funcionando.
5.Este tipo de proyectos requiere de la experiencia de un Líder de Proyecto que conozca de Bases de Datos y que tenga conocmiento en la elaboración de procesos mediante Procedimientos Almacenados (SP) y la Extracción Transformación y Carga (ETL). Además requiere de la experiencia en el negocio de la telefonía celular y el análisis financiero que se hace de los productos y servicios que ofrecen las compañías de Telecomunicaciones, así como la obtención de los indicadores que evalúan para el análisis financiero.
6.Su crecimiento requiere de un modelo más acorde al volumen de información que se está manejando, por lo que se cuestiona si el modelo actual y la plataforma actual soportarán el crecimiento de toda la información que proporcionan las diferentes áreas de la compañía.

Por los motivos anteriores, se deben plantear las siguientes interrogantes: ¿El modelo satisface la necesidad creciente del manejo de información que se tiene actualmente? ¿Se tiene una plataforma acorde a las necesidades actuales del Data Warehouse? ¿Se tiene una eficiente extracción de la información para el análisis financiero de forma que esté disponible para las diferentes áreas de la compañía?

De estos tres cuestionamientos esenciales se determina que se necesita plantear una solución a las necesidades actuales del Data Warehouse.

Propósito de Desarrollo de un Data Warehouse

El propósito en el desarrollo de este tipo de modelos es encontrar uno que represente una solución al problema y permita hacer la migración del actual a un modelo multidimensional en una plataforma tecnológica que soporte la estructura que se tiene actualmente y que pueda crecer, ocupando herramientas orientadas a la consulta de grandes volúmenes de información histórica, procesamiento masivo de información, con estructuras dinámicas y abundantes cambios.

Se debe elaborar un modelo de Data Warehouse acorde al negocio de las Telecomunicaciones, creando los métodos de carga de información diaria así como su extracción para generar niveles de agregación de la información financiera del comportamiento del negocio que permita al equipo de analistas de la compañía, estudiar todo aquello que le permita conocer como están las ventas de sus productos y servicios, a través del tiempo y visualizar que ocurre con los movimientos de las terminales, estatus en cuanto a servicios, planes tarifarios, promociones, etcétera.

Particulares del Proyecto de Data Warehouse
Para tal fin se deben plantear los siguientes objetivos particulares:

•Implantar un modelo de datos conforme a los requerimientos de información y análisis definidos por la empresa de la industria de telecomunicaciones.
•Utilizar una herramienta de extracción y administración de datos, como puede ser la plataforma de Oracle Warehouse Builder para el Proceso de Adquisición y Transformación de datos.
•Utilizar herramientas de explotación de datos, para ser empleadas por los ejecutivos de negocio de la compañía.
•Desarrollar los ambientes de datos significativos para realizar pruebas de funcionalidad de los procesos de extracción de datos.
•Estudiar los patrones de ingreso por el tipo de tráfico, así como su comportamiento en cuanto a saldos y abonos de tiempo aire realizados.

Justificación del Data Warehouse
Para cualquier compañía, la conveniencia de tener un gran depósito de información histórica es de suma importancia y sobre todo si esta información es la financiera, de donde pueden hacer un análisis del comportamiento de ventas y costos de operación de sus productos o servicios.Las compañías de Telecomunicaciones no son la excepción, especialmente dada la feroz competencia que se está dando en este segmento.

En primera instancia lo que se pretende es mejorar el modelo del Data Warehouse para migrar el contenido de la información utilizando uno nuevo que permita tener el crecimiento de los datos que requiere la compañía y acrecentar la información financiera para saber cómo está operando día con día.

Entre mejor y más oportuno sea el análisis de la información se podrá encontrar de manera más oportuna los errores o fallas en los que se está incurriendo con el fin de mejorar el ofrecimiento de un bien o servicio que se le esta brindando al usuario por un costo más competitivo de lo que ofrece el mercado, redundado en mejoras tecnológicas de comunicación para ofrecer mejores productos y servicios al alcance de otros sectores de la población en general.

Poder tener un mejor modelo para el Data Warehouse resuelve en primera instancia una problemática de la compañía que impacta de manera mas amplia a la operación general de ésta y a los beneficios que se le puede ofrecer al usuario final. El modelo de Data Warehouse que se vincula con las particularidades de la información financiera que es utilizada por la compañía de Telecomunicaciones, es la aportación tecnológica que se ofrece para optimizar el análisis financiero de la compañía.

Se trabajó en un proyecto donde el Data Warehouse de una compañía de telefonía celular se encontraba en una Base de Datos de SQL Server, donde no había propiamente un modelo y no cumplía con una relación entre sus entidades, es decir, no existía un modelo entidad-relación. Aunque existían algunos catálogos, no se ocupaban para dimensionar el detalle de toda la información financiera que se tenía cargada.

Se pensó en considerar la plataforma tecnológica de Oracle 10g para almacenar la información por tener un motor de bases de datos más eficaz, su métodos de búsqueda son más ágiles y por tener la capacidad de hacer modificaciones cuando la Base de Datos esta operando.

En la Base de Datos SQL Server por cada tipo de información se tiene una base de datos, de la cual no se tiene el control de los espacios ocupados en disco y no permitía su fácil acceso a pesar de estar partida en entidades por mes de información. Además no se contaba con niveles de agregación y siempre que se requería obtener información se necesitaba obtener del detalle el nuevo consolidado, que por necesidades de la empresa, se ocupan y se van almacenando en las diferentes bases de datos.

Para poder instrumentar el modelo, se plantea que la Meta Data (depósito de gran volumen de información) se basará en los siguientes aspectos:

•Metadata Funcional. Modelo de acceso de datos, que traduce las definiciones de la estructura física de la base de datos en términos del negocio que son entendidos y empleados fácilmente por los analistas de la compañía.
•Metadata Técnica. Control y monitoreo de los procesos de Extracción, Transformación y Carga (ETL) de la solución (desde el área temporal de archivos o fuentes de información hasta las estructuras del Data Warehouse de la compañía), así como el manejo de errores.

En la figura 1, se muestra un diagrama descriptivo del modelo, en donde la zona marcada como la 2, es fundamentalmente la Meta Data Técnica y la Meta Data Funcional esta ligada a la zona 1 y 3 que conforman toda la estructura del modelo en términos del negocio.

Figura 1. Diagrama descriptivo de un modelo de Data Warehouse.

El empleo de una plantilla para la implantación a partir de un modelo que establece la relación entre los clientes y el negocio y poder realizar el análisis del comportamiento, permitirá representar y analizar de manera homogénea a los clientes, cuentas y las terminales de la compañía, ya se traten de Corporaciones, PyME’s o personas físicas.

Aunque pueda definirse de manera conceptual la representación de los clientes de los distintos tipos de servicios ofrecidos, la implantación se debe acotar, por ejemplo a las terminales del servicio de prepago, donde los aspectos que pueden ser estudiados son:

- Ingresos por tráfico.
- Activaciones de terminales.
- Movimientos de terminales.
- Abonos de tiempo aire.
- Comportamiento del saldo de terminales.
- Política saldo cero (estatus de una terminal después de sesenta días de tener saldo cero y no haber abonado tiempo aire).
- Churn (estatus de una terminal que esta en política de saldo cero y que no tiene tráfico entrante, es decir, no recibe llamadas a su teléfono del tipo el que llama paga).
- ARPU (ingreso obtenido por el tráfico de llamada entrante y/o saliente a una terminal).
- Financieros.

La solución debe contar con un conjunto de programas y procesos de manejo de los datos construidos y validados para altos volúmenes de información. Estos programas permitirán la validación, generación de resúmenes e indicadores de gestión a partir del área de interfaz.

Acceso a los datos (aplicación de análisis)
Con el fin de satisfacer las necesidades de análisis de la información almacenada en el Data Warehouse, la solución debe contemplar la implantación de un portal de análisis que apoye en los siguientes niveles:

1. Análisis General. Esta área debe permitir a los analistas conocer la situación general del negocio a través del empleo de indicadores de gestión que les apoyará en responder preguntas relacionadas a la situación actual, las tendencias, causas, entre otras.
2. Análisis Detallado. Esta área debe permitir a los analistas conocer la situación detallada de cada uno de las terminales, así podrán identificarse patrones de comportamiento de tráfico e ingresos, movimientos, saldos y tiempo aire de las terminales, identificación de perfiles de terminales según cierto comportamiento, suscriptores a contactar en iniciativas de mercadeo, entre otras.

Manejo de Metadata
La implantación de la meta data de la solución se debe basar en los siguientes aspectos:

• Metadata Funcional. Consistirá en la definición de un modelo de acceso a los datos de la Base de Datos del Data Warehouse que traduzca las definiciones de las estructuras físicas de la base de datos en términos del negocio que puedan ser entendidos y empleados fácilmente por parte de los analistas de la compañía. Además es el modelo de acceso que será instrumentado empleando las facilidades ofrecidas por una herramienta que permita tener el acceso más ágil y eficiente, donde se deberá proveer en forma oportuna la semántica correspondiente.

• Metadata Técnica. Apoyará el control y monitoreo de los procesos de Extracción, Transformación y Carga (ETL) de la solución (desde el área temporal de archivos planos hasta las estructuras del Data Warehouse de la compañía), así como el manejo de errores, será implantado una entidad que de seguimiento de los procesos de carga. Además se implantarán reportes predefinidos que permitirán analizar la ejecución de los programas, con los siguientes datos:

Para Control y monitoreo de carga:
- Identificador del proceso ejecutado.
- Fecha, hora de inicio/ Fecha, hora de fin.
- Cantidad de registros leídos.
- Cantidad de registros procesados.
- Cantidad de registros rechazados.
- Estatus final de ejecución.

Para el manejo de errores:
- Identificador del proceso ejecutado.
- Fecha, hora de inicio.
- Descripción del error.
- Cantidad de registros rechazados.

La arquitectura de referencia se vuelve importante porque aporta:

- Ofrece un diagrama de un anteproyecto común
- Crea una base duradera para implantar la visión de la empresa.
- Proporciona alternativas en la implantación
- Permite ubicar las ofertas y distribuidores en el diagrama de la arquitectura de referencia.
- Destaca los componentes de una solución que son valiosos para la producción.

La arquitectura de referencia describe primero desde un punto de vista abstracto y simplificado a alto nivel, del modo siguiente:

- Un conjunto de datos extraídos de la base de datos operacionales
- Un software que prepara los datos para que los usuarios accedan
- Un conjunto de aplicaciones y herramientas que ejecutan un conjunto de consultas y análisis complejos

Una arquitectura que propone Harjnder es descomponer sistemáticamente en detalles, partiendo de la Infraestructura, Transporte, Administración de Meta datos, para ir subiendo de nivel, hacia la Fuente de Datos, Construcción del Data Warehouse, Construcción de los niveles de agregación, Acceso de Datos y Administración de Datos.

El planteamiento de dicha arquitectura contempla en su proceso tres fases importantes: la de Refinamiento, Reingeniería y después de obtener el modelo de Data Warehouse otra fase de Refinamiento y Reingeniería, lo que no permite que se haga un modelo en poco tiempo, ya que requiere de varias etapas y fases en cada una de las etapas, añadiéndole que propone otros sistemas importantes dentro de la capa de infraestructura como son: Administradores de Configuración, Administradores de Almacenamiento, Administradores de Seguridad, Administración de Distribución, Administración de Licencias, Vigilantes de desempeño y Analizadores de la Capacidad.

Todo esto hace que construir el modelo a implantar se vuelva un proyecto complicado y largo por lo que sólo se considera el diseño del Data Warehouse y el de las Agregaciones, por tal razón y debido a que el proyecto tiene un tiempo programado de tres meses se omite los puntos relacionados con la construcción.

Conclusión
Con lo antes propuesto para iniciar cualquier proyecto de Data Warehouse se debe tener bien definido la problemática, objetivos y alcances del proyecto, exponiendo los justificantes que lleven a emprender y satisfacer las necesidades del proyecto con una metodología. Se establecen los principios en los que se debe elaborar el diseño, presentando la propuesta a seguir.