Material Big Data

Lanzados ppts informativos de tecnologías BigData: Hadoop, Hbase, Hive, Zookeeper...

Apuntate al Curso gratuito para aprender Business Intelligence. Plazas limitadas!!

Diseño multidimensional, OLAP, ETL, visualización, open source...

Pentaho Analytics. Un gran salto

Ya se ha lanzado Pentaho 7 y con grandes sorpresas. Descubre con nosotros las mejoras de la mejor suite Open BI

La mejor oferta de Cusos Open Source

Después de la gran acogida de nuestros Cursos Open Source, eminentemente prácticos, lanzamos las convocatorias de 2017

12 dic. 2005

Once pasos para construir un Datawarehouse con exito

datawarehouse

Cada vez más empresas empiezan a utilizar Datawarehouses para obtener información útil sobre sus negocios y tomar decisiones adecuadas.
Hasta hace poco, sólo las grandes compañías se podían permitir crear un DW y tener aplicaciones y analistas para extraer toda esa información. Sin embargo, el abaratamiento de los costes de software y, sobre todo, del hardware, hacen que su uso se haya popularizado y extendido.
Por este motivo, se hace necesario establecer unos criterios que lleven a al creación de este entorno de forma exitosa.

1)
Reconocer que el trabajo será más duro de lo que se esperaba inicialmente.

Es muy habitual encontrarse con que más de un 30% de la información contenida en los sistemas operaciones o es incorrecta o incompleta para incorporarla al DW. Esta mala calidad de los datos incide en la complejidad del trabajo.
Otro ejemplo, es el de los administradores de la base de datos, que usan números en lugar de nombres de ciudades para optimizar el cálculo en sistemas operacionales. En un entorno Business Intelligence, este tipo de ‘trucos’ no son muy útiles, pues los usuarios necesitan descripciones completas.
Otro tema que hace el trabajo más duro del esperado, es la aparición de nuevos productos o divisiones durante el proceso de implementación. Algo habitual dada la duración del mismo.

2) Conocer los datos en los sistemas origen.

Antes de comenzar a construir el DW es muy importante analizar los datos y sus interrelaciones entre todas las Bases de Datos disponibles.
Posteriormente, al migrar esa información al DW, será necesario mantener esas relaciones, por lo que es muy importante hacerlo bien para evitar inconsistencias en el modelo de datos que pueden provocar muchos quebraderos de cabeza.

3) Saber reconocer entidades equivalentes

Uno de los principales problemas que surgen cuando se analizan sistemas heterogéneos, es la de identificar como una misma entidad, elementos que aparecen con nombres y descripciones diferentes, pero que se refieren a lo mismo.
Por ejemplo, dos departamento diferentes (Comercial y Finanzas), pueden estar registrando en sus sistemas información sobre un mismo cliente, pero puede que este registrado con nombre diferentes (nº cliente, nº fiscal, nombre social, etc…)

4) Usar metadatos como soporte a la calidad de los datos.

El uso de metadatos (datos sobre los datos), es crucial para el éxito de un DW. Es muy importante empezar a recoger y almacenar metadatos desde las fases iniciales del proyecto e incluir todas las fases del mismo.
También es muy útil integrar todos los metadatos en un lugar común. Esto será especialmente interesante cuando estemos trabajando con diferentes herramientas, cada una de las cuales, genera sus propios metadatos.

5) Seleccionar las herramientas ETL adecuadas.

Las herramientas ETL, se encargan de las extracción de datos de los sistema fuente, de su transformación y posterior carga en el DW o en algún sistema intermedio para posteriores transformaciones.
A la hora de seleccionar una herramienta ETL, será muy útil que tenga un manejo sencillo y represente de forma visual todas las transformaciones.
Así mismo, será muy útil que pueda ir generando metadatos, conforme se vaya realizando el proceso ETL.

6) Tomar ventaja de las fuentes externas

La integración de fuentes externas a los sistemas operacionales, como puede ser la infomación de encuestas de satisfacción de los clientes o los estudios de mercado de terceros, o información sobre competidores, puede aportar un valor añadido muy importante al DW.
Esta información nos permitirá sacar conclusiones mucho más avanzadas sobre el negocio, que las meramente internas como ventas, costes, etc…

7) Utilizar nuevos métodos de distribución de la información.

Antiguamente, se necesitaba de la participación de analistas que prepararan los informes para cada necesidad de los usuarios. Sin embargo, ahora se pueden utilizar informes parametrizables, envios via e-mail, alertas, etc… de modo que son los usuarios finales los que acceden directamente a la información que necesitan y pueden configurarse sus propias consultas.

8) Centrarse en aplicaciones para uso en Marketing

Un DW ofrece una de sus mayores ventajas a los departamentos de Marketing, donde se tienen que manejar grandes cantidades de información. Empresas del sector de distribución, banca y seguros pueden realizar complejos análisis de ventas cruzadas y generar ofertas en base a un portfolio de productos que se pueda ajustar a las necesidades de los clientes.

9) Enfatizar los primeros resultados positivos para ganar apoyo de la organización

La reducción de la complejidad de estos sistemas y el enfoque incremental utilizado en su creación, hacen que se pueda empezar a ver algunos frutos en un corto plazo de tiempo.
Esto tiene que ser aprovechado para que la organización valide lo realizado y apoye con sugerencias y compromiso los nuevos desarrollos que aún están pendientes.

10) No hay que infravalorar los requerimientos de Hardware

En un DW, los requerimientos de hardware son uno de los principales temas a valorar. A veces, se diseña una arquitectura que puede ser ampliamente suficiente para la entrada en producción, pero a menudo se olvida que estos sistemas crecen muy rápidamente, se necesitan sistemas de copia seguros y las necesidades de rendimiento, en términos de agilizar los cálculos son muy importantes. Por eso, nunca conviene infravalorar el número de CPU´s y memoria en disco disponibles.


11) Considerar el Outsourcing para el desarrollo y mantenimiento del DW

Muchas compañias de mediano y gran tamaño utilizan el outsourcing como medio de garantizar el complejo, largo y costoso proceso de poner en funcionamiento un DW y evitan la dificultad de encontrar y retener profesional IT capacitados.
El outsourcing puede llegar a generar nuevas ideas y desarrollos en base a su conocimiento profundo del DW y de su arquitectura, además no tiene los problemas de falta de personal capacitado de muchas empresas.


Fuente: Syntel
Tags: Destacado

1 comentarios:

Tito Maury dijo...

I have a
informatica etl site/blog. It pretty much covers Once pasos para construir un Datawarehouse con exito related stuff.
Come and check it out if you get time :-)