Material Big Data

Lanzados ppts informativos de tecnologías BigData: Hadoop, Hbase, Hive, Zookeeper...

Te presentamos la mejor plataforma de Planificación y Presupuestacion BI

Forecasts, Web and excel-like interface, Mobile Apps, Qlikview, SAP and Salesforce Integration...

Pentaho Analytics. Un gran salto

Ya se ha lanzado Pentaho 7 y con grandes sorpresas. Descubre con nosotros las mejoras de la mejor suite Open BI

La mejor oferta de Cusos Open Source

Después de la gran acogida de nuestros Cursos Open Source, eminentemente prácticos, lanzamos las convocatorias de 2016

31 oct. 2006

Cuotas de Mercado OLAP

Nigel Pendse, en su fundamental OLAP Report, analiza de forma exhaustiva y detallada como esta el mercado de las aplicaciones OLAP. Como ya hemos comentado en mas de una ocasión, los estudios de mercado tienen algo de subjetivo y rebatible, de forma que cada vendedor se queda con la que mas le interesa. Los datos son para finales del 2005, pero no deja de ser el estudio mas usable del sector.

Cuotas de Mercado OLAP

Sin embago, Nigel (que recientemente ha unido sus fuerzas a la compañía alemana BARC), lleva muchos años ganándose una reputación muy importante dentro del estudio de las herramientas OLAP, tratando de identificar las diferentes tecnologías MOLAP, ROLAP, etc.. y analizando las tendencias y datos mas relevantes del sector.

Datos relevantes del estudio:

- El sector creció en un 14%
- El crecimiento de Microsoft se ha moderado, pero sigue muy por delante.

- Cartesis fue el vendedor que mas crecio.
- No hubo fusiones importantes entre los lideres.
- En las seis primeras posiciones permanecen los mismos fabricantes.

Expectativas del Sector para el futuro:

- Se prevee que el mercado siga creciendo a niveles de dos dígitos, aunque alejado de crecimientos de mas del 20% de hace unos años.
- Hay que tener en cuenta que el mercado esta alcanzando la madurez, por lo que no es tan fácil alcanzar esos crecimientos.
- Existe cierto grado de saturación en el mercado por la gran cantidad de vendedores que participan en él.
- Ha habido una tendencia a la baja en los precios debido al efecto Microsoft, que ha arrastrado a otros motores OLAP y fabricantes de herramientas de usuario final.
- Además, desde que se lanzó Analysis Services, muchos servidores OLAP han desaparecido o se han integrado: Acuity, Acumate, Gentia, Holos, Information Advantage, Media, MetaCube, Mineshare, Pilot, Prodea Beacon, WhiteLight.
- Sin embargo, también han surgido nuevos contendientes de nicho.
- Los motores OLAP Open Source (Mondrian, PALO), llevan poco tiempo, pero van a hacer que los precios bajen aun mas y se 'extienda' el uso de OLAP de una menera no vista hasta ahora.
- Se requerirá menos tiempo y personas por parte de las grandes consultoras para implementar soluciones OLAP, ya que vienen con muchos templates y soluciones paquetizadas. Sin embargo, si que requerirá de especialistas para optimizar rendimientos e integración con otras soluciones.

No te olvides de echar un ojo: Ver el análisis detallado.

Tags: Destacado

28 oct. 2006

BI Confidencial (Octubre 06)

BI Confidential en Octubre 06

Ya está a vuestra disposición un resumen de las últimas noticias en el mundo del Business Intelligence, para que tengáis la información mas actualizada:

Will Oracle Offer Its Own Distribution of Linux?
Lo que hace un tiempo parecía impensable, ahora se presenta como una realidad muy tangible.

Pentaho Recognized as Open Source BI Leader by Entiva Group
Los estudios de mercado ponen de relieve que Pentaho es el lider en Business Intelligence Open Source.

IBM Touts All-in-One Information Integration Suite
IBM se lanza a por el mercado Business Intelligence sin complejos

Dashboard Ho!
Una nueva generacion de Cuadros de Mando y Scorecards ayudar a cerrar la brecha entre Business Intelligence y Performance Management.

In Focus: The Ins and Outs of BI Software Licensing
¿Por qué es tan complicado el modo en que se licencian los productos Business Intelligence?¿Deben los clientes conformarse con esta situación?

In Praise of Dashboard Ubiquity
Utilizar Cuadros de Mando no es sólo poner una guinda a un DW, tiene claros beneficios reales.

Panorama Software Announces Strategic OEM Partnership with Cartesis
Panorama se había quedado muy desubicada tras la compra de Proclarity por parte de Microsoft, por lo que este acuerdo con Cartesis puede ser bueno para ambos.

QlikTech Unveils QlikView Publisher Version 4
Una interesante novedad en el mercado, de una compañía que siempre ha destacado por su 'look & feel'

JasperSoft Launches the Professional Edition of JasperAnalysis
Una vez más, todo modelo Open Source debe apoyarse en una versión PRO, para todos aquiellos que no quieren renunciar a 'toda' la funcionalidad.

Business Intelligence: Origen y Futuro
Un interesante repaso a la evolución de la tecnología OLAP

Oracle Announces Oracle Business Intelligence Suite Enterprise Edition 10g Release 3
Un paso más, en la consolidación e integración con Siebel Analytics.

Oracle’s ETL Power Grab Reconsidered
¿La compra de Sunopsis puede suponer el final de Oracle Warehouse Builder?

25 oct. 2006

Entrevista exclusiva al Director de Oracle Business Intelligence

"Nuestro objetivo para España es convertirnos en los lideres en los próximos 4 años"
Leopoldo Boado. Director de Business Intelligence de Oracle Ibérica

Hoy tenemos la suerte de traeros una entrevista en exclusiva con los responsables del área de Business Intelligence en Oracle: Leopoldo Boado (Director de Business Intelligence de Oracle Ibérica) y David Pryor (Vicepresidente de Business Intelligence de Oracle EMEA).

La entrevista se produce en un momento de suma importancia, ya que Oracle se encuentra embarcada en el proyecto Fusión producto de sus innumerables compras en el sector: Siebel, Sunopsis, Sigma Dynamics... y dentro de una continua nube de rumores sobre posibles grandes adquisiciones y consolidaciones en el sector.

Por ello, hemos decidido que era un buen momento para acercarnos a Oracle y charlar con los responsables de este área y plantearles muchas de las preguntas que se estan haciendo gran parte de la enorme base de usuarios de Oracle.
Este es el resultado de la interesante conversación que hemos mantenido:


¿Crees que tras la integración con Siebel, la estrategia Business Intelligence de Oracle sale reforzada?

Indudablemente la estrategia de Business Intelligence de Oracle sale reforzada por la solución analítica que se incorpora desde Siebel. Las capacidades tecnológicas que Oracle posee en este terreno: Data Warehousing, herramientas OLAP, query and reporting, entre otras, se complementan con la plataforma analítica de Siebel, la que mayor crecimiento ha tenido en el mercado en los dos últimos años (si lo comparamos con las otras soluciones de nicho en BI).
El gran valor diferencial de esta solución es, que no estamos hablando exclusivamente de una herramienta, sino de una solución analítica preconstruida basada en las mejores prácticas de los diferentes sectores; los elementos preconstruidos aportados son: cuadros de mando por perfil en función del rol que desempeña cada usuario en la organización, modelo semántico o meta data corporativo, data warehouse y procesos de ETL pre-paquetizados.

Este escenario va a poder proporcionar por un lado, la mejor tecnología y por otro, la mayor rapidez en la implantación de una solución de estas características, frente a los desarrollos tradicionales que necesitan una gran inversión en tiempo y recursos especializados. Sin lugar a dudas la nueva solucion de BI de Oracle va a garantizar el menor "Time to Market" para que los usuarios de negocio, tanto ejecutivos, gerentes o empleados, dispongan de inteligencia para la toma de sus decisiones en el contexto de sus funciones.


Siebel sales analytics


¿Cuáles son los principales componentes de la nueva suite de productos BI de Oracle?

Los componentes de la nueva suite de BI de Oracle son los siguientes:

Oracle BI Applications - Aplicaciones analíticas preconstruidas
por sector: "#1 in Analytic Applications" - IDC

Oracle BI Suite - Plataforma analítica de última generación:
"One of the most comprehensive and innovative BI
platforms..." - Gartner

Oracle Data Warehousing - Solución completa de
datawarehousing: "#1 in DW Tools" - IDC


¿Se puede correr el riesgo de que herramientas tradicionales como Oracle Discoverer dejen de ser potenciadas?


De ninguna manera, la estrategia de BI de Oracle se centra tanto en Oracle BI Standard Edition (Discoverer) como Oracle Bi Enterprise Edition (Analytics), cada una va dirigida a resolver una problemática diferente, dependiendo de las necesidades del cliente y de su entorno tecnológico. Cada producto tiene su Roadmap definido hasta su convergencia en el proyecto Fusión.


¿Cuáles son las expectativas de penetración y crecimiento de Oracle Ibérica para el área del Business Intelligence?

La cuota de mercado actual (BI Tools) de Oracle en WE es del 4.1% y aspira a una cuota de mercado del 15% en el año 2010. Nuestro objetivo para Iberia es convertirnos en los próximos 4 años en líderes de mercado. El mercado de Business Intelligence es un mercado en plena expansión , donde el crecimiento en WE en el año 2005 ha sido de un 13.7% y según Gartner BI es la primera prioridad para los CIO´s (2006 Research). Donde la cuota de mercado actual de la solución de BI de Oracle no se corresponde con la potencionalidad del producto.

Finalmente ¿Cuáles son las principales ventajas competitivas de la solucion Business Intelligence de Oracle respecto de la de competidores como Microsoft o Business Objects?


Indiscutiblemente contar con una solución integral desde la base de datos y el DWH, la plataforma analítica a las aplicaciones analíticas preconstruidas. Según un reciente informe, un tercio de las organizaciones planifican estandarizar en un único set de herramientas de BI en los próximos 2 años (Fuente, Enterprise Business Intelligence: Strategies & Technology for deploying BI on an Enterprise Scale. Research Report August 2005)
Otra de las ventajas competitivas de Oracle BI es la infraestructura tecnológica: gestión de caché, query rewrite, gestión de agregaciones, potencia del modelo lógico y por supuesto la escalabilidad de la plataforma.

Esperamos que os haya parecido interesante la entrevista. Desde TodoBI vamos a seguir buscando a los máximos responsables de las estrategias de las grandes compañías Business Intelligence para que respondan a nuestras preguntas en exclusiva.


Para saber más:
Oracle Business Intelligence Strategy and Roadmap
Oracle Business Intelligence
Fusion Applications: Delivering Greater Business Insight
Why Consider Oracle for BI?
How Oracle's unified BI meets today's needs

23 oct. 2006

¿Cuales son las novedades de MySQL 5?

MySQL

Son muchas las novedades que esta sacando MySQL, la última es el Virtual MySQL DBA Assistant, es una herramienta muy útil para las empresas pues supone realizar muchas de las tareas de un DBA de forma automática. Se realiza un monitoreo del funcionamiento de la Base de datos en todos los servidores y nos genera alertas cuando algo va mal. Además, establece recomendaciones para mejorar el rendimiento, eliminar vulnerabilidades de seguridad, etc...
Este producto se encuentra dentro de la versión enterprise, que requiere hacer pago (sin embargo, dadas sus características, es la típica herramientas, por la que grandes empresas podrían pagar para obtener seguridad y garantías). Se trata de cubrir el flanco más débil del Open Source, y que Oracle, DB2 y SQL Server tienen mas controlado.

Network Monitoring


Además, siempre se puede seguir contanto con un buen número de herramientas Open Source muy interesantes: MySQL Migration Toolkit, MySQL Administrator, MySQL Query Browser, MySQL Workbench...


Además, través de sentidoweb, llego a esta interesante descripción en castellano de las principales novedades que nos podemos encontrar en la versión 5 de la popular base de datos Open Source:

Entre las cosas destacables, yo me centraría en las novedades que ofrece la versión 5 de MySQL:

El tipo BIT: permite crear datos de una cadena de bits, por ejemplo BIT(8) sería 00101110. Lo veo bastante útil para usar máscaras (00101110 sería false, false, true, false, true, ...)
Cursores: para usarlos dentro de procedimientos almacenados y funciones.
Diccionario de datos (Information Schema): una base de datos con información de tablas, columnas, esquemas, ... Nos puede ser útil para crearnos aplicaciones de gestión automáticas y obtener los datos de las tablas mediante consultas.
Administrador de instancias: Puede usarse para iniciar y parar el MySQL Server, incluso desde una máquina remota.
Matemáticas de precisión: tratamiento numérico que proporciona resultados más precisos y más control sobre valores inválidos que en versiones anteriores de MySQL.
Procedimientos almacenados y funciones.
Modo estricto.
Tratamiento de errores estándard: parecido a los ORA de Oracle.
Disparadores (triggers)
Vistas

Impresciendible: Manual de referencia de MySQL 5.0

18 oct. 2006

Alternativas Open Source vs Comerciales en BI

A veces surge algo de confusión en cuanto hablamos de Business Intelligence, de herramientas propietarias y Open Source, de los diferentes tipos de soluciones que existen, etc...

Comparativa BI Open Source vs Propietario

Para ello, creemos que esta tabla os puede ser de utilidad, a la hora de identificar de un rápido vistazo, que herramientas tenemos a nivel propietario y cual puede ser su alternativa en el mundo Open Source. Además, la idea (independientemente de que muchos productos se usen para varias soluciones), es que se pueda llegar a poder segmentar para tipo de solucion (OLAP, reporting, data mining....).


Ventajas del Modelo Open Source vs Propietario:

Además, me gustaría ponerlo en relación con el excelente artículo de Peter Loshin, de B-EYE Network: Open Source Software: It's Not (Only) About the Money, del que destacaría las principales ventajas que detecta en el modelo OS sobre el propietario. Seguro que podréis añadir alguna. Y, por supuesto, también criticar y desmitificar este modelo, si así lo creeis:

1) Olvidaté del dinero. Aunque esta suela ser el principal atractivo del modelo OS, realmente si tenemos todo en cuenta, no es lo más crítico.

2) Los desarrolladores de software OS pueden elegir entre una gran variedad de licencias, hay para todos los gustos.

3) Las fuentes del OS viene de muchas partes: desarrolladores individuales, por hobby, asociados en grupos, pertenecientes a una empresa, a varias, universidades, organismos públicos, etc...

4) Al ser abierto, el único límite para mejorar el producto es el tiempo y los conocimientos.

5) ¿Porqué pensar que el OS es menos seguro? ¿Porque lo comparte mas gente? Esa es la garantía de que siempre encontraremos el codigo del producto, versiones antiguas, patchs, etc.. Nada nos asegura que un cambio accionarial o un empleado insatisfecho de una empresa propietaria pueda 'destrozar' desarrollos importantes.

6) Cuando algo va mal con el software (siempre acaba pasando), cualquiera puede ayudarte en OS. En software propietario, sólo los desarrolladores de la compañía.

7) Estabilidad. El vendedor decide como y cuando hace los upgrades, que nuevas características incluye y que hace con el software obsoleto. En OS tu decides y colaboras en las nuevas versiones, en retener y mejorar las antiguas, etc...

8) ¿Es necesario siempre migrar a la nueva versión que ofrece y 'sugiere' el vendedor propietario?

9) ¿Qué cara se te queda cuando el vendedor decide 'dejar de dar soporte' a la versión que tu tienes (vale, aunque sea muy vieja, pero puede que la uses y te sirva bien)?

10) Con OS no hay presión para hacer upgrades, el código siempre estará ahí y siempre alguien te podrá dar soporte.

11) ¿Qué ocurre si un vendedor quiebra, deja esa tecnología, vende la empresa, se fusiona con otra, etc....?

12) Cuando llegas a un acuerdo con un vendedor propietario, estableces una relación formal (te casas: hipotecas, cursos, hijos, soporte, formación, coche nuevo, upgrades, no ser infiel (producto/pareja). En OS, puedes cambiar de pareja/producto con mas frecuencia sin tener tantas implicaciones. En Informatica, nunca es bueno 'casarse' con una sola tecnología.

13) La motivación de un vendedor propietario son las ventas. En OS, la motivación es hacer cosas que solventen necesidades.

14) En OS la base de usuarios es enorme (desarrolladores, empresas, chavales, investigadores, administracion publica...). Quizás menos 'revenue', pero una pléyade de usuarios dando su opinión e ideas.

15) ¿En cual de los dos modelos creeis que se identifican antes los bugs?¿Y en cual se corrijen antes?

16) Los desarrolladores originales son conocidos, a través de foros, blogs, news y esto da un prestigio y relevancia que fomenta la motivación e implicación de los mismos.

Bueno, obviamente el artículo es muy favorable al Open Source. No deja de tener riesgos y algunos inconvenientes. Aunque, lo cierto, es que parece que conforme pasa el tiempo estos tienden a reducirse.

Después de lo dicho ¿Cuál creeis que es la ventaja fundamental?

Tags: destacado

16 oct. 2006

Ofertas de Trabajo en Business Intelligence (Octubre 06)

Oferta de Trabajo

Ya teneis a vuestra disposición las ofertas de empleo existentes en el área del Business Intelligence en España, más algunas ofertas europeas interesantes.
Si quieres enviarnos tu CV, para mandárselo a las empresas y headhunters que nos solicitan trabajadores, mándanos un mail a administrador_arroba_todobi.com junto con tus datos y CV.

Consultar ofertas de Octubre

Si alguien está interesado en realizar una contratación o busca un perfil concreto, puede dejar sus requerimientos en el apartado de comentarios o enviar un e-mail a: administrador_arroba_todobi.com

13 oct. 2006

GestDB, aplicacion libre de acceso a multiples Bases de Datos

GestDB

En nuestro interés por presentaros las mejores herramientas Business Intelligence, en esta ocasión os acercamos una que va dirigida directamente a los administradores y desarrolladores: una aplicación para gestionar multiples Bases de Datos: GestDB

GestDB es una aplicación de código libre, desarrollada con el objetivo de permitir el acceso a los distintos gestores de base de datos para poder realizar consultas, modificaciones y creaciones de estructuras de datos y sus contenidos.

La idea surgió tras la desesperación de su creador al tener que instalarse un cliente distinto para cada gestor de base de datos, que significaba tener que aprenderse el manejo de dicho cliente cada vez. También tenía el inconveniente que cada cliente solía ocupar 300MB como mínimo y lo único que quería hacer eran unas consultas sobre la base de datos.
Tras ver las posibilidades decidió desarrollarlo en Java que permitía la portabilidad a cualquier sistema operativo que tuviera la máquina virtual java.

Algunas de sus características más importantes son las siguientes:

- Posibilidad de conectarte a la vez a varia bases de datos aunque sean de distintos tipos, como por ejemplo Oracle, DB2, SQLServer, Informix, MySQL, FireBird, ODBC, etc.
- Visualización de la estructuras de las tablas.
- Asistente de consultas.
- Exportación de datos de un gestor de un tipo a otro, como por ejemplo desde Oracle a DB2. Permitiendo sacar la estructura de datos (Create table, index, etc.) adaptados a tipo de gestor de destino.
- Exportación de datos en formato plano de texto separados con delimitadores o como insert, o deletes y updates.
- Importación de datos desde archivos planos de texto, archivos de SQL, archivos independientes o directorios enteros.
- Histórico de SQL de la sesión.
- Reapertura de las conexiones abiertas en la última sesión.
- Estadísticas de ocupación.
- Múltiples pestañas para comandos SQL en cada sesión.
- Funciona en casi todos los sistemas operativos.
- Compatible con Java 1.3 o superior.
- Permite utilizarlo en modo gráfico o en modo texto.
- Backup de datos desasistido, pudiéndose utilizar en procesos batch.

Notas:
GestDB es una aplicación cliente de base de datos multiplataforma. Esta aplicación está desarrollada en java versión 1.4 y corre en cualquier plataforma que tenga instalada la maquina virtual de Java de esa versión o superior. También corre sobre 1.3 pero no se garantiza su correcto funcionamiento. La aplicación en modo texto es capaz de trabajar con Java 1.2 pero tampoco se garantiza su correcto funcionamiento.

10 oct. 2006

OLAP para MySQL

OLAP-MySQL


El próximo día 24 de Octubre, MySQL presenta un Webinar de acceso gratuito muy interesante: "OLAP for MySQL using Pentaho Mondrian".

Online Analytical Processing (OLAP), esta siendo cada vez más una tecnología mucho mas popular: ver entradas (La historia de los productos OLAP, MOLAP, ROLAP, HOLAP no es solo jerga., que es OLAP ). Los usuarios necesitan de una alta capacidad y velocidad de acceso a a la informacion que almacenan en sus Bases de Datos.
OLAP permite a los usuarios navegar rapidamente y explorar toda su información en base a dimensiones de negocio, como los productos, geografía, tiempo, centros de coste, etc...

Ahora, Pentaho y MySQL, presentan una gran solución para proporcionar soluciones OLAP totalmente en entorno Open Source, con la base de Pentaho Mondrian y de MySQL 5.

Os recomendados totalmente este Webinar a todos aquellos que esten interesados en Reporting, análisis, OLAP, Data Warehousing y Open Source.

¿De qué se hablará en el Webinar?
1. Proyecto Pentaho Mondrian OLAP, que proporciona acceso OLAP de alto rendimiento sobre la base de MySQL.
2. Tecnología OLAP, incluyendo modelos multidimensionales, esquemas OLAP y lenguajes de consulta.
3. Case Studies.
4. ¿Porqué MySQL-Pentaho es la mejor forma de montar soluciones analiticas OLAP?

Los ponentes son de lujo:

Julian Hyde, el creador de Mondrian OLAP y, actualmente lider del área de analisis OLAP en Pentaho. Además tiene un blog.
Lance Walter, encargado de Marketing en Pentaho tuvo puestos de responsabilidad en Business Objects, Siebel e Hyperion.

Para saber mas:
Mondrian: OLAP power at your USERS fingertips
Mondrian
Pentaho
MySQL

6 oct. 2006

Estudios de Mercado, una comparativa.

Los estudios de mercado (ver nuestra seccion), son ese elemento crítico, que todo Director de Marketing o responsable de Ventas, necesita poder mostrar a sus clientes para demostrar que se está en una posición mejor o peor que sus principales rivales.
Como no es posible satisfacer a todos (como en toda clasificación, siempre hay unos por delante y otros por detrás), la industria ha ideado un método mejor. Que sean varias las clasificaciones (según quien las realiza: Gartner, IDC, Forrester...), subdividiendo en áreas la clasificación (en vez de BI a secas, se habla de CPM, análisis, OLAP, DW, etc...), realizando comparativas con un número restringido y filtrado de participantes, etc...
Como véis son muchos los métodos. No quiere decir que estos métodos sean fraudulentos. Todo lo contrario, estas empresas son todas muy respetables y responsables, pero si que van a requerir del cliente final cierta pericia para 'leer' estos informes.

Nosotros os vamos a mostrar algunos de estos informes (los últimos sacados del horno), para que cada uno pueda ir sacando sus conslusiones.

Desde Teradata (ya que salen bien parados), nos envían los informes sobre Bases de Datos.

Este es de Agosto de 2006:
Magic Quadrant for Data Warehouse DBMS Servers.



Este es el último de Septiembre de 2006:
Magic Quadrant for Data Warehouse Database Management Systems.

Gartner DBMS. Sept. 06

Como podemos ver, la 'lucha' entre los grandes: Teradata, IBM, Oracle y Microsoft es cerrada. Siempre con Microsoft un poco mas lejos desde el punto de vista técnico, pero con su gran penetración comercial en muchos sectores de negocio. Para ser objetivos, a estos estudios habría que añadir una serie de benchmarks sobre rendimiento (son unas pruebas realizadas de forma común, para un número de tablas, registros, cpu´s, transformaciones, etc...)

CPM
Finalmente, tenemos trambién un interesante estudio de IDC, que publican los amigos de
BPM-Spain, sobre BPM (que es lo mismo que CPM o EPM, depende de quien lo diga).
En este estudio, se habla de como esta el sector del BPM (interesante identificar que engloba realmente el BPM, que como ya hemos dicho anteriormente, INTEGRATION FORUM 2006 profundiza en SOA, es como una especia de 'paraguas teórico' que engloba a diferentes herramientas y tecnologías para dar una respuesta global al negocio).

Como decimos, se explica como esta posicionado cada fabricante, así como sus términos de crecimiento y características particuales de cada uno.

En la siguiente tabla se puede observar como esta repartido el sector:

IDC BPM-2006

4 oct. 2006

El grafico mas complicado jamas visto

Ni que decir tiene, que sobre visualización de informes, gráficos y cuadros de mando se ha escrito mucho.

En esta entrada voy a ser breve. Os presento uno de los gráficos mas 'complicados y saturados' que he visto. Trata sobre los principales acontecimientos y tendencias ocurridas durante los ultimos tres siglos.

Esto nos puede inspirar cuando en muchas empresas se solicita que 'se quiere ver todo en el cuadro de mando'.

El grafico mas complicado jamas visto

Si alguno tiene algún gráfico mas complicado, por favor, que nos lo envíe!!

2 oct. 2006

Evaluar productos ETL es dificil

ETL

No cabe duda que la evaluación de cualquier tecnología es dificil. Si nos centramos en el área del Business Intelligence (en donde existe una numerosísima variedad de productos y fabricantes), mucho más; pero si vamos más allá, a un área específica del BI, como son las herramientas ETL (extracción, transformación y carga de los datos), la dificultad se hace mucho mayor.

Los motivos son los que comento a continuación y que he recogido del interesante blog
Clickstream.

- Todos los productos ETL tienen un aspecto similar. Si, incluso mas que las herramientas de análisis. Parece que se ha establecido un 'standard' de facto sobre el look & feel. Lo cierto es que muchos DBA´s agradecerían algo de innovacion en este aspecto.
- Las presentaciones de los preventas son todas iguales. Se habla de las fuentes a las que se accede, de las herramientas para realizar transformaciones, de la forma de representarlo visualmente y de los metadata que se generan. Raramente se incide en los procesos de negocio que afecta, de las ventajas para la toma de decisiones y de como afecta al 'día a día' de un programador o dba.
- Si vemos demos colgadas en sus web, nos resulta practicamente imposible distinguirlas.
- Es probablemente, el área de BI en donde se necesite un conocimiento mas especializado y técnico. Y, en muy pocas empresas se tiene este conocimiento.
- La informacion que dan los analistas tipo Gartner, IDC, etc... se centran en generalidades y no inciden en los aspectos técnicos fundamentales.
- Muchas veces, los check-list standards sobre ETL no nos sirven para tomar decisiones.

Por eso, lo mejor es tratar de plantear cuestiones concretas y ver como pueden ser respondidas y solventadas:

Ej) Si el motor de transformacion esta realizando una gran carga de trabajo, ¿que ocurre si de repente entra una gran cantidad de datos no prevista? stop, delay, buffer...
Si tenemos que hacer una join entre una tabla de 4Gb de Sql Server y otra de 8Gb de Oracle. ¿cómo la realiza?
¿Como se evita que se sature toda la memoria?
¿Cómo se maneja el buffer?

Este es sólo un ejemplo, pero la idea es ir siguiendo paso a paso un posible caso real. Desde el principio al final. Por ello, la mejor forma de evaluar herramientas ETL es realizar unas pruebas o prototipos con una cantidad importante de datos. Aunque pueda suponer un mayor desembolso al principio, al final será muy útil.


Productos ETL:
Comerciales:
BusinessObjects Data Integrator
IBM Websphere DataStage
Informatica PowerCenter
Oracle Warehouse Builder
SAS Data Integration Studio
SQL Server Integration Services
Open Source:
Enhydra Octopus
KETTLE (Pentaho ETL)
CloverETL Project


Para saber mas:
Evaluating ETL Tools and Technologies
ETL Tools and Increased Productivity
ELT and ETL - candid view of pros ...
ETL "Ten Mistakes" paper

Getting Technical - ETL Selection Criteria, Part 1
Getting Technical - ETL Selection Criteria, Part 2
Differences Between EAI and ETL