Material Big Data

Lanzados ppts informativos de tecnologías BigData: Hadoop, Hbase, Hive, Zookeeper...

Apuntate al Curso gratuito para aprender Business Intelligence. Plazas limitadas!!

Diseño multidimensional, OLAP, ETL, visualización, open source...

Pentaho Analytics. Un gran salto

Ya se ha lanzado Pentaho 7 y con grandes sorpresas. Descubre con nosotros las mejoras de la mejor suite Open BI

La mejor oferta de Cusos Open Source

Después de la gran acogida de nuestros Cursos Open Source, eminentemente prácticos, lanzamos las convocatorias de 2017

30 ago. 2008

El estado actual del Open Source BI

Interesantísima presentación del especialista en BI Open Source, Mark Madsen de Third Nature.
Mark se plantea las siguientes preguntas. Por qué Open Source? Por qué ahora? Que deben hacer los fabricantes de soluciones y los clientes en un mercado, el del BI, que se ha 'commodificado', por usar el palabro. Es decir, que la percepción que se tiene de las diferentes soluciones es muy similar, y no se percibe por el mercado. Se buscan soluciones BI... y punto.. ahí entra en juego el Open Source... por su flexibilidad, disponibilidad y precio.

Mark tambié esta muy interesado en como las empresas pueden sacar valor del uso de las soluciones BI Open Source, pensadas como 'mejor que gratuitas'. Con este criterior en la mente, muchas organizaciones sacarán todo el partido al BI Open Source.
Tambien hace mucho foco en los beneficios reales que todos (fabricantes, clientes, consultores, etc...) pueden sacar del uso del BI.
La verdad es que estamos muy de acuerdo con lo que indica Mark, si bien es cierto, que muchas de sus apreciaciones suyas llevan cierto tiempo para confirmarse y todavía 'hay que remover' muchos pensamientos 'preestablecidos'. Aún así, los hechos estan dando la razón.




Mark Madsen tiene un blog muy interesante sobre el tema.


27 ago. 2008

Poster Master Data Management de TDWI

MDM Poster

Ya está disponible el nuevo poster de TDWI, en esta ocasión dedicado el MDM (Master Data Management), que trata sobre el complejo mundo de montar DataWarehouse en donde se incluyen procesos y herramientas para manejar información que no se encuentra en fuentes transaccionales.

Otros posters TDWI:
Poster 2007
Posters 2005 y 2006

Basicamente, se trata de poder asegurar que los maestros (generalmente las dimensiones de un DW), son consistentes a lo largo de toda la organización y no generará problemas de análisis en el futuro. La realidad práctica es que gran parte de las grandes y medianas compañías tienen carencias en este sentido y, hasta ahora, este tipo de procesos se ha venido haciendo de forma 'mas o menos manual', con los problemas que esto puede conllevar.

Por tanto, para asegurar esa consistencia han surgido herramientas que nos facilitan la recogida, identificación, asignación, filtrado, calidad del dato, consolidación, persistencia y distribución de los datos.
La realidad es que podríamos considerar que de un correcto uso de herramientas ETL, de un buen diseño del DW y de unos objetivos e implicación clara de la dirección y de los principales responsables de una compañía, se obtiene un buen MDM (y que mejor, si hay un software que nos apoya en esta tarea).

Por tanto, lo que se pretende es establecer unos procedimientos de normalización, aseguramiento de la calidad, reglas de negocio, etc... que nos facilitarán estas tareas.

Lista de los principales vendedores de MDM
Kalido MDM
The What, Why, and How of Master Data Management
Andy on Enterprise Software (MDM blog)
An Introduction to the Master Data Management Reference Architecture
Data Governance

24 ago. 2008

Web para aprender Microsoft BI

LearnMSBI

Estupenda la iniciativa de un apasionado del Business Intelligence con soluciones de Microsoft, y que (sin vinculación con la empresa, eso dice por lo menos), ha creado una web en la que esta colgando una serie de videos muy interesantes para conocer y manejar la suite Business Intelligence de Microsoft. La web en cuestión es: LearnMicrosoftBI

Craig Utley, que así se llama el creador de la web ha trabajado durante muchos años con tecnologías BI de Microsoft, ha participado en numerosas conferencias y sesiones con grupos de usuarios, además de publicar artículos y libros, el último de los cuales es : Business Intelligence with Microsoft® Office PerformancePoint Server 2007.

Ya hay colgados 16 videos sobre los siguientes temas:

- Genéricos sobre Business Intelligence:

Basics 101 - What is Business Intelligence?
Basics 102 - Delivering Business Intelligence
Basics 103 - The Data Warehousing Process
Basics 104 - Why BI Projects Fail (and what you can do about it)
Basics 105 - Introduction to Business Intelligence Development Studio

- Analysis Services:

SSAS 101 - Introduction to Analysis Services
SSAS 102 - Creating Projects and Data Sources
SSAS 103 - Data Source Views
SSAS 104 - The Cube Wizard - SSAS 2005
SSAS 105 - The Cube Wizard - SSAS 2008
SSAS 106 - Basic Deploying, Processing, and Browsing
SSAS 107 - Creating Dimensions
SSAS 108 - Creating Hierarchies
SSAS 109 - Attribute Relationships
SSAS 110 - Dimension Usage
SSAS 111 - Aggregations Basics in SSAS 2005

20 ago. 2008

Microsoft adquiere DATAllegro

Logo-datallegro-com

Hace poco hablábamos de los DW Appliances y recientemente se ha conocido la noticia de la adquisición por parte de Microsoft de DATAllegro, una de las empresas más representativas.

De hecho, DATAllegro, forma parte del grupo de los Native data warehouse appliance; donde tanto el hardware como el software estan estrechamente integrados en una sola plataforma. No se pueden licenciar por separado y tampoco se pueden utilizar de forma individualizada. Algunos ejemplos de este tipo son: DATAllegro, Netezza, y Teradata.

La formula mágica viene de la combinación de: Dell, Intel, EMC, Ingres y CISCO
Esta es la arquitectura (reseñable el uso de la Base de Datos Open Source Ingres)

DATAllegro Arquitectura

Podéis ver el resto de tipos de Appliances en este enlace: Tipos de DW Appliances. Que duda cabe, que lo que ya veníamos barruntando como una tendencia (en muchos casos, sobre todo en el mundo anglosajón como una realidad), se ha confirmado tras esta compra. Definitivamente, los DW Appliances estan golpeando el mercado de las Bases de Datos orientadas al análisis.

A diferencia de la mayoría de vendedores de Bases de datos que están en el intervalo de 1 a 25 terabites, DATAllegro se ha especializado en bases de datos de gran volumen y alto rendimiento. Las instalaciones de bases de datos de DATAllegro incluyen algunas de las capacidades de mayor volumen de datos de la industria-hasta cientos de terabites en un solo sistema. Los clientes de DATAllegro abarcan mercados como el de venta minorista, telecomunicaciones y fabricación.

Tras completar la adquisición, Microsoft mantendrá a todo el equipo de DATAllegro así como su sede en Aliso Viejo, California, convirtiéndola en un centro de excelencia para el almacenamiento de datos. Los clientes DATAllegro seguirán recibiendo asistencia.

La clave, en cualquier caso, será ver como se realiza la integración de DATAllegro con SQL Server. Desde nuestro punto de vista es interesante mencionar que usa la Base de Datos Open Source Ingres como motor.

Nota de Prensa
Microsoft acquisition FAQ

16 ago. 2008

Cuadro de Mando para seguir los Juegos Olimpicos

Es ya una tradición que durante importantes eventos deportivos, algunos fabricantes de soluciones Business Intelligence, realicen Dashboards para hacer un seguimiento de los resultados y, al mismo tiempo, mostrar las caracerísticas técnicas de sus soluciones. Esto lo vimos hace poco con motivo de la pasada Eurocopa.

En esta ocasión, la empresa iDashboards, ha creado un Cuadro de Mando para seguir los Juegos Olímpicos de Pekín, en donde nos va actualizando las medallas conseguidas. Nos muestra los resultados de todos los paises, para cada una de las 28 competiciones en liza.
Por cierto, España esta cerca de convertirse en la peor selección olímpica en el ratio de deportistas enviados vs medallas conseguidas (de entre las que han conseguido alguna)... Y luego dicen que no somos primeros en nada...

Ver 2008 Olympics Scorecard

2008 Olympics Scorecard

10 ago. 2008

Microsoft lanza la version final de SQL Server 2008

SQL Server 2008

Microsoft ha anunciado esta pasada semana la disponibilidad de la RTM (Release To Manufacturing) de Microsoft SQL Server 2008, la nueva versión del sistema de gestión de bases de datos de la compañía. Hasta la fecha ha habido más de 450.000 descargas de la versión beta del producto.

SQL Server 2008 se puede encontrar en las siguientes ediciones:

• SQL Server 2008 Enterprise: SQL Server 2008 Enterprise es una completa plataforma de business intelligence y gestión de datos, que proporciona características de escalabilidad, data warehousing, seguridad, soporte analítico avanzado y reporting para aplicaciones críticas de negocio. Con esta edición, ahora es posible consolidar servidores y ejecutar procesos transaccionales online a gran escala.

• SQL Server 2008 Standard: SQL Server 2008 Standard es una completa plataforma de business intelligence y gestión de datos, que proporciona gestión y facilidad de uso para funcionar en aplicaciones departamentales.

• SQL Server 2008 Workgroup: SQL Server 2008 Workgroup es una plataforma de reporting y gestión de datos fiable, que proporciona capacidades de gestión y sincronización remota seguras. Esta edición incluye características de base de datos clave y hace muy sencilla la migración a las versiones Standard o Enterprise.

• SQL Server 2008 Web: SQL Server 2008 Web está específicamente diseñado para entornos web de alta disponibilidad que se ejecutan sobre Windows Server. SQL Server 2008 Web proporciona lo necesario para soportar aplicaciones web altamente escalables y de bajo precio o soluciones de hosting para los clientes.

• SQL Server 2008 Developer: SQL Server 2008 Developer permite a los desarrolladores construir y probar cualquier tipo de aplicación con SQL Server 2008. Esta edición incluye todas las funcionalidades de SQL Server Enterprise, pero contiene licencia sólo para desarrollar, probar y utilizar como demo. Las aplicaciones y las bases de datos desarrolladas bajo esta edición pueden ser actualizadas fácilmente a SQL Server 2008 Enterprise.

• SQL Server 2008 Express: SQL Server 2008 Express es una versión gratuita de SQL Server que incluye funcionalidad de base de datos clave, entre las que se incluyen todos los tipos de datos del nuevo SQL Server 2008 ahora en una aplicación ligera. Esta edición es perfecta para aprender y construir escritorios y pequeñas aplicaciones de servidor, y para ser redistribuida por ISVs.

• SQL Server Compact 3.5: SQL Server Compact es una base de datos embebida gratuita diseñada para desarrolladores, idónea para construir aplicaciones independientes y ocasionalmente conectadas para dispositivos móviles, ordenadores de mesa, y clientes Web. SQL Server Compact funciona sobre todas las plataformas Microsoft Windows, incluyendo los sistemas operativos Windows XP y Windows Vista, y en dispositivos Pocket PC y smartphones.

Precio y disponibilidad:

SQL Server 2008 está actualmente disponible para los subscriptores de MSDN y TechNet y la descarga para evaluación estará disponible el próximo 4 de agosto de 2008. La disponibilidad general está programada para el 15 de agosto de 2008. Las ediciones SQL Server 2008 Express y SQL Server Compact están disponibles para descargar de forma gratuita a partir de hoy en
http://www.microsoft.com/sqlserver

Será también interesante conocer como engarzan los productos y soluciones de Microsoft Business Intelligence con esta nueva versión.

EL precio de SQL Server no aumenta con SQL Server 2008. Más información en
www.microsoft.es/sql/2008

6 ago. 2008

Minority Report

minority-report

Actualización (20 Agosto) : La pizarra interactiva a 50 euros, alucinante!!!

Muchos de vosotros recordareis la película de Tom Cruise, Minority Report, film de Ciencia Ficción, en donde uno de los principales avances era un panel en el que el protagonista rotaba, buscaba y giraba una gran cantidad de imágenes, acontecimientos (datos en definitiva), a la busqueda de posibles actos criminales que se fueran a celebrar.

Tuvo tal impacto dicha película, que la tecnología mostrada (y no desarrollada) se ha usado en innumerables anuncios de publicidad y otros films similares.

Ahora bien, aun siendo Ciencia Ficción lo mostrado, la utilidad que nos mostraba es innegable y, las buenas noticias es que ya hay muchas iniciativas que se están miviendo en dicha dirección.

¿Quién nos dice que pronto no tendremos Cuadros de Mando como los de Minority Report?

Esta es la alternativa de Microsoft, Surface. Parece que el precio de este producto estará entre los 5.000 y los 10.000 dolares.

microsoft-surface

Pero si lo que queremos es movernos por el mundo Open Source, tambien tenemos una alternativa.

Otras Opciones:

- CUBIT, es una superficie interactica para interaciones por contacto (vamos, lo que se hacía en Minority Report). De momento no esta a la venta, pero si lo quieres utilizar e integrar, pronto estará el código disponible Open Source.
- Listado de enlaces interesantes: Multi-touch Table at the Maker Faire.
- Un último enlace: Interactive Multitouch Display.

Algo me dice que este post se puede quedar obsoleto rapidamente, conforme van a ir saliendo nuevas herramientas y opciones, puesto que la demanda y necesidad que cubriría ahí están; y desde nuestro punto de vista del Business Intelligence, sería una mejora de manejo visual increible.
Si conocéis otras opciones, no dejéis de comentarlas.... Se agradece!!

3 ago. 2008

Una oportunidad para los Datawarehouse Appliances

Los Datawarehouse Appliances, cada vez más se están convirtiendo en una gran alternativa a la hora de montar nuestros sistemas Business Intelligence y DataWarehouse. De hecho, no se puede hablar de ellos de forma uniforme, pues existen diferentes tipos, como ya comentamos en un post anterior en TodoBI.

netezza
Ejemplo de DW Appliance de Netezza

Básicamente, lo que se pretende es 'quitar complejidad' en la implementación de un DW. Durante muchos años he visto en implmentaciones en las que ya se tenía decidido usar, por ejemplo, Oracle como Gestor de Base de Datos y Business Objects como Suite Business Intelligence y, sin embargo, se dejaba para el final el tema de los servidores, SO, backups, etc... Es decir, se podía haber iniciado el proyecto y aún no saber si correría sobre Windows, Unix, Linux... o IBM, Sun, HP, Microsoft, Dell, etc...

Incluso, había un gran desconocimiento por parte de los fabricantes de Hardware de en saber en qué consistía un DW preparado y optimizado para consultas analíticas... por ello, son muy buenas noticias que surgieran alternativas intermedias que proporcionaran un 'todo incluido', tan famoso en nuestros días y aplicable a todo tipo de situaciones: viajes, restaurantes, gestiones bancarias, etc...

Basicamente, un DW Appliance es un conjunto integrado de servidores, discos de almacenamiento, Sistemas Operativos, Bases de Datos y Software, ya preinstallado y preparado para montar y hacer funcionar (incluyendo las facilidades de escalabilidad y performance, tan importantes en el mantenimiento de un DW), un sistema DataWarehouse.

De forma derivada, tambien se ha empezado a aplicar el término a soluciones en las que las combinaciones priman sobre todo los componentes de Software.

Porqué ha llegado el momento a los DW Appliances?
- Nuevas empresas, con gran crecimiento de datos (muchas de ellas de los países emergentes, como la India Reliance Communications, que es una especie de Verizon o AT&T, con 40 millones de clientes, añade cada mes, un millón y medio mas... y para ello, están usando Greenplum (que, por cierto, tiene una versión Open Source para la comunidad), y han conseguido que (con mas datos), vaya tres o cuatro veces más rápido que su antiguo DW.

- Otras empresas empresas estan optando por HP Neoview, Netezza, Brighthouse appliance. Existen grandes clientes como New York Stock Exchange y WalMart, que están optando por Appliances, por lo que sólo cabe concluir que el momento ha llegado, basicamente por dos motivos muy simples (según indican los responsables de las empresas que los están usando: cuestan menos dinero y se obtienen mejores rendimientos).

- En España y en el mundo latino en general, su uso es aún testimonial, pero no cabe duda, que poco a poco empezarán a ser utilizadas en grandes organizaciones.

Cuales son las principales ventajas:

- Reducción del Coste Total:
Gran parte de los costes asociados, como los de monitorización y tuning, se ven claramente reducidos con estos sistemas ya preparados, así como otros costes de entrada y puesta en funcionamiento, parches, compatibilidad de versiones entre todos los elementos de la infraestructura (todos los que hayan tenido que montar un DW en los ultimos 15 años, sabrán a que tipo de problemas y 'torturas' me refiero).
Ni que decir tiene, que en un entorno como el actual, en el que la reducción de costes es tan importante, este tipo de soluciones estan encontrando una gran acogida.

- Mejoras en el rendimiento:
Como están orientados al análisis, este tipo de DW Appliances optimizan el rendimiento de las queries mediante el uso de paralelización de queries, a través de diferentes tipos de particionamiento.

- Reduce el tiempo dedicado a la Administracion:
Como un solo vendedor proporciona toda la solución, no se necesita que un Administrador sea experto en DW, BI, DBA, tuning, etc... Se crean consolas de administración que alejan toda esta complejidad.

- Mejora la disponibilidad del sistema ante 'caidas'
Se crean elementos redundantes dentro del DW y otro tipo de tecnologías de duplicidad (mirroring, dual servers...etc)

- Escalabilidad.
Este sea probablemente uno de los puntos críticos y claves del éxito de los DW Appliances. Puesto que nos garantizan de forma real la escalabilidad tanto en rendimiento, como en capacidad... pues no 'manejamos un frankenstein de componentes', sino un sistema integrado.
Todo esto se hace, además, sin necesidad de dejar los sistemas parados durante upgrades, realizar updates periódicos, etc...

- Rápido retorno de la inversión.
Este es un punto discutible de cualquier sistema BI/DW, pero está claro que si se facilita la instalación/confuguración, se automatiza la creación de indices, se paralelizan queries y se automatiza la administración... la creación de prototipos rápidos y valoración de resultados será mucho más facil.