Todo BI: Business Intelligence, Data Warehouse, CRM y mucho mas...

Pentaho abre el Big Data al Open Source

2012-01-30T18:54:00.005+01:00

Una gran noticia, con la que comenzamos la semana, todos los que trabajamos con BI Open Source y Pentaho desde hace años. Como sabéis llevamos un tiempo hablando de la importancia que está adquiriendo el Big Data recientemente (ver entradas recientes).

Hoy se ha anunciado que Pentaho abre a la comunidad Open Source las capacidades Big Data de sus herramientas, tomando la delantera en la disponibilidad gratuita frente al resto de ofertas del mercado.

Pentaho, lo que realmente ha anunciado es que abre al Open Source las funcionalidades Big Data de su motor ETL (Kettle o Pentaho Data Integration), una de las joyas de de Pentaho, y de la que siempre os recomendamos su uso. La licencia de Kettle pasa de LGPL a Apache License V2.0
Realmente nos alegramos de ello, pues en Stratebi, muchas empresas habían preguntado por estas funcionalidades.

Hitos principales del anuncio:

- Disponible la web para todos los aportes de la comunidad open source sobre Pentaho Big Data.
- Lo que nos va a permitir es que con el uso de Kettle, vamos a poder tener capacidades, mediante 'steps' de entrada, salida, manipular los datos y generar informes con los siguientes entornos: Hadoop y almacenamientos NoSQL : Cassandra, Hadoop HDFS, Hadoop MapReduce, Hadapt, HBase, Hive, HPCC Systems y MongoDB.
- Las principales distribuciones de Hadoop están soportadas, incluyendo: Amazon Elastic MapReduce, Apache Hadoop, Cloudera’s Distribution including Apache Hadoop (CDH), Cloudera Enterprise, EMC Greenplum HD, HortonWorks Data Platform powered by Apache Hadoop, yMapR’s M3 Free y M5 Edition.
- Kettle puede ejecutarse tanto dentro como fuera del cluster de Hadoop

Ventajas para usuarios y desarrolladores:

Delivers at least a 10x boost in productivity for developers through visual tools that eliminate the need to write code such as Hadoop MapReduce Java programs, Pig scripts, Hive queries, or NoSQL database queries and scripts;
Makes big data platforms usable for a huge breadth of developers, whereas previously big data platforms were usable only by the geekiest of geeks with deep developer skills such as the ability write Java MapReduce jobs and Pig scripts;
Enables easy visual orchestration of big data tasks such as Hadoop MapReduce jobs, Pentaho MapReduce jobs, Pig scripts, Hive queries, HBase queries, as well as traditional IT tasks such as data mart/warehouse loads and operational data extract-transform-load jobs;
Leverages the full capabilities of each big data platform through Pentaho Kettle’s native integration with each one, while enabling easy co-existence and migration between big data platforms and traditional relational databases;
Provides a super-easy on-ramp to the full data discovery and visualization capabilities of Pentaho Business Analytics, including reporting, dashboards, interactive data analysis, data mining and predictive analysis.

Significa que ahora se puede usar Kettle para integrar una gran variedad de tecnologías, que van desde archivos, bases de datos relacionales, Big Data y NoSQL. Se puede hacer sin necesidad de escribir ningún código. Ver el ejemplo de Matt Casters, creador de Kettle, que estuvo con nosotros en Madrid, como se programa para Hadoop MapReduce.

Donde descargo y consigo más informacion:

- Wiki-Web de Pentaho Big Data
- About Kettle and Big Data
- Pentaho Big Data Plugin

SVN Repository: svn://source.pentaho.org/svnkettleroot/pentaho-big-data-plugin
CI: pentaho-big-data-plugin
Download the latest development build: pentaho-big-data-plugin-TRUNK-SNAPSHOT.tar.gz
Big Data Forum

- Documentacion

Kettle Plugin Development

Getting started with the Pentaho Data Integration Java API

Step Documentation

La consultoria de negocio se 'mueve' en el mundo analítco

2012-01-26T11:38:00.003+01:00

Recientemente, hemos conocido dos noticias interesantes. Las grandes consultas de negocio, provenientes del mundo de la auditoría, se mueven en el mundo analítico.
En concreto, tenemos los ejemplos de Deloitte y Accenture, con sus movimientos respectivos con Daemon Quest y NeoMetrics, buscando acercarse al mundo del análisis y, sobre todo, acercarse a una base de clientes, que hasta ahora se les resistía. O se trata de una forma de 'buscar refugio' por parte de las analíticas?

Noticias de las adquisiciones:

Accenture compra Neometrics
Deloitte compra DaemonQuest

Infografia: Social Business

2012-01-25T18:19:00.001+01:00

Nos ha gustado esta infografia via Forbes

Ebook gratuito, La Consultoria con Humor

2012-01-25T10:20:00.002+01:00

Ya podéis bajaros el libro de 'La Gacela de Wirayut' para leer en vuestro tablet preferido de forma gratuita, en formato pdf.
A todos los que habéis trabajado, trabajais en el mundo de la consultoría, o habéis tratado con consultores, seguro que hay muchas cosas que os resultan familiares.

Se da un repaso a la inutilidad de muchas reuniones de trabajo, la relación con los jefes, el uso del e-mail y de internet, la hipocresía en muchas empresas.
Un apasionante viaje a las profundidades de las empresas. Lugares en donde pasamos gran parte de nuestra vida sin comprender realmente que hacemos allí. Esperemos que os guste y además gratis!!

¿Te llevas bien con tu jefe o solo disimulas?, ¿Utilizas Internet para temas relacionados con tu trabajo o con tu ocio?, ¿Alguna vez has trabajado en el extranjero sin saber apenas inglés?

Descargar ebook

Indice

0. Introducción. La Gacela de Wirayut
1. De moquetas y despachos
2. Tienes un e-mail
3. Haciendo amigos (seguridad, limpieza, mantenimiento)
4. Que bien.... reunión
5. Trabajar en el extranjero (Como Tarzán en Sarajevo)
6. En tierra extraña (cuando se llega a una empresa ‘cliente’)
7. El Alien ‘ado’
8. Reuniones anuales, Kick-offs
9. ¿Un coffee y hablamos?
10. Internet... no se puede estar sin él
11. Momento Rocky Balboa

Pentaho Audit, Activity Report

2012-01-24T11:05:00.004+01:00

One of the shortcomings of the Community Version from Pentaho is the lack of monitoring tools. It is true that there is a good monitoring tool, but they are in the enterprise version.

Anyway, we have enough resources to do so. Only is a question to use it!! Then we leave an example of a report of user activity to show how. It's a simple report that reads data from PentahoAuditLog. As you can see, is a report that loads the data transformation and shows that info to the users.

Note: The report was done with version 3.8 of the Report Designer so if you test it with older versions may not work.

A new improvement of our colleague from Stratebi, Juanjo Ortilles

Las Redes Sociales, a las armas!!

2012-01-23T16:11:00.002+01:00

Nos ha gustado este diseño de Aaron Wood visto a través de BBVAtech.

Freedom for the Business Intelligence User, STDashboard

2012-01-19T17:16:00.006+01:00

Freedom to analyze my data. Freedom to create my own dashboards. Freedom and independence and immediacy of the results for the end user.

When we talk to a potential user, the same question arises: What if I want a new dashboard, however simple, I have to call you?

After the emergence of Web 2.0, the user is more and more independent and manage their own content. Blogging through a web interface, they got pictures, got off music, they do all sorts of things from the browser. How can we not be able to do a Dashboard? Yes, they Can!

How could be, by definition, in a context that is evolutionary, not going to let end users create their own dashboards? This is by far the greatest weakness that has Pentaho Open Source. And that's one reason why some end users prefer another tool, although more limited in power, Pentaho despite being extraordinarily powerful. That's why in Stratebi we have been developing our STDashboard. The editor dashboard that provides end users the ability to create their own dashboards.

After several months of hard work and much help we have developed a dashboard editor under the following assumptions:

A dashboard editor for end users. IN-NEGOTIABLE

An end user does not have to write a single line of code. Not a character!
An end user does not have to learn how it works. No instruction manual!

It should be intuitive enough for 1 minute will learn to handle
It should be clear enough and with enough context to help always know where you are and you're doing.

An end user should analyze their data easily and interactively.

A dashboard editor based on data models already defined.

An editor that allows simple but intuitive dashboards that meet the basic functionality required for any control panel:

To choose among the most used types of charts
To filter the data based on selectors
That allows the interplay of information between the different components.
Enabling, in short, make my dashboard.

And this is the result:

Note that this is not a dashboard editor with universal purpose, as there are a lot of types of business needs you can managed with more elaborated Dashboards, as an example of Tablero Futbolero, as we wrote in this pdf document 'How to create dashboards' and this post, 'BI, Power to the user'. This editor is designed to meet the needs of all users under specific conditions.

When we talk about the types of users. One type of user can be anyone and it is the user who wants to explore the data in an easy and intuitive way. If they have a meeting and want to prepare to analyze the data you have at your fingertips. Who wants to ask questions and get immediate answers. For that user is the STDashboard.

Want to try?, in Stratebi demo you can, although is not the final version, as we are working on gauges and other features, if you can see how it works, you can try it!!

The Future of BI, segun Forrester

2012-01-18T17:07:00.012+01:00

Forrester se pone el gorro de 'pitoniso' para contarnos como cree que será el futuro del Business Intelligence y las principales tendencias para el 2012:

1. BI Tools Over Standars

Los entornos empresariales actuales son muy cambiantes y la única forma de asegurar el crecimiento y uso con éxito de soluciones Business Intelligence es usar un enfoque abierto y el uso de estándares

2. Multiple BI Tools

Se parte de la idea de que no hay ninguna suite BI, por muy grande y poderosa que sea, cubra todas las necesidades empresariales, por lo que habrá que fijarse primero en las necesidades de la organización y elegir lo que mejore encaje. Ya no se trata de comprar una buena suite BI y que la empresa deba adaptarse a ella, sino al revés.

3. Business User Control

Cada vez más, los usuarios de negocio, intervendrán más en el proceso BI, respecto a los departamentos de IT.

4. End User self-service

Usuarios al poder. Las herramientas deben ser sencillas y flexibles para que los propios usuarios las manejen sin problemas.

5. Mobile is Essential

Esta todo dicho. Ya no es imaginable tener una solución BI y que no pueda ser accedida desde un iPad, por ejemplo.

6. Cloud Business Intelligence

Si no quieres tener en 'tu casa' el 'hierro' además del software, puedes subirlo a la nube.

7. BI specific DBMS

Se acabó la dictadura de las Bases de Datos relacionales..... ahora, al igual que con el software. Primero son las necesidades de negocio y se buscará la mejor base de datos que se adapte.

8. Big Data

Podría añadir algo más, pero es tal la profusión de información actual en la red, incluido en TodoBI, que se sobreentiende que será un tema caliente.

9. Data Exploration

Como cada vez va a ver más datos y usuarios que exploren datos, se necesitarán herramientas que permitan explorar de la información de una forma más natural e intuitiva

10. Information Workspace

Ya no se habla de datos, sino de información, por lo que también tendremos que tener disponibles acceso a correos, entornos colabortivos, redes sociales, compartir información, búsquedas, etc...

Lo que los datos nos enseñan, es Ronaldo tan bueno?

2012-01-17T12:53:00.001+01:00

Pulsar para ver más grande

Un pequeño ejemplo de la utilidad de los datos y las gráficas a la hora de conocer mejor la realidad y tomar decisiones. Revisando el Tablero Futbolero, la aplicación Business Intelligence creada con tecnología open source, vemos un ejemplo elocuente.

Todos sabemos que Ronaldo y Messi, suelen ser los máximos goleadores de la Liga con mucha diferencia. Pero si observamos el ranking de remates, vemos que, sobre todo Ronaldo, dispara a puerta con muchisima frecuencia, más del doble que el tercero, que es Falcao.

Si vemos el ratio de goles marcados, en función de los remates, vemos que la efectividad de Ronaldo y Messi baja en gran manera y destacan, entre los goleadores, Higuaín y Soldado como los más efectivos..... la pregunta es, quienes son mejores delanteros?

Pulsar para ver más grande

Formula Editor in STPivot

2012-01-16T11:22:00.005+01:00

One of the features, we´ve added to old jpivot is Formula Editor you can find in new STPivot:

This feature allow users to add/edit calculated members or named sets, that are added to the query in the form of “with … member ...”. This entities list, also known as formulas, appears below the cube navigator in left panel. In the picture you can see the Formula Editor dialog, along with red marks indicating where are the buttons to open it.

If the formula is a calculated member, users can indicate its dimension to have a consistent name proposal (that he can also change). But if it is a named set, no dimension will be necessary.

The expression editor is similar to the MDX Query editor, only a bit simpler, including the cube navigator and formula selector features.

Calculated members may have multiple properties, such as FORMAT_STRING and SOLVE_ORDER for instance; so users can add them directly in the expression editor, or optionally use the dynamic list of property+value at the bottom.

Hope this helps to everyone using old jpivot. Remember that in new versions of Pentaho you receive this kind of message when accesing Mondrian OLAP cubes (if you are tired of it, you can use STPivot):

Nuevo PDI (Kettle) Marketplace

2012-01-16T11:13:00.002+01:00

Matt Casters, nos da unos avances de del PDI Marketplace, para facilitar la incorporación de plugins a Kettle,

Ciencia y Tecnologia, que nos depara el futuro?

2012-01-13T19:08:00.003+01:00

Pulsar para ver grande

Gran Infografía, elaborada por siliconangle.com, que nos da una visión de como será la tecnología los próximos años. Un ejercicio de prospectiva que no está nada mal.

Que es Big Data

2012-01-13T18:37:00.003+01:00

Como comentábamos recientemente, no para de hablarse de Big Data-, os dejamos con una entrada de Radar O'Reilly que explica de forma resumida las principales características y tecnologías, en las que estamos poniendo mucho foco en TodoBI (ver entradas) y en Stratebi,

Big data is data that exceeds the processing capacity of conventional database systems. The data is too big, moves too fast, or doesn't fit the strictures of your database architectures. To gain value from this data, you must choose an alternative way to process it.

The hot IT buzzword of 2012, big data has become viable as cost-effective approaches have emerged to tame the volume, velocity and variability of massive data. Within this data lie valuable patterns and information, previously hidden because of the amount of work required to extract them. To leading corporations, such as Walmart or Google, this power has been in reach for some time, but at fantastic cost. Today's commodity hardware, cloud architectures and open source software bring big data processing into the reach of the less well-resourced. Big data processing is eminently feasible for even the small garage startups, who can cheaply rent server time in the cloud.

Seguir leyendo el artículo en radar o'reilly

5 nuevas compañías en el manejo de datos a seguir

2012-01-11T11:50:00.005+01:00

Platfora: Manejando Big Data de forma sencilla

DataStax: Una de las mejores formas de trabajar con Cassandra

Visual.ly: Big Data debe visualizarse y las infografías nos encantan

Domo: Potenciando la experiencia de usuario. Los que llevéis tiempo en esto del BI, veréis que os recordará a Corda, que compraron

Metamarkets: Directo al grando, una forma rápida y elegante de visualizar Big Data

Visto en Data Science Central

Previsiones BI para 2012

2012-01-11T00:14:00.000+01:00

Cada vez que comienza un año surgen muchas predicciones para el nuevo año. Os traemos las proporcionadas por enterpriseapptoday, en donde nos gusta ver que el BI Open Source seguirá pisando fuerte:

1. Luchar por el derecho a tener Business Intelligence, lo que también se ha llamado 'democratización del BI'. Es decir, que cada vez más usuarios de diferentes áreas y necesidades usaran BI.

2. Descentralización, las decisiones deben ser tomadas, independientemente de cuando y dónde estemos ubicados. El acceso por Internet y los dispositivos móviles ayudarán en esta tarea.

3. Big Data se hace realmente grande, mucho hemos hablado ya de la importancia que ha cobrado en este año que acaba el Big Data. Durante el 2012 va a pasar de ser una nueva moda a una realidad realmente necesaria en el contexto actual.

4. La nube, aunque lleva sonando desde hace años, parece que poco a poco se va consolidando, con la llegada del Big Data, aunque aún le queda algo de trecho como comenta Boris Evelson.

5. Excel-ent, ya no se trata solo de poder exportar a excel sino de poder integrar con herramientas colaborativas, etc...

6. El auge del BI Open Source, que os podemos decir que no hayamos contado ya en este portal. El BI Open Source ha venido para quedarse y ya empieza a ser extraña la compañía que no tiene o no se plantea el uso de BI Open Source.

7. Multiplicidad de soluciones, el linea con lo anterior, al no depender de los altos costes de un proveedor, las compañías pueden utilizar varias soluciones innovadoras de bajo coste que cubran cada una de sus necesidades.

Ver en detalle

New STPivot version available

2012-01-10T12:25:00.005+01:00

Good news, starting 2012, we have a new version of STPivot (Jpivot with steroids). Hope, it would be useful for many BI Open Source deployments. New functionalities include:

Rearranged user interface
Ajaxified user interactions
Easier Chart manipulation
Quick and easy stats (sum, avg, max, min)
Enhanced MDX Query editor
Formula editor dialog
Save function

Now, we include several pdf documents (Introducing STPivot, STPivot Installation Guide, STPivot Tutorial - First Steps, STPivot Tutorial - XMLA Mode, STPivot Tutorial - Clickable Members) and sample code.

You can see the new features and and support STPivot Team from stpivot webpage.

CTools installer for windows, useful for Pentaho

2012-01-09T18:40:00.005+01:00

The CTools is an Open Source toolkit developed by Webdetails, and now we present a windows installer for ctoolls, thanks to effort of our colleague of stratebi Juanjo Ortilles.

The CTools are:

Comunity Chart Component (CCC): A plug-in for Pentaho allows to easily include graphics in dashboards.
Comunity Data Access (CDA): A plug-in for Pentaho that enables access to data in a simple, flexible and powerful
Comunity Dashboard Editor (CDE): A plug-in for Pentaho allows the creation of pictures through a web interface. This plugin is based on CDA, CDF and CCC.
Comunity Dashboard Framework (CDF): A plug-in for Pentaho for creating dashboards from a development framework. This is the first of the CTools and the base from which others were developed.
Comunity Buidl Framework (CBF): A framework to facilitate and automate many aspects of construction projects.
Comunity Startup Tab (CST): A plug-in for Pentaho used to launch different windows at once. For example, to open my dashboard once and not having to open them one by one.

To install most of these projects Pedro Alves created the CToolsInstaller a bash script to automate the installation of most ctolls (CDA, CDE, CDF, CDE) and Saiku . Script that is fine but for people who are sometimes forced to work in environments that are not unix / linux it is cumbersome. There are guides that explain how to use it in Windows-but not just convinced me.

And as I implemented a version of CToolsInstaller for PentahoLauncher it did not cost me much extract that piece of code and create my CToolsInstaller for windows.

If you want you can download it from here: ctoolsinstaller.zip

If you want the eclipse project with the source code you can download from here: ctoolsinstallereclipseproject.zip

Notes:

CDF, CDA, CCC, CDE are developments made by Webdetails .

Saiku is a development by Analytical-labs - MeteoriteBI

The server downloads Jenkins performed with Analytical-labs

Liferay 6.1 CE ya disponible

2012-01-09T18:30:00.002+01:00

Ya está disponible la nueva version community de Liferay. Y viene con muchísimas novedades.

Toda la información en su web. Para descargar: downloads

Updated Support Matrix
UI Refinements
Sites
Setup Wizard
Marketplace Support
Mobile Device Enhancements
Social Activity Improvements
JSON Web Service Improvements
Asset Publisher Improvements
Content Management Goodness
Search Improvements
Unification of the Document Library and Image Gallery
Multiple Repository Mounting.
Native support for storing and serving videos and other media types
Robust content metadata management
Establishing contextual relationships between content types
Dynamic Site and Page Templates
User Customizable Pages
User Defined Lists
Unified User Management
OpenSocial 1.1 Support
Enhancements for Liferay IDE
More social networking and collaboration feaures
Better Scalability
Better Auditing, Management and Monitoring
Better Documentation
Better Security
Better Quality
... And more!

Una pequeña introduccion al Business Intelligence

2012-01-05T12:49:00.003+01:00

Una interesante entrada y aproximación para principiantes en el mundo del Business Intelligence que nos hace Houston Neal,

What is a Data Warehouse?

A data warehouse stores… data. But its technology is much more sophisticated than its name. A data warehouse allows you to consolidate data from several sources (i.e. other software systems) and then perform queries and analyses.

Let’s say, for example, you want to determine the profitability of a new product line in Q3 of 2011. You would need to pull manufacturing cost information from your enterprise resource planning (ERP) software, distribution and transportation costs from your supply chain management system, and finally, marketing campaign costs from your marketing software system. You would then need to compare this with revenue data from your accounting system. All this data would be extracted from these operational systems and then aggregated and organized in a data warehouse. Users would then run queries from the data warehouse, or more accurately, from data marts which are considered to be the access layer.

A data warehouse is organized in a way that is optimized for complex analysis of data from multiple systems, whereas the underlying operational systems are optimized to handle a high volume of transactions specific to their function.

Seguir leyendo....

Diferente percepcion en los paises sobre que datos son seguros

2012-01-05T12:39:00.003+01:00

Gráfica muy interesante la mostrada en la que se observa que datos se consideran más sensibles según el país. Pinchad para ver más grande.

Mindmap del Business Intelligence en 2012

2012-01-05T11:00:00.002+01:00

Una buena forma de ver los temas más candentes del Businesss Intelligence en 2012, aunque echamos en falta menciones más amplias al BI Open Source.

Via openbi french

Como se entiende mejor? Usa un Cuadro de Mandos

2012-01-02T19:08:00.005+01:00

... El uso de Cuadros de Mando es una herramienta muy potente de visualización para entender datos y cifras. Si en la pasada rueda de prensa, los ministros Soraya Saenz de Santamaría y Cristobal Montoro hubieran utilizado Cuadros de Mando, habría sido más sencillo entender y 'ver' lo que se intentaba mostrar en el papel.

OSBI tips in December 2011

2012-01-02T18:24:00.001+01:00

Now you can check latest tips on Business Intelligence Open Source, mainly Pentaho, in December.

You can follow all the historic tips from stratebi demo. Info.

- http://docs.intersystems.com/cache20111/csp/docbook/DocBook.UI.Page.cls?KEY=D2GMDX_ch_calculated_members

- https://github.com/usbrandon/rstats-plugin

- http://type-exit.org/adventures-with-open-source-bi/2011/12/releasing-edi2xml-plugin-for-pdi/

- http://themagicaltrout.wordpress.com/2011/12/07/getting-started-with-luciddb/

- http://www.meteorite.bi/report-design-with-birt/

- http://pedroalves-bi.blogspot.com/2011/12/introducing-add-ins-in-ctools.html

- Xmla4js, http://code.google.com/p/xmla4js/wiki/InstallingAndUsing?ts=1323605106&updated=InstallingAndUsing

- http://wiki.pentaho.com/display/ServerDoc2x/Pentaho+Prompting+API

- http://www.jfree.org/jfreechart/ new version

- How to create a custom theme for the User Console. http://www.ambientbi.co.uk/?p=392

- http://pedroalves-bi.blogspot.com/2011/12/back-to-basics-step-by-step-pentaho.html

- http://forums.pentaho.com/showthread.php?84721-Trouble-with-CBF

- Comenzando con GeoMondrian y XMLA, http://tranchant.name/2011/12/geomondrian-xmla/#.TvMI-hfzPE4.twitter

- http://marcogandra.blogspot.com/2011/12/videos-de-instalacao-e-configuracao-do.html

- Pentaho Modeller Architecture, https://github.com/pentaho/modeler/blob/master/architecture.txt

Las 12 predicciones para Hadoop en el 2012

2012-01-02T11:21:00.005+01:00

Realizadas por Cloudera, uno de los prinicpales especialistas en Big Data, sobre Apache Hadoop que se ha convertido este año en uno de los temas calientes de BI, como hemos comentado varias veces en el portal.

Tablero Champions....

2011-12-27T15:23:00.003+01:00

...Por petición popular de crear un Tablero Futbolero, no solo para la Liga Española, sino para la Champions League, nos hemos puesto manos a la obra y ya os podemos mostrar un screenshot.

Estará disponible en breve,

Row, Column, NoSQL, y Hadoop: Cuando usar y Donde

2011-12-23T10:03:00.003+01:00

Buen video explicativo creado por Infobright (cuya solución orientada a columnas open source hemos usado en alguna ocasión junto a Mondrian, en entornos reales en producción, consiguiendo mejoras de casi el 50%), donde nos explica donde y cuando es recomendable el uso de almacenamientos row, orientados a columnas o para grandes datos Hadoop (muy interesante, habida cuenta de todo lo que se está comentando actualmente)

Business Intelligence. Poder para el usuario

2011-12-22T18:49:00.009+01:00

Los usuarios han tomado el poder en la toma de decisiones. Ha cambiado el paradigma: nunca más los usuarios deben adecuarse a una herramienta y aprenderse los complicados menús. Son ahora las herramientas las que deben ser flexibles y abiertas para adecuarse a las necesidades de los usuarios. Nuestro compañero Juanjo, nos lo explica más detalladamente a continuación:

Parece un lema salido de un departamento de marketing sin mas motivo que la mente calenturienta de un publicista pero es un gran objetivo que ya están consiguiendo.

Pentaho ya dispone de una gran solución de inteligencia de negocio robusta y potente pero carecía de una interfaz de usuario suficientemente amigable y utilizable. Todos los usuarios con los que hablaba me decían que eso no era tan bonito y flexible como lo que le ofrecían otras herramientas. Un primer paso fue la incorporación de mantle y poco a poco han ido introduciendo novedades que están haciendo de la aplicación web una interfaz cada vez mas amigable con el usuario y potente.

Desgraciadamente este proceso de mejora de la interfaz del usuario final ha hecho que la versión Open Source y la versión enterprise (de pago) se vayan separando cada vez mas y que en la versión enterprise con Pentaho analyzer, con el editor de informes para el usuario final y con el editor de cuadros de mando, esta funcionalidad haya mejorado.


Pentaho Dashboards	Pentaho Interactive Reporting	Pentaho Analyzer

Eso no quiere decir que la versión Open Source no haya evolucionado, lo que si que es cierto es que los ha realizado de forma más ágil y abierta y que lo ha hecho a gran ritmo mas gracias a la Comunidad de Pentaho que a Pentaho mismo. Ejemplos como el STPivot de Stratebi . Saiku de Analytical-Labs o el Comunity Dashboard Editor (como colofón de las ctools ) de Webdetails.

A esta lista hay que añadir multitud de desarrollos paralelos, pero que no son Open Source como puede ser flexmonster, o flowwe o el nuevo STDashboard en el que estamos trabajando en Stratebi y que por el momento no es Open Source aunque está en el roadmap que lo sea.

Pero volvamos al tema que nos ocupa. Que ofrece Pentaho al usuario final?

Nuevo Origen de Datos

Permite al usuario final crear y manejar orígenes de datos a voluntad mediante una fácil y amigable interfaz gráfica. Claro está que esto no es la panacea pero permite al usuario final analista un grado de libertad y flexibilidad que hasta hace poco era impensable.

Gracias a esto los usuario finales pueden crearse sus nuevos orígenes de datos, modelarlos y manejarlos a voluntad con total independencia.

Que quiere decir esto? pues crear un modelo olap y de metadatos a partir de un csv, del resultado de una consulta sql o de un conjunto de tablas. Lo que cubre prácticamente todos los casos de uso posibles y normales.

Esto significa que el usuario final ya no necesita (para modelos simples) las complejas herramientas cliente para modelar sus propios modelos. Quieres verlo? Imaginemos un ejemplo de cada caso de uso:

Tras exportar tus datos a un csv puedes importarlos a Pentaho y analizarlos

Puedes analizar el resultado de un select cualquiera. Puede ser un select tan complejo como quieras.

Puedes crear un modelo de datos a partir de un conjunto de tablas. Normalmente un modelo en estrella.

Como puedes ver es un gran índice de independencia para el usuario para crear y manejar modelos de datos de forma fácil y sencilla. Esto no significa que un usuario se pueda hacer su almacén de 0 a 100 sin tener ningún tipo de conocimiento. Esto significa que:

Una vez ya tenemos un entorno analítico podemos añadir de forma fácil y sencilla nuevas fuentes de datos.
Un usuario sin experiencia puede probar y hacer sus primeros cubos de una forma fácil y sencilla.

Por lo que hay que felicitar a Pentaho por su iniciativa. Aunque, como siempre, tienes que saber lo que haces y como lo haces porque:

Oferta de empleo, especialistas Business Intelligence

2011-12-20T13:09:00.000+01:00

Si estas leyendo estas lineas, seguro que te gusta el Business Intelligence y el Open Source. En Stratebi y TodoBI, estamos buscando a personas apasionadas por el Business Intelligence y las soluciones Open Source, tanto en Madrid como en Barcelona, que tengan una buena formación técnica y alguna experiencia en la implementación de proyectos Business Intelligence (Pentaho, Cognos, Microstrategy, Oracle...), bases de datos y entornos Java.

Todo ello, será muy útil para la implementación de aplicaciones Open Source que están revolucionando las soluciones de negocio: Pentaho, Talend, BIRT, etc..
Será importante conocer y haber trabajado con algunos de los principales motores relacionales (Oracle, SQL Server, PostgreSQL, MySQL...) , así como conocer sobre entornos Java, J2EE, JSP...

A partir de un año de experiencia, puedes ser un buen candidato/a para subirte a nuestro barco. En Stratebi, te formaremos en todo lo relacionado con el BI Open Source

Si te gusta el Business Intelligence y te encaja lo que te contamos, escribenos a rrhh@stratebi.com contando tu interés e incluyendo tu CV. En caso de que tu ubicación no pudiera ser Madrid o Barcelona, no dudes en mandarnos igualmente tu CV, donde ponemos en contacto con organizaciones que demandan profesionales del ámbito del BI y del Open Source.

¿Qué ofrecemos?

- Trabajar en dos de las áreas de mayor futuro y crecimiento dentro del mundo empresarial y tecnológico: El Business Intelligence y el Open Source.
- Colaborar en la mejora de las soluciones Open Source, entre las que se encuentran desarrollando algunas de las empresas tecnológicas más importantes.
- Entorno de trabajo dinámico, aprendizaje continuo, variedad de retos.
- Considerar el I+D y la innovación como parte principal de nuestros desarrollos.
- Retribución competitiva.
- En Stratebi somos especialistas y líderes en Business Intelligence Open Source en España.
- Ser parte de un equipo que valora a las personas y al talento como parte fundamental.

Ya sabes, si te gusta la idea, escribenos, contando tu interés y un CV a: rrhh@stratebi.com

O si conoces a alguien, que crees que le podría encajar, no dudes en reenviarselo.

Botin y su Cuadro de Mandos

2011-12-19T13:35:00.003+01:00

Hace unos días se ha publicado en númerosos periódicos una entrevista al presidente del Banco Santander, Emilio Botín. A sus espaldas aparecía un enorme sistema de Cuadro de Mando, para el seguimiento del negocio. Un buen ejemplo práctica de la importancia del uso de Cuadros de Mando para el seguimiento de la marcha empresarial.

Unas fotos:

Ver video de la presentación

Una forma de hacer los proyectos

2011-12-15T19:34:00.002+01:00

Gran e interesante presentación que nos aporta Agustín Cuenca (ASPGems), con el que tenemos la suerte de coincidir y siempre aprender en los eventos de desarrolladores TIBI, proyectos en cliente y demás eventos TIC

Muy recomendable!!!

Version actualizada de Jfreechart

2011-12-15T19:25:00.002+01:00

Una de nuestras librerías gráficas favoritas y más veteranas, actualiza versión con nuevos componentes.

Ver ejemplos

Nuevos parches para PostgreSQL ya disponibles

2011-12-15T19:19:00.002+01:00

Que duda cabe, que PostgreSQL se está convirtiendo en una Base de Datos findamental para los desarrollos BI Open Source. En nuestro caso, la usamos con gran frecuencia. Como en todo, algunas versiones tenían algunas lagunas y bugs que afortunadamente se van cubriendo.

Acaban de publicarse la actualización de todas las versiones de Postgre, con sus correspondientes resoluciones de bugs:

"The PostgreSQL Global Development Group announces updates for all active branches of the PostgreSQL object-relational database system, including versions 9.1.2, 9.0.6, 8.4.10, 8.3.17 and 8.2.23. This release fixes a long list of bugs, including several potential crash and data-corruption issues."

Download
9.1.2 · 2011-12-05 · Notes
9.0.6 · 2011-12-05 · Notes
8.4.10 · 2011-12-05 · Notes
8.3.17 · 2011-12-05 · Notes

Palo 3.3 ya disponible

2011-12-09T18:53:00.005+01:00

Ya está disponible la nueva versión del motor MOLAP, para presupuestación y forecasting...

Jedox-Palo Palo en Sourceforge

OSBI tips in November

2011-12-09T18:39:00.002+01:00

Now you can check latest tips on Business Intelligence Open Source, mainly Pentaho, in November.

You can follow all the historic tips from stratebi demo. Info.

- Data Modeling con Kettle, http://www.ibridge.be/?p=206

- http://diethardsteiner.blogspot.com/2011/11/star-schema-modeling-with-pentaho-data.html

- Crosstabs in Pentaho Reporting, http://www.sherito.org/2011/11/message-from-trenches.html

- Trying Geokettle, http://geobrainstorms.wordpress.com/2011/10/19/etl-%E2%80%93-extracao-transformacao-e-carga-com-geokettle/

- http://ctoolsguy.blogspot.com/2011/11/ccc-charts-now-in-cdf.html

- http://codeissue.com/articles/a04e87158bb8552/pentaho-bi-ctools-cdf-cda-cde-saiku-analytics-etc-using-cygwin

- http://codeissue.com/articles/a04ec1b0b1d0f86/pentaho-cdf-bi-ctools-dashboard-with-clickable-bar-chart-mutli-select-and

- http://www.dataprix.com/blogs/magm/dashboard-cde-eglufiltertwolist

- http://ctoolsguy.blogspot.com/2011/11/all-ctools-are-now-on-github.html

- http://codeissue.com/issues/i84ebaa4eb8027b/mdx-olap-configuration-in-standalone-saiku-analytics

- http://ask.analytical-labs.com/questions/480/controlling-schema-visibility-by-user?page=1#493 Saiku

- CDA updated download, http://cda.webdetails.org/

Si España fuera una Sociedad Anónima

2011-12-05T13:14:00.002+01:00

Interesante el razonamiento y extrapolación que hacen en Gurusblog, suponiendo que España fuera una sociedad anónima, y presentara las cuentas como hacemos todas las empresas. Da que pensar...

Jornada Business Intelligence en La Rioja

2011-12-04T17:53:00.007+01:00

Este pasado jueves 1 de Diciembre tuvimos la suerte la ser invitados a un gran evento sobre Business Intelligence en La Rioja (organizado por Ibertia, Thinktic y el Gobierno de la Rioja), en donde se juntaron algunos de los mejores especialistas Business Intelligence de España, nos encotramos con muchos amigos de Inycom, Ibertia, Bifacil, Jorge, sistemasdecisionales, etc... junto a los grandes vendors: Oracle, Microsoft e IBM.
Stratebi, una vez más, defendiendo el 'honor' del Software Libre, en donde tuvimos una gran acogida e interés de los asistentes.

El evento, gracias a Thinktic, fue retransmitido en directo. Un placer volver siempre a Logroño, en donde además, hemos tenido la suerte trabajar con BI Open Source. Lugar, donde tanto organismos públicos y privados, apuestan por Pentaho y Stratebi.

Agenda (pulsar para ver más grande)

Votos y Cifras, un buen ejemplo BI

2011-12-04T17:49:00.002+01:00

ESRI, ha creado coincidiendo con las Eleccciones Generales en España, un buen ejemplo de Cuadro de Mando Geográfico. VotosyCifras.com

Plugin de RStats en Pentaho

2011-12-04T17:12:00.002+01:00

Pentaho sigue ampliando la integración con otras soluciones Open Source, en este caso con RStats.

Os dejamos el enlace para descargarlo,

Vertica Community Edition

2011-11-28T19:18:00.007+01:00

Una gran noticia que fabricantes propietarios, en este caso Vertica, con sus Bases de Datos orientadas a columnas y, sobre todo, para grandes datos, se acerquen a las comunidades, dejando disponibles ediciones para la comunidad. Podremos decir que tiene más o menos funcionalidades, pero es buen paso del que nos alegramos.

Portal de Vertica Community
Data sheet de Vertica CE

Estas son las limitaciones, que en muchos casos, pueden no ser tantas: "As a no-cost offering, the Vertica Community Edition software will be limited to 1 terabyte of raw data, a three-node cluster size and Community Support only"

Si os decimos que son clientes de Vertica: Twitter, Zynga, Groupon... quizás os parezca más interesante. También comentaros que HP se gastó un buen dinero hace no mucho en su compra.

Nota de prensa de Vertica Community Edition

Presentacion de Kettle, Pentaho Data Integration

2011-11-28T16:47:00.002+01:00

Os dejamos el enlace de la presentación que realizó recientemente Matt Casters en Lisboa, sobre Kettle y todo lo que gira alrededor, como los grandes datos, NoSQL (por cierto, os recomiendo la entrada de Enrique Dans sobre ello, 'La evolución de las Bases de Datos'), APIs, etc...

Más que recomendable la presentación. Descargar

Open Source Symposium, Madrid, 23 de Noviembre

2011-11-13T12:50:00.002+01:00

El próximo 23 de Noviembre se celebra en Madrid un evento muy interesante sobre Open Source, que cuenta con unos ponentes verdaderamente interesantes. Os dejamos toda la información. Desde Stratebi, viendo los ponentes que participan, creemos que será de gran interés.

AGENDA DE LA JORNADA

09:00 – 09:30 Acreditación y Entrega de la Documentación
09:30 – 10:00 Bienvenida y Presentación de la Jornada
10:00 – 10:45 Jürgen Höller (Spring)
10:45 – 11:15 Pausa – Café
11:15 – 12:00 John Powell(Alfresco)
12:00 – 12:45 Jorge Ferrer (Liferay)
12:45 – 13:30 Micha Keiner (edorasbpm)
13:30 – 14:00 Coloquio – Preguntas
14:00 – 15.00 Aperitivo
16:00 – 19:30 Talleres, Demos, a petición.

Inscripciones

OSBI tips In October

2011-11-13T12:46:00.001+01:00

Now you can check latest tips on Business Intelligence Open Source, mainly Pentaho, in October.

You can follow all the historic tips from stratebi demo. Info.

- http://sandbox.pentaho.com/commonly-asked-questions/

- http://codeissue.com/articles/a04e979108dea7f/saiku-analytics-datasource-configuration-in-pentaho-cdf-with-mysql-foodmart

- http://codeissue.com/articles/a04e87158bb8552/pentaho-bi-ctools-cdf-cda-cde-saiku-analytics-etc-using-cygwin

- http://michaeldamour.blogspot.com/2011/10/puc-perspectives.html

- http://www.ambientbi.co.uk/?p=357

- http://www.publishintel.org/projects/pentagomo

eBook de Jasper descargable, las 7 tendencias del Business Intelligence

2011-11-13T12:37:00.003+01:00

Buen documento de la empresa especialista en BI Open Source, Jaspersoft, que publica un ebook descargable, donde habla, a su juicio, de las 7 tendencias próximas más importantes en BI.
Algunas son ya 'lugares comunes', no exentas de razón, pero hay otros puntos que están eclosianando (Democtratización del BI, Open Data, BI Widgets)...

Descargar eBook

Las antiguas reglas básicas ya no son aplicables, y las empresas no pueden dar por hecho que las estrategias de BI del pasado con¬tinúan siendo viables. Consideremos estos cambios fundamentales.

Las nuevas reglas ... se están definiendo actualmente. Los cambios son significativos. Por tanto, veamos siete tendencias que nos forzarán a replantearnos la Inteligencia de negocio —y a rediseñar las herramientas:

Trend #1: Self-Service BI (Inteligencia de negocio de autoservicio)
Trend #2: La BI se vuelve móvil
Trend #3: Prestaciones colaborativas y sociales
Trend #4: Inteligencia de negocio en la nube
Trend #5: El código abierto toma el poder
Trend #6: Big Data
Trend #7: Percepción en tiempo real

Designing Dashboards & Data Visualisations

2011-10-23T18:42:00.004+02:00

Como sabéis nos encanta el diseño de Cuadros de Mando, 1, 2 y 3 y esta presentación es muy útil e interesante.

OSBI tips in September

2011-10-23T18:34:00.002+02:00

Now you can check latest tips on Business Intelligence Open Source, mainly Pentaho, in September.

You can follow all the historic tips from stratebi demo. Info.

- http://www.nicholasgoodman.com/bt/blog/2011/08/29/nosql-now-2011-review-of-adhoc-analytic-architectures/

- http://wiki.pentaho.com/display/COM/August+31,+2011+-+James+Dixon+-+Pentaho+BI+4.0+Thin+Client+APIs+and+Theming

- http://rhaces.blogspot.com/2011/08/transform-cde-dasboard-to-be-loaded-in.html

- http://pandazen.wordpress.com/2011/09/21/tranparent-pentaho-dialog-in-pentaho-administration-console/

- http://arubawayne.blogspot.com/2011/09/improving-performance-with-pentaho-data.html

- http://sandbox.pentaho.com/using-pentaho-data-integration/

- http://sandbox.pentaho.com/2011/05/unlocking-non-relational-data-with-ease/

- http://interestingittips.wordpress.com/2011/09/01/complete-pentaho-installation-on-ubuntu-part-11/

Easy Dashboards for Pentaho (II)

2011-10-06T11:11:00.003+02:00

As we wrote some weeks ago we are working on a Dashboard Editor for creating easy and quick Dashboards for end users.

We can show you now a video of STDashboard

Video Tutoriales Business Intelligence Open Source, llegamos a 40.000 reproducciones

2011-09-30T11:34:00.000+02:00

Llevábamos un tiempo sin echar un vistazo a la cuenta de reproducciones de nuestros videotutoriales sobre Business Intelligence Open Source (Pentaho, CDF, Birt....) y resulta que acabamos de superar los 40.000

Canal Youtube Video Tutoriales

En breve seguiremos subiendo nuevos contenidos... stay tuned!!

Documento de integracion Salesforce y Pentaho

2011-09-27T17:51:00.004+02:00

Que duda cabe, que Salesforce y Pentaho son dos tecnologías que se han hecho muy populares, tanto en el ámbito del CRM, como del Business Intelligence. Dado que estas dos áreas se encuentran muy relacionadas, se hace muy útil tener acceso a la información de Salesforce para integrar la información disponible, con datos corporativos, financieros, etc... y obtener potentes y vistosos informes, análisis y cuadros de mando accesibles via web.

Hemos preparado en Stratebi un documento que detalla los pasos necesarios para llevarlo a cabo. Esperamos que os sea de utilidad.

Descargar Documento de Integración Salesforce-Pentaho

En Roma, en el 4º Pentaho Developers mundial

2011-09-24T09:16:00.008+02:00

Ya estamos en Roma, por cuarto año consecutivo vamos al principal encuentro de la comunidad, expertos y desarrolladores Pentaho. Esta vez en Roma, con mucho que escuchar y que contar (han venido todos los expertos de cada tecnología). En Stratebi, seguimos siendo la única empresa española que ha estado en los 4 Pentaho Developers celebrados. Go!!

Os haremos un resumen detallado de todo lo que allí se cuente. Os dejamos con la interesantísima agenda y el resumen en vivo de Jan Aertsen:

Time Presenter Topic
9:30 Doug Moran Welcome and introductions
9:45 Pedro Alves CTOOLS update
10:15 Matt Casters PDI integration with Data Cleaner, Migration of KFF into PDI 4.3
10:30 " and The state of dynamic ETL a.k.a. metadata injection
10:45 Alain Debecker Using Pentaho and Security customer story
11:00 Coffee break
11:15 Roland Bouman Update on XMLA4js, Kettle Cookbook
11:15 " Pendular
11:30 Gretchen Moran Open MRS (Medical Records System)
11:45 Jos van Dongen & Aly Hollander Antonious Dashboard & IntraZis open source MRS developed at St. Antonius
12:00 Break and make up time if needed
12:15 Luc and Julian Distributed caching and new features of Mondrian 3.3
12:30 " Mondrian 4.0 Alpha Preview
12:45 Tom Barber Whatever Tom thinks up on the plane ride to Rome
13:00 Lunch Break
14:00 Pedro Pinhero CDF Mobile
14:15 "
14:30 Matt Casters The state of the Single Threader step and engine, Real-time
data integration with PDI and The Transformation and Job steps
15:00 Break and make up time if needed
15:15 Cees Vkemenade CDF Dashboard Management Tool
15:30 Thomas Morgner magical pure JavaScript no-GWT-at-all report viewer
15:45
16:00 Paul Stöllberger Saiku Update
16:15
16:30 Coffee break
16:45 Ricardo Pires Fusion Charts Plugin
17:00 Open
17:15 Jens Bleuel Connecting Kettle to the real world
17:30
17:45 Roland Bouman Datavault and anchor modeling
18:00 Bart Maertens BIRT plugins (BI server and PDI)
18:15 Open
18:30 Plan Dinner and Sunday fun

Photo: From Kjube Blog

Oferta de Empleo, especialistas Business Intelligence Open Source

2011-09-22T23:20:00.005+02:00

Si estas leyendo estas lineas, seguro que te gusta el Business Intelligence y el Open Source. En Stratebi y TodoBI, estamos buscando a personas apasionadas por el Business Intelligence y las soluciones Open Source que se quieran 'subir al barco', tanto en Madrid como en Barcelona, que tengan una buena formación técnica y alguna experiencia en la implementación de proyectos Business Intelligence (Pentaho, Cognos, Microstrategy, Oracle...), bases de datos y entornos Java.

Todo ello, será muy útil para la implementación de aplicaciones Open Source que están revolucionando las soluciones de negocio: Pentaho, Talend, BIRT, etc..
Será importante conocer y haber trabajado con algunos de los principales motores relacionales (Oracle, SQL Server, PostgreSQL, MySQL...) , así como conocer sobre entornos Java, J2EE, JSP...

A partir de un año de experiencia, puedes ser un buen candidato/a para subirte a nuestro barco. En Stratebi, te formaremos en todo lo relacionado con el BI Open Source

Cube, time series visualizacion

2011-09-21T10:17:00.002+02:00

Os hablamos de Cube, una gran iniciativa que va avanzando. Se trata de una desarrollo open source apra visualizar time series, construido sobre MongoDB, Node y D3.

Echad un vistazo a este video que se van mostrando ejemplos de los avances:

Nuevas versiones CE de Pentaho BI Server, Kettle y Reporting ya disponibles en sourceforge

2011-09-19T11:37:00.007+02:00

... calentitas como se suele decir, ya tenemos disponibles las nuevas versiones de los principales componentes de Pentaho en su version Community que nos alegramos que vienen con grandes y abiertas novedades, como el nuevo user interface, el acceso a bases relacionales para generar schemas y metadatos, un gran paso en el Agile BI abierto. En el caso de Kettle ya hemos venido contando recientemente que sigue mejorando y convirtiéndose en una herramienta imprescindible.

Las hemos estado probando y tienen muy buena pinta, pronto haremos una actualización de nuestra Demo. En este enlace tenéis videotutoriales, demos y documentación para aprender Pentaho en castellano.

Ya podeis descargar:

Pentaho 3.9 (equivalé a la 4.0, según el propio Doug Moran)
Kettle 4.2
Pentaho Reporting 3.8.2

El valor economico del Software Libre

2011-09-15T15:51:00.001+02:00

Presentación muy interesante.... hay que detenerse en ella y mirar números y cifras... pues dan una visión muy ajustada, al margen de opiniones.

200 seguidores en twitter

2011-09-15T10:30:00.003+02:00

En poco tiempo ya tenemos 200 seguidores en nuestra cuenta de twitter de TodoBI, en donde informamos de todas las novedades del mundo Business Intelligence y de las aplicaciones Open Source.

Gracias a todos!!

Pentaho Data Integration 4 Cookbook

2011-09-15T00:04:00.003+02:00

Siguiendo con nuestra revisión de libros, hoy os hablamos de Pentaho Data Integration 4 Cookbook de Maria Carina Roldan, un libro sobre una herramienta que no nos cansamos de recomendar: Kettle o PDI.

El libro presenta cerca de 70 trucos o recetas en el uso de Kettle. Son tantas las opciones y posibilidades de Kettle, que una buena de aprenderlo es partir de la gran cantidad de ejemplos que presenta el libro.
La mejor forma de acercarse al libro es leer los ejemplos que se presentan y hacer los ejercicios de aquellos que nos parezcan más interesantes y nos serán de utilidad para probarlos directamente.

Os dejamos con el índice de capítulos en donde vienen agrupadas las recetas. Una lectura muy muy recomendable.

Chapter 1: Working with Databases
Chapter 2: Reading and Writing Files
Chapter 3: Manipulating XML Structures
Chapter 4: File Management
Chapter 5: Looking for Data
Chapter 6: Understanding Data Flows
Chapter 7: Executing and Reusing Jobs and Transformations
Chapter 8: Integrating Kettle and the Pentaho Suite
Chapter 9: Getting the Most Out of Kettle

Revision de 'Pentaho Kettle Solutions'

2011-09-10T18:03:00.004+02:00

Las bases teóricas con las reglas basicas sobre que cosa es una ETL las puso Ralph Kimball en su libro “Data Warehouse Lifecycle Toolkit (Segunda Edición)”

En el se explica que las ETL se pueden agrupar en 34 sub-sistemas y a su vez en 4 ámbito:

Data Extraction
- 1. Data Profiling
- 2. Change Data Capture (CDC)
- 3. Extraction
Cleansing and Conforming Tasks
- 4. Data Cleansing Subsystem
- 5. Error Event Management
- 6. Auditing
- 7. Removing Duplicates
- 8. Data Conformance
Data Delivery
- 9. Slowly Changing Dimensions (SCD)
- 10. Surrogate Key Generator
- 11. Hierarchy Manager
- 12. Special Dimensions Manager
- 13. Fact Table Builders
- 14. Surrogate Key Management
- 15. Bridge Table Builder
- 16. Late Arriving Data Handler
- 17. Dimension Manager
- 18.Fact Table Provider
- 19. Aggregate Generation
- 20. OLAP Cube Builder
- 21. Data Propagation Manager
Management
- 22. Scheduler
- 23. Backup System
- 24. Recovery and Restart
- 25. Version Control
- 26. Version Migration
- 27. Work flow Monitor
- 28. Sorting
- 29. Data Lineage and Dependency
- 30. Problem Escalation
- 31. Paralleling and Pipelining
- 32. Security
- 33. Compliance Manager
- 34. Metadata Repository

Uno de los primeros problemas a los que normalmente nos enfrentamos en Stratebi a la hora de realizar un proceso ETL es el CDC (Cange Data Capture), es decir, cómo cargar los datos, no en carga total sinó los datos “nuevos”.

Para ello se nos presentan diferentes opciones que me han parecido interesantes cuanto menos por la categorización:

Source Data-Based CDC o Un mundo ideal:En el sistema origen tenemos algo que nos proporciona esta información como puede ser:
- Los registros tienen una serie de timestamps que indican la fecha de creación y la última fecha de actualización (Todavía no he visto ningún sistema tan bien hecho)
- Se puede hacer uso de las secuencias exixtentes en los sistemas origen
Trigger-Based CDC o Una buena idea pero poco realista: Cada vez que se realiza un insert, update o delete en el sistema origen se dispara un trigger que registra el cambio en nuestra Stagging Area

Snapshot-Based CDC o A lo bruto: Se guarda una foto en nuestra stagging area y cuando volvemos a cargar realizamos una comparación entre ambas.

Log-Based CDC: Se procesa el log de la base de datos en busca de inserts, deletes y updates. Eso se puede hacer facilmente con bases de datos como Oracle y PostgreSQL lo que no todo el mundo sabe es que también se puede hacer con MySql.

Otro de las cosas interesantes es ( el look-up ) paso “Fuzzy Match” que nos permite aplicar diferentes algoritmos de lógica difusa para buscar duplicados.

Siguiendo con los pasos interesantes existen el User Defined Java Expression que viene a ser como el javascript pero mucho mas rápido y el User Defined Java Class Que nos permite definir una clase java y hacer lo que nos venga en gana.

Finalmente, de momento comentar un par de cosas referentes al rendimiento.

Sabíais que se pueden instanciar mas de una réplica de cada paso? Por ejemplo, el paso javascript que todos sabemos que es lento, se le puede decir que inicie 4 u 8 copias para mejorar el renimiento.

Sabías que se puede habilitar la caché de los databases lookup? Sabías que se le puede decir que mapee toda la tabla a memoria para mejorar el rendimiento? Habilitar la caché nos permite que una búsqueda ya hecha no se vuelva a repetir y tenerlo todo en memoria nos permite que se lea la tabla entera al arrancar el proceso y todas las búsquedas, para cada registro se realicen en memoria en vez de hacer N búsquedas en la tabla.

…. Seguiremos informando.

Espectacular infografia del USA Today sobre el 11-S

2011-09-07T18:37:00.004+02:00

Muy completo... echad un vistazo y pinchad en las esferas.

Dashboards in Pentaho, plugin completed!!

2011-09-07T12:29:00.003+02:00

oops.... new icon in Pentaho Demo.... soon more fun!!

Como unir BI y NoSQL

2011-09-06T19:12:00.002+02:00

Cada vez se oye más, 'momentum' que dicen por ahí fuera... aquí os traremos una presentación muy interesante de Nick Goodman sobre BI y NoSQL, tomando LucidDB como referencia.

No sql now2011_review_of_adhoc_architectures

View more presentations from ngoodman

Peliculas en las que el manejo de datos es importante

2011-08-26T11:25:00.004+02:00

Interesante entrada de Information Management, que nos pone el ejemplo de 7 películas muy famosas en la que un buen manejo de los datos maestros forma parte clave de la trama de las mismas. Si conoceis más películas en la que el manejo de Datos es importante, no dudéis en añadirlas:

1. Weekend in Bernie´s (en España con el 'ocurrente' título de 'Este muerto está muy vivo')

Dos jóvenes empleados de una gran compañía de seguros, analizando datos descubren un gran fraude económico de su director con la mafia.

2. Superman III

Gran película de los 80, con sus malogrados protagonistas. Richard Pryor, a través de redondeos de pequeñas cantidades, consigue desviar una gran cantidad de dinero desde el sistema informático.

3. Office Space (en España como 'Trabajo Basura')

Menos conocida que las anteriores en España, se trata de un empleado que odia su trabajo y a través de un virus en el sistema de datos contable, consigue transferir dinero.

4. Fargo

Los hermando Coen, en una de sus mejores películas, también trata de beneficiarse económicamente el protagonista del concesionario de coches de su suegro.

5. Minority Report

Ya hemos hablado de ella, sobre todo en cuanto ala visualización (paneles táctiles, reconocimiento de iris....). Ejemplos de previsualización en base a grandes bases de datos.

6. El secreto de mi exito

Una suplantación de personalidad en una gran empresa, por no haber controlado bien los datos de Recursos Humanos, en la época de mayor esplendor de Michael J. Fox (si, estáis viendo que buen cine el de los 80')

7. Atrápame si puedes

Lo mejor de esta película es que está basada en hechos reales. Con un poco de habilidad, y aprovechando lagunas en el acceso a los sistemas de datos, el protagonista podía conseguir casi cualquier cosa.

Como hacer Cuadros de Mando, documento descargable

2011-08-22T13:36:00.005+02:00

Hemos elaborado un documento que esperamos os parezca interesante, gracias a nuestro compañero Juanjo, sobre 'Cómo hacer Cuadros de Mando'.

Muchas herramientas permiten hacerlos, pero para conseguir que sean utilizados por los usuarios y les saquen provecho os damos en este documento las claves fundamentales.

Esperamos que os sea de utilidad e interés. Descargar.

Periodismo en la era de los datos

2011-08-18T01:07:00.000+02:00

Que la forma de hacer periodismo ha cambiado, es un hecho sin lugar a dudas. La irrupción de la tecnología, internet, acceso a fuentes masivas de datos, particpación de los lectores, etc... está haciendo que se tengan que manejar cantidad mayor de datos, dejarlos abiertos y que su acceso y manejo sea sencillo.

Los videos que referenciamos de la Universidad de Standford sobre datos en periodismo son realmente interesantes. Imprescindible para los nuevos periodistas.

Se habla con ejemplos de como utilizar los datos para contar historias, de infografía, etc.... realmente muy interesante.

Por que las redes sociales son cada vez mas importantes

2011-08-12T13:19:00.006+02:00

Hoy queríamos dedicar unas lineas a la importancia 'real', (aparte de la visión general de moda), que para las empresas tienen la información de las redes sociales, no solo como fuente de información, sino como arma competitiva.

Las Redes Sociales son la mejor representación de la comunicación humana. Se crean grupos de interés que intercambian información sobre una gran variedad de aspectos. Dicha información, gracias a los avances tecnológicos, por primera vez puede ser estructurada, almacenada y consultada de forma sencilla y rápida.

Esto hace que las compañías que quieran poner en práctica sistemas de Inteligencia Competitiva se hayan fijado en las Redes Sociales como paradigma de acceso a la ‘mente’ de los consumidores.

Para saber que cantante o grupo musical está de moda entre un determinado segmento de población, ya no hay que esperar a que los expertos musicales establezcan sus rankings o recomendaciones o a que, bastante tiempo después, salgan publicadas las listas de mayores discos vendidos. Ahora, basta con darse una vuelta por estas redes para saber por qué Lady Gaga o Justin Bieber están arrasando.

Las Redes Sociales complementan de forma perfecta y natural, la información obtenida con los procesos de extracción de datos. Gracias a éstos, se obtiene información prácticamente en tiempo real, directamente de la mente de los consumidores y generadores de opinión y tendencias. Para saber si una marca está ‘in’ o ‘out’, no hay más que ver el ‘ruido’ que genera en las redes, el número de entradas en blogs, su repercusión en Facebook y Twitter, las veces que aparece en búsquedas de Youtube, etc…

La cantidad de información en un tiempo concreto, que puede generar una compañía, marca, producto, tendencia, etc… en las Redes Sociales es una vara de medir más que importante.

Hay webs, por ejemplo, www.lalistawip.com, que mide la relevancia de determinadas personas en la red. Se trata de saber ‘la reputación’ que tiene un personaje en la red, según criterios objetivos de búsqueda, mediante el uso de ‘arañas’ que surcan y bucean por la red, utilizando complejos algoritmos para extraer esta información:

Se está produciendo una ‘eclosión’ de empresas, webs y servicios que ofrecen y prometen a sus clientes dar respuesta a sus principales inquietudes:

¿Mi empresa es relevante en la Red?
¿Soy una persona o directivo influyente?
¿Se habla más de mi o de mi competencia?
¿De quién se habla mejor?
¿Qué aspectos se critican o se alaban de mi empresa?
¿Estoy en una tendencia ascendente, plana o decadente?
¿Qué percepción tiene la Red de mi empresa?

Hoy en día, esa necesidad que siempre se ha tenido en conocer y vigilar el mercado y a nuestra competencia, se hace mucho más ‘exigente’, pues en cuestión de días, horas, incluso minutos, las opiniones vertidas en las Redes Sociales pueden hacer perder toda nuestra reputación conseguida a lo largo de los años.

Ahora mismo, en el competitivo mercado televisivo, las cadenas compiten ferozmente para que sus productos aguanten en emisión un buen número de semanas, que garantice su rentabilidad.

Operación Triunfo ha sido un formato televisivo de gran éxito a lo largo de varios años, en varias cadenas de televisión y en muchos países. Hace unos meses, comenzaba una nueva temporada de este tradicionalmente exitoso producto televisivo.

Los responsables del programa habían cambiado de presentador. Ahora era Pilar Rubio, y se esperaban indices de audiencia y resultados similares a los de años anteriores. Como era habitual, se esperaría a recibir los resultados de audiencia, share, etc… y analizarlos de forma detallada para ir extrayendo conclusiones. Este último año no hizo falta. Tras el estreno del programa, las redes sociales fueron un hervidero de críticas hacía su presentadora estrella, que ya no pudo remontar en emisiones posteriores. El exitoso formato de ‘Operación Triunfo’ fue retirado de antena a las pocas semanas.

No hizo falta recabar sesudos estudios de competencia, analizar tendencias, cuotas de pantalla y emisión, etc…la información que circulaba por las Redes Sociales había dictado su veredicto: la presentadora no funcionaba y el programa-formato-cadena se veían arrastradas consigo.

¿Cómo incorporar la información de las Redes Sociales?

Hay una necesidad imperiosa, como hemos dicho anteriormente, de conocer ‘lo que se dice’ en la Red. Algunas formas sencillas de obtener dicha información es a través de webs que nos proporcionan estadísticas y resultados. Duksboard es un proyecto español que avanza en dicha dirección.

Un buen ejemplo de lo que venimos comentando es la web:

http://www.whostalkin.com/, que con su elocuente nombre, precisamente nos proporciona la información que estamos buscando. Con solo introducir un nombre, ofrece en unos segundos lo que se dice de tí. ¿Y donde busca? pues en los sitios donde 'se mueve la información' en Internet: En las Redes Sociales y Blogs:

FriendFeed, Google Blog Search, identi.ca, Indianpad, Myspace Blogs. Plazoo, Plurk, Twitter, Faetbook, WordPress.com

Probad a incluir el nombre de vuestra compañía. Los resultados serán sorprendes. ¿Serán buenos o malos?. Este aspecto debe valorarlos el especialista en Vigilancia e Inteligencia competitiva. Lo que si podemos garantizar es que serán muy actualizados.

Probad, por ejemplo, a introducir el nombre de una compañía conocida como IKEA, Apple, McDonalds….

La cantidad de información/conversaciones, que puede haber en un solo día, ya supondrían una fuente de información más que suficiente para conocer como esta siendo percibida la compañía en el mercado, que aspectos están siendo negativamente valorados, cuales positivamente e, incluso, si hubiera algún aspecto crítico que se estuviera fraguando de forma soterrada y a punto de explotar con consecuencias dramáticas si no se actúa de inmediato.

Cada vez más datos, más actualizados y más pegados a los usuarios... una gran oportunidad para las empresas y para el Business Intelligence!!

Mapa de los disturbios en Londres

2011-08-09T12:50:00.004+02:00

Los mapas, una vez más, nos ayudan a enteder lo que está pasando....
Acceder al mapa

Aprendiendo NoSQL

2011-08-09T12:08:00.003+02:00

La eclosión de twitter, facebook, groupon, amazon, etc... está poniendo muy de moda las nuevas formas de almacenamiento para grandes datos y el rápido acceso a los mismos. Los terminos NoSQL, Big Data, Hadoop... se están haciendo rápidamente populares.

Hace no mucho hablábamos sobre ello:

- Comparativa de NoSQL Databases (Cassandra, Mongodb, CouchDB, Redis, Riak and HBase)
- Infografía, el potencial de los grandes datos.
- Pentaho tambien está acelerando mucho su integración con Big Data.

Hoy os damos información más detallada con algunas presentaciones, donde poder profundizar: