Aunque el Big Data ya lleva unos años purulando, últimamente parece que empieza a expandirse cada vez más. Así que empezaremos a adentrarnos en él.
Big Data
Se trata de la acumulación/acceso, procesado y análisis de bestiales (del orden de petabytes) volúmenes de datos para obtener conclusiones. Podríamos decir, que nos sirve por ejemplo, para hacer análisis estadísticos donde el subconjunto de datos con el que trabajamos se acerca mucho al universo de datos existentes.
Conceptualmente, es algo muy poderoso ya que por un lado puede permitir:
- Anticiparse a catástrofes creando modelos de mayor fiabilidad
- Mejorar la calidad de vida (ciudades inteligentes -alumbrado inteligente-)
Pero por otra:
- Pérdida de privacidad
- Dar el 100% de confianza a los datos y dar por sentado que determinados hábitos siempre desembocan en el mismo comportamiento (me viene a la cabeza la película "Minority Report")
- Problemas de seguridad
Aunque no nos engañemos, si el BigData se está extendiendo, es por la tajada que le están sacando grandes empresas y gobiernos. Que por un lado benefician a los consumidores (por ejemplo en los seguros de automóvil que cada vez son más personalizados y por tanto más baratos para los buenos conductores), pero por otro tenemos cada vez menos privacidad y se presupondrán cada vez más aspectos de nuestro comportamiento.
También hay que tener en cuenta que esos enormes volúmenes de datos, deberían estar estructurados mínimamente (como seguramente los tengan ya Google, Facebook, Amazon, ...). Nosotros nos podemos crear crawlers para ir sacando información de las páginas (que hay unas cuantas, cada una hija de su padre y de su madre), pero está claro que va a ser claramente preferible que un usuario se registre en nuestro portal y que le vayamos pidiendo datos o simplemente vayamos registrando su actividad (qué tipo de productos compra, cuánto suele gastar, en qué épocas, que tipo de eventos le gusta, ....).
Hadoop
Consta de:
- Un sistema de ficheros distribuido (HDFS)
- Análisis de datos mediante MapReduce
Con lo cual tenemos un único sistema de ficheros que puede estar apuntando a ficheros de otras máquinas y un ánalisis que se puede paralelizar, minimizando los tiempos.
De momento, no hay distribución para windows (salvo que uses VMWare, Cygwin, lo típico) y como tampoco tengo nada en contra de Linux, pues en la próxima entrada explicaré como configurar y ejecutar Hadoop usando un ejemplo bastante gallego bajo Ubuntu (no porque vaya a intentar decir algo y no diga nada, sino porque realmente en el ejemplo nos centraremos en sacar unos datos que tienen que ver con Galicia).
Lo que no hay que perder de vista es que esto sólo es realmente útil si estamos trabajando con grandes volúmenes de datos (Big Data) ya que en otro caso, probablemente no valga la pena distribuirla. Aunque para hacer una prueba de Hadoop nos vale igual (abusando un poco de la notación) un fichero de 5Mb que mil de 5Pb.
