Tendencias: Big Data como Herramienta de Toma de Decisiones
Por Dr. Alejandro A. Vaisman
Departamento de Ingeniería Informática
Director del Centro de Extracción de Información (XData)
Instituto Tecnológico de Buenos Aires
A lo largo del tiempo, la toma de decisión, una acción por supuesto clave en toda organización, ha pasado de ser un proceso basado en la experiencia y la intuición, a un proceso cada vez más frecuentemente basado en el análisis de datos. Desde comienzos de los años noventa, los sistemas de data warehousing brindaron a las empresas la posibilidad capturar, depurar, y explorar sistemáticamente sus datos, a efectos de dar soporte a la toma de decisiones. Esto generó el auge de los denominados “Sistemas de Soporte a la Decisión” (DSS, en sus siglas en inglés). A partir de allí, se desarrollaron técnicas y algoritmos eficientes e inteligentes de descubrimiento de información oculta en grandes bases de datos, dando origen al término “Data mining”, posteriormente generalizándose en el concepto de “Business Intelligence” (BI). La característica fundamental de estos sistemas era que operaban sobre grandes volúmenes de datos (en ese tiempo, un data warehouse podía contener solo unos pocos Terabytes de información) internos a las compañías. La gran ventaja sobre los métodos tradicionales consistía en que los datos eran confiables, e integrados, es decir, provenientes de diferentes sectores de las empresas, no solamente de las bases de datos centrales de las mismas.
Con el advenimiento de lo que se ha dado en llamar el fenómeno de Big Data, muchas de estas cosas han cambiado. El término “Big Data”, en su definición más aceptada, refiere a grandes volúmenes de datos, estructurados o no, que crecen a un ritmo tan grande que excede la capacidad de captura, almacenamiento, administración, y análisis, que poseen las herramientas tradicionales de software de bases de datos. La procedencia y características de estos datos son tremendamente variadas: redes sociales, sensores, imágenes satelitales, equipamiento médico, etc. Los datos proporcionados por estas fuentes son casi siempre no estructurados, y a menudo contienen no solamente texto, sino también imágenes y audio. Por otra parte, contrariamente a lo que ocurre en un contexto tradicional de Business Intelligence, estos datos, externos a las organizaciones (lo que implica que las empresas no tienen control sobre los mismos), tienen una credibilidad muy volátil, y generalmente baja, lo que representa un desafío adicional para los analistas. Finalmente, y para hacer más complicado aún el problema, a efectos de generar ventajas competitivas, estos datos normalmente deben ser analizados en tiempo real.
Big Data representa un cambio fundamental en la forma de tomar decisiones de negocios, y numerosas empresas así lo han entendido. En forma creciente, muchas empresas, principalmente aquellas basadas en alta tecnología, en Internet, y en el área de salud, consideran relevantes, a efectos de la toma de decisión, los datos provenientes de redes sociales. La razón fundamental es que la reputación es el activo más valioso de estas empresas. Los datos provenientes de redes sociales, analizados en tiempo real, permiten a estas compañías detectar alertas tempranas y evitar o mitigar el daño producido por una decisión equivocada. Hay casos famosos de decisiones que, debido a su repercusión negativa en las redes sociales, se volvieron atrás en menos de 24 horas.[1] Pese a lo anterior, es de remarcar que las empresas siguen considerando los datos de su actividad de negocios (ventas, compras, costos de producción, etc.) como los más valiosos. La excepción a esta regla es el negocio de venta minorista, donde la presión por ser competitivo es enorme, y muchas herramientas proveen actualmente a los clientes conocer el precio de un producto en diferentes puntos de venta.
El análisis de sentimiento es posiblemente la herramienta más utilizada para la toma de decisiones basadas en datos provenientes de las redes sociales. Este análisis es definido como “el proceso de determinar y medir el tono, actitud, opinión y estado emocional de respuestas, decidiendo si una conversación u opinión es positiva, negativa o neutra”. Su utilización se da en muy variados entornos. Desde compañías aéreas (para averiguar sobre experiencia de vuelo, distancia entre asientos), de seguros (costo, cobertura, servicio ante siniestros), venta de indumentaria (variedad, talles, disponibilidad de productos), instituciones financieras (detección de inside trading), hasta decisiones en el ámbito de la política (opiniones, análisis en tiempo real sobre una participación en un show televisivo o debate). Según el caso, el tiempo disponible para el análisis puede ir desde días hasta segundos. De todos modos, y especialmente en el caso del idioma español, hay mucho por hacer en este campo, ya que las herramientas de procesamiento de lenguaje natural están aún en los primeros estadios de desarrollo.
El análisis anterior nos muestra una tendencia marcada de cambio en el proceso de toma de decisión, que encuestas realizadas a ejecutivos de empresas confirman: Las decisiones de gestión basadas exclusivamente en la intuición o la experiencia son cada vez más aisladas. Por el contrario, las decisiones se basan cada vez más en información analítica dura. Las organizaciones creen, en forma creciente en el uso intensivo de datos para la toma de decisiones. Hoy, para estas organizaciones, los datos se han convertido en el cuarto factor de producción, tan esencial como la tierra, el trabajo y el capital. Expertos en comercialización coinciden en que el entorno de lo que hoy llamamos “Big Data” va a generar a las empresas, enormes oportunidades de diferenciación en los próximos cinco a diez años. Es creciente la visión que sostiene que las organizaciones ganadoras en un futuro cercano serán las que tengan éxito en la explotación de grandes volúmenes de datos, por ejemplo, mediante la aplicación de técnicas avanzadas de análisis predictivo en tiempo real.
Como consecuencia de lo anterior, es incesante el desarrollo de nuevas tecnologías y técnicas de captura, procesamiento y análisis de Big Data. Pero por otro lado, las organizaciones deben generar planes y estrategias que permitan hacer uso apropiado de estas nuevas técnicas y tecnologías. Para ello, hay todavía muchas barreras por vencer, internas y externas a las organizaciones. En cuanto al primer caso, es conocido que las grandes organizaciones, son sumamente reacias a los cambios. En este sentido, es común detectar en las empresas los llamados “silos” de datos, que se encuentran en sistemas ERP o CRM, no disponibles a toda la organización. Adicionalmente, hay empresas cuyas direcciones aún no perciben a Big Data como un área estratégica. En cuanto a los factores externos, el principal problema con el que se encuentran las empresas es la falta de personal calificado. El perfil requerido para las tareas que estuvimos discutiendo, se ha dado en llamar “data scientist” o “experto en ciencias de datos”. Este experto debe tener habilidades que le permitan:
- Ubicar e interpretar fuentes de datos interesantes
- Manejar grandes cantidades de datos
- Integrar fuentes de datos
- Asegurar la consistencia de datos
- Construir modelos matemáticos
- Crear visualizaciones que ayuden a entender los resultados
- Comunicar resultados y hallazgos (incluso para una audiencia inexperta)
Es evidente que es muy difícil, si no imposible, reunir en una sola persona todas estas capacidades, por lo que la ciencia de datos es una tarea fundamentalmente de un equipo. Las empresas que quieran trabajar seriamente en la toma de decisiones basadas en Big Data deben constituir equipos de trabajo donde, además de las habilidades indicadas, exista un experto de dominio, un perfil que normalmente lleva años formar. Ha habido en los últimos años (no solamente en nuestro país) una tendencia a volcarse hacia las ciencias denominadas “blandas”, y su consecuencia podemos apreciarla ahora, cuando se requiere personal con formación en ciencias “duras”. Es opinión de expertos en recursos humanos, que este perfil será objeto de altísima demanda en los próximos años, lo que requerirá una importante cooperación entre el estado, las empresas, y las universidades, para capacitar profesionales que puedan satisfacer esta demanda.
Como reflexión final, creemos importante tener en cuenta que es necesario mantener un balance entre la intuición y la confianza en los datos. En otras palabras, que la sobreabundancia de datos no debe hacer perder de vista aspectos importantes que un profundo conocimiento del negocio, y la experiencia pueden proporcionar, y que muchas veces pueden ser contradictorios con los resultados del análisis científico. Un conocido dicho expresa que “Por cada modelo fallido existe una ideología fallida cuya inflexibilidad conduce a resultados desastrosos”. La moraleja es que no hay, casi nunca, una receta única para resolver un problema, y los encargados de tomar decisiones deben estar informados de la mejor manera posible, para reducir el riesgo de cometer equivocaciones.