L’avènement du Big Data a eu l’effet de provoquer un schisme dans l’approche à avoir avec les données. D’un côté, une nouvelle génération prenait en main les concepts et les nouvelles technologies du Big Data en balayant d’un revers de main les approches de BI jugées trop rigides et anciennes. De l’autre, l’ancienne génération issue de 20 années d’approche BI traditionnelle résistait et se gaussait du jeunisme de ces nouveaux « projets », qui n’était qu’une façon de réinventer des concepts existants et les saupoudrant de nouveaux mots plus dans l’air du temps.
Or après plusieurs années de vie commune et après avoir fait longtemps chambre à part, nous pouvons constater des prémices d’une probable réconciliation.
La Data remis au centre du jeu
Depuis les années 1995, la data vit un éternel balancier dans le rapport de forces entre les informaticiens et les fonctionnels : le pouvoir et la clé de la solution est tantôt détenu par l’un, tantôt détenu par l’autre, dans un jeu de balancier permanent qui n’a toujours pas trouvé son équilibre.
Avant 2000, c’était l’ère des bases Access tenues par les fonctionnels, puis jusqu’en 2007, ce fut le concept de BI d’entreprise qui a prédominé (Kimball). Mais en 2007, l’ère des grands systèmes décisionnels prenait fin, trop d’échecs. Place à la BI en silo, à l’échelle d’un département métier avec l’évènement de solutions tableau de bord censé être moins coûteuse. La conséquence a été la fragmentation des données… Or le pouvoir des données est justement dans leur croisement.
En 2015, le rapport de forces est de nouveau rabattu : place au Big Data ! Les informaticiens reprennent la main. Le Big Data a eu un effet rafraîchissant en remettant sur le devant de la scène médiatique l’importance des données. Les anciens mots Data Warehouse, Data Mart, schéma en étoile, business intelligence étaient vieillissants et rappelaient à l’imaginaire collectif ces échecs ou les précédentes limites.
Les GAFAM sont alors érigés en modèle par les acteurs de l’informatique : oui, les projets de données peuvent fonctionner et donner un avantage concurrentiel significatif, voir bousculer les business models.
De nombreux ballons d’essai sont lancés et les directions prennent la mesure de l’importance de la data, ce nouvel or noir. De nouveaux départements innovation ou transformation digitale sont créés, de nouvelles équipes labellisées « Big Data » sont constituées, souvent en opposition avec les Business Intelligence en place, gérées par le département informatique.
C’est le début du schisme : deux équipes d’informaticiens avec deux systèmes de management parallèles, des moyens différenciés et objectifs divergents.
Mais finalement, cela a eu un effet bénéfique, la data a été remise au centre du jeu. Pour tous les acteurs qui travaillent dans l’informatique, ce n’est pas trop tôt, enfin le monde comprend le pouvoir des données, enfin la data devient centrale. Elle n’est pas qu’un centre de coût, elle est aussi un centre de recette à prendre en compte dans tous les départements de l’entreprise. La data irrigue non seulement l’entreprise, mais tout son écosystème, elle doit être captée, mais aussi maîtrisée et valorisée pour apporter ses bénéfices.
Le Cloud BI s’impose progressivement
Depuis 2015, une autre révolution entre en jeu. Elle est nécessaire au développement du Big data. Comment faire du big data dans les infrastructures limitées on premise des entreprises ? C’est d’ailleurs une distinction fondamentale alors entre un système BI classique et un projet Big Data.
Les projets Big Data demandent de l’élasticité et de la scalabilité que les systèmes décisionnels d’alors ne peuvent apporter.
De plus, culturellement, il était impensable de sortir ses données hors de l’entreprise. Les données ont toujours été un enjeu de pouvoir et il était inimaginable de ne plus avoir ce pouvoir près de soi.
Mais ce fait n’est pas inéluctable et progressivement, avec l’apparition de nouveaux acteurs, les moyennes entreprises comme les grandes se sont mises à utiliser des solutions cloud BI sans le savoir et en totale opposition avec les règles de gouvernance jusqu’alors érigées.
Et aujourd’hui le basculement culturel a fait son œuvre : dans les entreprises moyennes le sujet n’est plus tabou et le modèle du SaaS est parfaitement entré dans les mœurs à tous les niveaux et dans les grandes entreprises, l’idée fait son chemin : l’avenir de l’informatique décisionnel est dans le cloud. C’est inéluctable.
Or en faisant basculer ces bases de données dans le cloud, c’est tout un écosystème applicatif qui se modifie. Tous les concepts qui partaient de l’hypothèse que les données sources étaient à proximité des entrepôts de données voilent en éclats : les ETL deviennent des ELT. On ne fait plus de gros traitements de nuit, on fait un flux constant de petits paquets d’informations.
La réconciliation entre Bi et Big Data est en marche : pour faire de la BI dans le cloud, nous avons besoin des technologies issues du Big data.
L’automatisation des actions
L’évolution nécessaire des outils BI se fait progressivement. Mais les concepts du Big Data ont fait leur chemin. Pourquoi se contenter d’une alerte rouge ou verte à afficher sur un tableau de bord, quand un automate peut prendre l’action en main.
Le monde s’accélère : les décisions stratégiques et tactiques nécessitent la consultation de données une fois par mois, voire une fois par semaine, là où les décisions opérationnelles qui étaient jusqu’à présent à la journée doivent être à la seconde (voir à la microseconde) pour apporter un avantage compétitif et créer une rupture.
Les décideurs opérationnels dans certains cas ne sont plus des hommes nécessitant de consulter des tableaux de bord ou à qui on envoie une alerte. Ce sont des automates, comme c’est le cas pour le passage d’ordre en bourse.
Le fait de travailler en quasi-temps réel ne peut plus être traité avec les moyens traditionnels de la BI. Ça reste de l’informatique décisionnelle, que l’on ne s’y trompe pas, mais avec les moyens du Big Data : les flux de données doivent être temps réel et la réponse adéquate doit être apportée par de l’IA.
La convergence de la Business Intelligence et du Big Data est à l’œuvre…
Une nouvelle génération de métier apparait
Les métiers d’analyste de données ne sont plus seulement cantonnés au département Marketing et Finance. À l’époque des systèmes décisionnels, il y avait l’exception de ces deux départements qui avait une autonomie relative.
Actuellement, tous les départements de l’entreprise sont concernés par la Data, tous les départements doivent donc disposer d’une autonomie relative, d’autant plus que de nouveaux métiers apparaissent (data analyst, business analyst)
Il convient donc de permettre à une multitude de professionnels de la data d’accéder à une grande quantité de données, à de la donnée brute (pour les data scientist par exemple), mais aussi aux données consolidées, fiabilisées et maîtrisées
.
La data pour être pertinente doit être raffinée, croisée avec des multitudes sources, elle doit être complète et fraîche. Il ne suffit pas de disposer de grandes quantités de données, il faut aussi que celle-ci soit de qualité.
Les concepts de la Business Intelligence sont de nouveau plus que jamais d’actualité. De nouveau, le balancier est en mouvement.
Il revient alors au département informatique (ou à son sous-département Data) d’organiser et d’opérer la gouvernance des données afin de réconcilier les exigences de professionnels de la data avec les moyens à disposition.
Les concepts de Data Lake vont devoir cohabiter avec le Master data et le Data Warehouse. On parlera peut-être maintenant de Modern Data Warehouse, mais on continuera d’avoir besoin de modèle d’analyse fiable et pré-établie.
La réconciliation entre la Bi et le Big data est en cours.
La recherche de performance toujours au centre du jeu
Les objectifs de la Business Intelligence ont toujours été clair : permettre aux décideurs de mieux piloter leur activité afin in fine d’améliorer l’efficacité opérationnelle de l’entreprise.
Ce qui a évolué c’est l’écosystème de l’entreprise. Jusqu’alors on se contentait des données issues de l’ERP ou des systèmes de gestion mit en œuvre et opérés au sein de l’entreprise.
Et pour avoir mené de nombreux projets décisionnels, le choix est plutôt logique : il faut d’abord se concentrer sur les sujets à forte valeur ajoutée et les plus faciles à réaliser. Les projets retenus étaient alors et sont toujours la facturation et la comptabilité pour la plupart des entreprises.
Or avec la prise de conscience de la data, la multiplication des analystes et l’avènement du cloud, la donnée nécessaire au pilotage de l’activité n’est plus cantonnée aux bases de données hébergées par l’entreprise. Il faut aussi aller chercher les données hors de l’entreprise : dans des solutions SaaS, dans des objets connectés, dans l’open data, chez ses fournisseurs ou partenaires…
La donnée est partout autour de nous, autour de l’entreprise. Encore faut-il savoir la capter souvent en utilisant des technologies ou des moyens en dehors des moyens traditionnels de la Business Intelligence. Il faut bien souvent coder et créer des interfaces avec des API et les volumes de données à traiter en entrée sont parfois considérables.
Avec le temps, on s’aperçoit que les « nouveaux » projets de Big Data, sont devenus des projets « smart data » poursuivant majoritairement les mêmes objectifs que ceux de la Business Intelligence. Leur intention est généralement de créer de l’efficacité opérationnelle. Et en termes de moyen, la donnée, quand elle n’est pas exploitée par des automates, est majoritairement servie dans des solutions de tableaux de bord… Comme pour la BI.
Rien d’étonnant à cela. Avec le recul, on s’aperçoit que les objectifs du Big Data et de la Business Intelligence ont toujours été partagés.
Vers des systèmes d’information toujours plus complexe
On s’aperçoit donc qu’une convergence entre le Big data et la Business Intelligence est à l’œuvre actuellement : la migration vers le cloud est en cours et toutes les solutions BI modernes embarquent des technologies big data.
Mais qu’en est-il des systèmes d’informations décisionnel ?
Les systèmes décisionnels tels que nous les connaissons aujourd’hui ont vécu une période de stabilité particulièrement longue et assez exceptionnelle en informatique. Ces systèmes et leurs objectifs restent toujours pertinents. Cependant, ils doivent maintenant se moderniser pour accueillir les nouveaux enjeux apportés par le mouvement big data.
Les nouveaux systèmes décisionnels seront :
- Scalables et élastiques pour s’adapter à des volumes de données croissants et à des besoins ponctuels importants. Les données brutes provenant de l’environnement extérieur à l’entreprise seront conservées pour faire l’objet d’études par des Data Scientist ou Data Analyst. Ils devront donc nécessairement migrer vers des architectures cloud.
- Ouverts à toutes les données de l’environnement de l’entreprise. Ils devront être ineffaçables nativement via des API.
- Adaptés à la récupération de données en temps réel afin de se rafraîchir plus rapidement et pouvoir remonter d’importants volumes de données par petits paquets. Le streaming de données sera la norme et l’approche ETL va céder sa place à l’ELT.
- Conforme à des standards pour être compatible à des solutions de data visualisation existante ou à venir. Les usages autour de la donnée évoluent vite et un système BI non ouvert peut devenir rapidement obsolète.
- Accessibles au travail à distance et en mobilité pour être en accord avec les usages modernes des forces vives de l’entreprise.
Pour créer ou migrer vers ces nouveaux systèmes décisionnels « compatibles Big data », il s’agit donc de s’allier des compétences traditionnelles en Business Intelligence ainsi que des compétences rimant avec Big Data : développeur d’API, ingénieur Devops, architecte cloud.
