Meilleures pratiques daffaires Power Query

Sophie Marchand, M.Sc., CPA, CGA, MVP Experte en modélisation d’affaires Site web: lecfomasque.com Cell.: 514-605-7112 Courriel: [email protected]

LE CFOMASQUÉ

MEILLEURES PRATIQUES

D’AFFAIRES AVEC POWER QUERY


LE CFOMASQUÉ

Sophie Marchand, M.Sc., CPA, CGA, MVP Le CFO masqué

Fondatrice du CFO masqué Vaste experience en finance corporative Modélisation d’affaires avancée Excel / Power tools / Power BI Consultation, formation et coaching Vente en ligne Responsable du groupe Montreal Modern Excel and Power BI

QUI SUIS-JE?

http://community.powerbi.com/t5/Montreal-Modern-Excel-and-Power/gp-p/MontrealMEPUG


LE CFOMASQUÉ

PLAN DE PRÉSENTATION

Introduction Meilleures pratiques d’affaires avec Power Query

Comprendre les prérequis Optimiser l’importation de données Optimiser les requêtes Charger les données

Conclusion Questions

À télécharger: Présentation et vidéo du webinaire Power Query, Power Pivot et cie.

http://www.lecfomasque.com/a-telecharger-presentation-et-video-du-webinaire-power-query-power-pivot-et-cie/

http://www.lecfomasque.com/a-telecharger-presentation-et-video-du-webinaire-power-query-power-pivot-et-cie/


LE CFOMASQUÉ

INTRODUCTION


LE CFOMASQUÉ

INTRODUCTION

Que permet de faire Power Query? Importer des données de diverses sources Transformer les données non structurées (mini ETL) Fusionner les données de diverses sources (Append/Merge) Créer des calculs non disponibles dans les sources Programmer le rafraîchissement des données Créer des sources de données à analyser avec Power Pivot, Excel ou

Power BI


LE CFOMASQUÉ

INTRODUCTION

Comment se procurer Power Query? Excel 2016

Data / Get & Transform Versions O365 Pro Plus, Office Professional Plus et Stand Alone ont plus

d’options

Excel 2010 & Excel 2013 Add-in à télécharger sur le site de Microsoft https://www.microsoft.com/en-ca/download/details.aspx?id=39379

Power BI Desktop Application dissociée d’Excel mais semblable à Power Query

https://www.microsoft.com/en-ca/download/details.aspx?id=39379


LE CFOMASQUÉ

COMPRENDRE LES PRÉREQUIS


LE CFOMASQUÉ


Quincaillerie requise Pour tirer le maximum de Power Query

Windows 64 bit, Office 64 bit Processeur 4 coeurs Mémoire vive suffisante, au minimum 8 GB de RAM, mais 16 GB est

largement préférable Un SSD (Solide State Drive) est préférable

Note: La mémoire virtuelle est une combinaison de mémoire physique (RAM) et d’espace disque. C’est là qu’un SSD va beaucoup aider!


LE CFOMASQUÉ


Comprendre les limites et les spécifications Power Query

Taille des données qui peuvent être analysées par l’engin 64-bit: Limité à la mémoire virtuelle disponible 32-bit: Limité à environ 2GB (1 GB pour Excel et 1 GB pour PQ)

Obligé d’utiliser 32-bit? Messages du type: Excel running out of memory? Depuis juin 2016, pour Excel 2013 et 2016: Large

Address Aware Functionality (LAA) Permet d’utiliser le double de mémoire virtuelle sur un O/S 64-bit, et 50%

de plus sur un O/S 32-bit

https://support.microsoft.com/en-ca/kb/3160741




LE CFOMASQUÉ


Philosophie de base BI en mode libre-service vs team BI

Idéalement, quand un individu a créé une requête Power Query intéressante, elle devrait être partagée

Pouquoi? Éviter la duplication d’efforts (pertes de temps) Éviter la duplication de requêtes (uniformiser l’information à travers

l’organisation) Comment?

Option disponible à partir d’Excel (exige compte Power BI) En BI corporative, cette requête serait reprise par un système en

back-end comme SSIS


LE CFOMASQUÉ


Il faut être connecté à Power BI pour enregistrer des

requêtes dans le catalogue de

données.


LE CFOMASQUÉ


Quand vous partagez une requête, vous en demeurez l’administrateur. Quand vous effectuez des changements, ces changements sont disponibles pour tous ceux qui utilisent cette requête.


LE CFOMASQUÉ


Philosophie de base BI en mode libre-service

Power Query fonctionne en mode RESFRESH ALL. Il réimporte chaque fois l’ensemble des données (pas de

conservation d’historique). Ne pas remplacer Access par Power Query si l’objectif est de

conserver des historiques.


LE CFOMASQUÉ

OPTIMISER L’IMPORTATION DE

DONNÉES


LE CFOMASQUÉ

OPTIMISER L’IMPORTATION DE DONNÉES

Les informations de connexion Ne pas dupliquer les informations de connexion Permettre de pointer facilement vers une nouvelle source de

données Solutions possibles:

1. Changer la source via les paramètres de Power Query 2. Créer des requêtes de connexion3. Créer des références à une requête de connexion4. Créer des paramètres dans Excel5. Changer la source via les paramètres de Power BI Desktop

http://www.lecfomasque.com/power-query-faire-pointer-vos-requetes-vers-une-nouvelle-source-de-donnees/


LE CFOMASQUÉ


Solution no.1 (voir démo)


LE CFOMASQUÉ


Solution no.2


LE CFOMASQUÉ


Solution no.3


LE CFOMASQUÉ


Solution no.4


LE CFOMASQUÉ


Power BI Desktop

Les paramètres existent seulement dans PBI Desktop, au moment de la rédaction de cette présentation mais il est plausible de penser que cette fonctionnalité sera ajoutée à Power Query sous peu.


LE CFOMASQUÉ


Power BI Desktop


LE CFOMASQUÉ


Source: Serveur SQL On se connecte à des tables entières et ensuite, on fait des

manipulations (suppression de colonnes, filtres sur des lignes, etc.)

On peut rédiger un code M ou un script SQL pour importer des données d’un serveur SQL ou utiliser une table de paramètres

Toutefois, ces actions (en plus de certaines fonctionnalités qui n’ont pas d’équivalents sur le système source) brisent le Query Folding

Ce n’est donc pas recommandé lorsqu’il y a des problèmes de performance


LE CFOMASQUÉ


Source: Serveur SQL Comprendre le Query Folding Le serveur source exécute lui-même des transformations

demandées par PowerQuery Le Query Folding se produit selon les circonstances, les sources

et les transformations impliquées. L’usager n’a pas vraiment de contrôle…

Il est facile pour un usager de « briser » le Query Folding, ce qui peut affecter considérablement la performance de la requête


LE CFOMASQUÉ


Source: Serveur SQL Il est préférable de construire les requêtes de sorte que toutes

les actions pouvant bénéficier du Query Folding soient effectuées en premier puisque lorsqu’une action qui ne peut bénéficier du Query Folding est rencontrée, il n’y a plus de Query Folding possible

Il est désormais possible de voir quand le Query Folding est brisé


LE CFOMASQUÉ


Option « View Native Query » maintenant disponible.

Quand une étape de transformation ne montre pas d’option « View Native Query », c’est que le Query Folding est interrompu.


LE CFOMASQUÉ


On voit ici qu’une requête SQL brise le Query Folding dès le départ.


LE CFOMASQUÉ


On voit ici que l’utilisation de paramètres dans Excel brise le Query Folding dès le départ.


LE CFOMASQUÉ


Source: Cubes tabulaires et multidimensionnels On choisit les colonnes que l’on souhaite importer


LE CFOMASQUÉ


Fast Data load

Permet de charger les données plus rapidement, mais, ce faisant, il se pourrait qu’Excel soit hors d’usage pour toute la période d’importation/rafraîchissement de données.


LE CFOMASQUÉ


Fast Combine

Améliore la performance de vos requêtes, mais celles-ci ignorent alors le niveau de confidentialité que vous avez attribué à vos sources de données.


LE CFOMASQUÉ


Cache

Plus de mémoire permet de présenter plus rapidement les résultats de Query Preview, car l’info est conservée sur disque.


LE CFOMASQUÉ


Décocher Enable Background

En décochant cette case, vous pouvez potentiellement réduire le temps de rafraîchissement des requêtes mais ce faisant, vous ne serez pas en mesure de travailler dans Excel, pendant le rafraîchissement.


LE CFOMASQUÉ

OPTIMISER LES REQUÊTES


LE CFOMASQUÉ


Optimiser les requêtes Penser à ce qui peut survenir dans l’avenir et enrichir les

requêtes afin d’empêcher de futurs problèmes Par exemple, Ken Puls propose d’utiliser le | lorsque vient le

temps de fusionner des colonnes qui devront être séparées par la suite Comme le | est rarement utilisé, il est peu probable qu’on sépare des

données qui ne devraient pas être séparées « Remove columns » vs « Remove other columns » « Unpivot columns » vs « Unpivot other columns »


LE CFOMASQUÉ


Optimiser les requêtes Excel.CurrentWorkbook() Attention, la requête va aussi chercher la table de résultats dans

la liste, si celle-ci est chargée dans Excel Excel.Workbook([Content]) n’est pas récursif mais va chercher

les feuilles, les plages de données et les tables


LE CFOMASQUÉ


Optimiser les requêtes Toujours terminer une requête en attribuant les bons Data types


LE CFOMASQUÉ


Optimiser les requêtes Type de données : Any Quand PQ ne sait pas de quel type de données il s’agit Peut prendre diverses formes quand téléchargé dans Excel ou Power

Pivot ou référé par une autre requête Certaines fonctions Power Query comme REPLACE VALUES ne

fonctionneront pas correctement sur ce type de données Si on utilise APPEND dans PQ et que les 2 tables de données n’ont pas

le même TYPE de données, on va obtenir une colonne de données ANY Solution: toujours assigner un type de données en guise de dernière

étape dans une requête


LE CFOMASQUÉ


Optimiser les requêtes Attention aux formats de dates


LE CFOMASQUÉ


Optimiser les requêtes Créer des fonctions qui pourront être réutilisées


LE CFOMASQUÉ


Optimiser les requêtes Utiliser la fonction Buffer Enregistre en mémoire les résultats d’une opération

Attention! Le Query Folding ne s’applique pas dans ce cas.


LE CFOMASQUÉ


Optimiser les requêtes Écrire le code sur plusieurs lignes (plus facile à comprendre et

débugger)


LE CFOMASQUÉ

OPTIMISER LES REQUÊTES Organiser les requêtes

Donner des noms significatifs aux étapes de transformation Préférer les noms descriptifs mais en un seul mot


LE CFOMASQUÉ


Organiser les requêtes Donner un nom significatif aux bases de données sous-jacentes


LE CFOMASQUÉ


Organiser les requêtes Créer des requêtes intermédiaires (connection only) Chargées seulement lorsqu’une requête qui s’attache à celle-ci

est rafraîchie Optimise la mémoire Pas d’impact sur la taille du fichier


LE CFOMASQUÉ


Organiser les requêtes Créer des références aux requêtes intermédiaires


LE CFOMASQUÉ

OPTIMISER LES REQUÊTES Organiser les requêtes

Créer des groupes de requêtes


LE CFOMASQUÉ


Rafraîchir les requêtes dans un ordre déterminé Utiliser VBA Utiliser Power Planner


LE CFOMASQUÉ

CHARGERLES DONNÉES


LE CFOMASQUÉ

CHARGER LES DONNÉES

Charger les données dans Excel Erreurs à ne pas faire

Charger les données dans Excel et dans Power Augmenter la taille du fichier Duplique les champs disponibles

pour les tableaux croisés dynamiques


LE CFOMASQUÉ


Charger les données dans Power Pivot Excel 2010 et 2013 Possibilité de corrompre le modèle de données lorsque les données

proviennent de Power Query, par exemple, en renommant une table directement dans Power Pivot (en 2016, on a un message qui nous dit de faire ça dans Power Query)

On ne s’en rend pas compte tout de suite mais suite à une action précise, on a éventuellement un message d’erreur

Pour voir si un modèle est endommagé, Excel / Data / Connections / choisir la Requête / Properties / Definition: Some properties cannot be changed because this connection was modified using Power Pivot Add-in…


LE CFOMASQUÉ

CHARGER LES DONNÉES Charger les données dans Power Pivot

Excel 2010 et 2013 (suite) Quoi faire pour rétablir?

Supprimer la table (incluant ses mesures et ses colonnes calculées) Reconstruire la table, les mesures, les colonnes calculées

Quoi ne pas faire pour éviter la problématique? Changer le nom d’une table dans Power Pivot Renommer une colonne importée de Power Query dans Power Pivot Supprimer une colonne importée de Power Query dans Power Pivot IMPACT: NON REFRESHING Power Pivot


LE CFOMASQUÉ


Charger les données dans Power Pivot Excel 2010 et 2013 (suite) Ce qui peut être fait sans problème

Ajouter/modifier/supprimer des colonnes calculées ds Power Pivot Ajouter/modifier/supprimer des relations ds Power Pivot Ajouter/modifier/supprimer des mesures ds Power Pivot Faire quelque modification que ce soit à la table dans Power Query

En somme, si les tables proviennent de Power Query, faire toutes les transformations de ces tables, dans Power Query


LE CFOMASQUÉ

CONCLUSION


LE CFOMASQUÉ

CONCLUSION

Apprendre Power Query Formation Excel – Power Tools

En ligne En classe En entreprise

Module – Power Query (en ligne) Rejoindre le groupe Montreal Modern Excel and Power BI Prochain webinaire:

Meilleures pratiques d’affaires avec Power Pivot

http://www.lecfomasque.com/produit/excel-power-tools-4-modules/

http://www.lecfomasque.com/activites-a-venir/excel-analyse-et-modelisation-de-donnees-niveau-2-powerpivot/

http://www.lecfomasque.com/formations/excel-analyse-et-modelisation-de-donnees-niveau-2/

http://www.lecfomasque.com/produit/excel-power-query/

http://community.powerbi.com/t5/Montreal-Modern-Excel-and-Power/gp-p/MontrealMEPUG

http://www.lecfomasque.com/activites-a-venir/gratuit-meilleures-pratiques-daffaires-avec-power-pivot/


LE CFOMASQUÉ

QUESTIONS?


LE CFOMASQUÉ

lecfomasque.com

Meilleures pratiques daffaires Power Query

Data & Analytics

Transcript of Meilleures pratiques daffaires Power Query