Club Power BI

Please login or click SIGN UP FOR FREE to create your PowerBIUG account to join this user group.
Expand all | Collapse all

Actualisation incrémentielle / Fonctionnement

  • 1.  Actualisation incrémentielle / Fonctionnement

    Posted Aug 17, 2021 05:02 AM
    Edited by XAVIER RIQUET Aug 17, 2021 05:05 AM
    Bonjour à tous,
    Je recherche des explications sur la mise en place et le fonctionnement de l'actualisation incrémentielle.
    J'ai regardé la vidéo concernée, mais elle ne répond pas à mes questions :

    Voici le contexte :

    Des fichiers sont déposés journalièrement sur notre serveur.
    Je compile ces fichiers dans Power BI depuis février. Autant dire le nombre important de fichier et l'actualisation quotidienne longue...

    J'ai tenté de mettre en place une Actualisation incrémentielle sans succès.

    - Est ce que l'actualisation incrémentielle fonctionne avec des fichiers déposés sur un serveur. (j'ai un doute après avoir lu un autre post sur le forum)

    Les paramètres RangeStart et RangeEnd définis correspondent à la plage des données qui ne seront pas actualisés ou actualisés?

    Merci par avance pour votre aide.

    ------------------------------
    XAVIER RIQUET
    ------------------------------


  • 2.  RE: Actualisation incrémentielle / Fonctionnement

    Top Contributor
    Posted Aug 17, 2021 07:41 AM
    Bonjour,

    Oui, il est possible de gérer l'actualisation incrémententielle des données avec des fichiers à plat. Pour éviter les problèmes de Query Folding, il ne faut pas chercher à se baser sur des dates dans les données métier mais plutôt sur les dates de création ou de modification des fichiers. En pratique, il faut faire cela dès le début des opérations :

    1. Je crée ma fonction pour récupérer X fichiers,
    2. Je vais chercher le dossier (Sharepoint dans l'idéal pour éviter l'installation d'une passerelle de données) dans lequel se trouvent mes fichiers,
    3. J'applique mes paramètres RangeStart et RangeEnd sur la colonne date de modification du fichier ou création du fichier,
    4. Je termine la récupération des fichiers grâce à la fonction précédemment créee,
    5. Je paramètre mon actualisation incrémentielle dans Power BI,
    6. Je publie mon rapport et teste l'actualisation :
      1. 1er refresh, va être long car il va charger toutes les données,
      2. Les suivants ne chargeront, par exemple, que le dernier fichier modifié,
        1. Exemple, lesfichiers des données 2010 à 2020 ont tous une date de création ou modification de fichier au 14/08/21,
        2. Les données de 2021 sont dans un fichier créé ou modifié le 17/08/21,
        3. Dans mes paramètres d'actualisation incrémentielle, je choisis de ne rafraîchir que les données du dernier jour (les autres seront donc ignorés)
    Au moment de valider les paramètres d'actualisation incrémentielle des données, il y aura un message précisant que cela ne fonctionnera peut-être pas. Il ne faut pas en tenir compte car, dans cette configuration, les paramètres sont utilisés au tout début des opérations, donc aucun risque niveau Query Folding.

    Pour répondre à votre dernière question, les paramètres RangeStart et RangeEnd définissent la plage de données qui sera actualisée.

    J'espère que cela vous aidera.

    ------------------------------
    Jonathan CHANAL
    Chef de Projet Digital / Data Analyst
    MCSA Power BI & Excel
    ------------------------------



  • 3.  RE: Actualisation incrémentielle / Fonctionnement

    Posted Aug 17, 2021 08:41 AM
    Bonjour Jonathan,
    merci pour votre réponse.
    J'avoue avoir besoin de précision supplémentaire.
    Je pense qu'avec un exemple ce sera plus simple.

    Mes fichiers ont une date de création allant du 01/02/2021 au 17/08/2021.
    Demain (18/08/2021), un nouveau fichier sera déposé. Je souhaite donc uniquement actualiser cette donnée.

    Quelles doivent être les valeurs de RangeStart et RangeEnd ? Je suppose que les valeurs doivent inclure l'ensemble des données et qu'il s'agit plus d'un marqueur qu'un vrai filtre de donnée? Si j'indique par exemple des valeurs 01/08/2021 à 17/08/2021, mes autres valeurs ne seront jamais affichées dans mon BI?

    Ci joint la copie écran de la sélection de l'actualisation.

    De ce que je comprends avec mes variables :
    - PBI conserve 1 an d'historique
    - PBI va actualiser les 3 derniers jours (Prise en compte des week end ou il n'y a pas de données)
    - PBI actualisera uniquement si les données ont été modifiées (dans mon cas, ajout de fichier)

    Merci pour votre aide





    ------------------------------
    XAVIER RIQUET
    ------------------------------



  • 4.  RE: Actualisation incrémentielle / Fonctionnement

    Top Contributor
    Posted Aug 17, 2021 12:09 PM
    BOnsoir,

    C'est un sujet à multiple reprises demandé.. :-)

    Voici un lien qui explique la démarche.
    Incremental refresh for files in a Folder or SharePoint - Power BI - The Power User

    Nous l'avons aussi traité lors du club Power BI.

    Bonne lecture.


    ------------------------------
    Guillaume GAUDFROY
    Microsoft Data PlatForm MVP
    MCSA Power BI & Excel
    Microsoft MCT
    Ruby Award Dynamic Communities
    ------------------------------