Club Power BI

Please login or click SIGN UP FOR FREE to create your PowerBIUG account to join this user group.
Expand all | Collapse all

Actualisation incrémentielle des fichiers dans un dossier ou SharePoint - Power BI

  • 1.  Actualisation incrémentielle des fichiers dans un dossier ou SharePoint - Power BI

    Posted Mar 26, 2021 06:14 AM
    Bonjour à tous,

    J'ai besoin de vos lumières sur le langage M afin de mettre en place une actualisation incrémentielle mais qui est basée sur une sources de données Excel sur (SharePoint ou Dossier en Local).

    Aujourd'hui j'ai un PowerBI qui compile des fichier sur un SharePoint pour constituer ma BDD (2019-2021) problème je suis déjà à 15millions de lignes et niveau actualisation il met actuellement 1h30 à 2h. Je voudrais utiliser l'actualisation incrémentielle afin d'actualiser uniquement les données 2021 par exemple.

    Dans mes différentes recherches je suis tombé sur un très bon article qui décrit parfaitement mon problème et la solution d'ailleurs.

    https://www.poweredsolutions.co/2020/01/19/incremental-refresh-for-files-in-a-folder-or-sharepoint-power-bi/

    le problème est que je n'arrive pas à adapter sa requête à mes fichiers (Je suis limité sur le langage M :-( ).

    J'ai rajouté mes exemple de fichiers en PJ, Pouvez-vous m'aider s'ils vous plaît à adapter ou comprendre la requête.

    Merci d'avance

    A. BARRY

    ------------------------------
    TALIBE BARRY
    ------------------------------

    Attachment(s)

    xlsx
    Base Ecritures 2021.xlsx   14 KB 1 version
    xlsx
    Base Ecritures 2020.xlsx   14 KB 1 version
    xlsx
    Base Ecritures 2019.xlsx   14 KB 1 version


  • 2.  RE: Actualisation incrémentielle des fichiers dans un dossier ou SharePoint - Power BI

    Posted 24 days ago
    Bonjour,

    en désactivant l'actualisation je pense :



    ------------------------------
    Expert-Comptable Stagiaire, Projet de mémoire sur Power-BI
    ------------------------------



  • 3.  RE: Actualisation incrémentielle des fichiers dans un dossier ou SharePoint - Power BI

    Top Contributor
    Posted 24 days ago
    Edited by Guillaume GAUDFROY 24 days ago
    Bonjour,

    La solution de @Benoit Ravanel n'est pas la bonne.
    Ici vous désactivez la mise à jour simplement.

    L'actualisation incrémentielle fonctionne avec les bases ​de données structurées et relationnelles, telles que SQL Database et Azure Synapse.

    Pas de fichier Excel... sauf sur Sharepoint ou Azure Data Lake


    ------------------------------
    Guillaume GAUDFROY
    Microsoft Data PlatForm MVP
    MCSA Power BI & Excel
    Microsoft MCT
    Ruby Award Dynamic Communities
    ------------------------------



  • 4.  RE: Actualisation incrémentielle des fichiers dans un dossier ou SharePoint - Power BI

    Gold Contributor
    Posted 24 days ago

    Bonjour,

    En réalité, on peut faire du refresh incrémental sur des fichiers à plat (Excel, txt, CSV) stockés sur SharePoint ou Azure Data Lake Storage.

    Il faut baser votre stratégie d'incrément sur la 'date de création' ou 'date de modification' du fichier dans Power Query. Comme indiqué dans l'article partagé plus haut.
    On l'utilise chez de nombreux clients et ça marche très bien.

    Je vais essayer de trouver du temps pour jeter un œil à votre code M Amadou.



    ------------------------------
    Tristan Malherbe
    Co-Fondateur du Club Power BI
    Expert/Formateur Power BI - Microsoft MVP
    06 09 27 06 97
    ------------------------------



  • 5.  RE: Actualisation incrémentielle des fichiers dans un dossier ou SharePoint - Power BI

    Top Contributor
    Posted 24 days ago
    Oui sur SharePoint, comme précisé dans ma réponse.

    En revanche 15 millions de lignes... en sachant que Excel accepte jusqu'à 1 millions de lignes... cela veut dire que vous consolidez...

    Est-ce la bonne approche?

    Azure Data Lake est une approche intéressante, mais soumise à licencing.

    Pour mettre en place l'incrémentielle, il faut bien respecter les conventions de nommage demandé sur les paramètres Power Query.
    Utilisez vous le connecteur Sharepoint ou Excel?

    ------------------------------
    Guillaume GAUDFROY
    Microsoft Data PlatForm MVP
    MCSA Power BI & Excel
    Microsoft MCT
    Ruby Award Dynamic Communities
    ------------------------------