Club Power BI

Please login or click SIGN UP FOR FREE to create your PowerBIUG account to join this user group.
Expand all | Collapse all

Importer des millions de records MongoDB dans PowerBI

  • 1.  Importer des millions de records MongoDB dans PowerBI

    Posted Sep 20, 2021 07:52 AM
    Bonjour,

    J'essaie d'analyser des données qui proviennent d'une base MongoDB.

    En utilisant un connecteur ODBC, j'arrive à accéder à ma data source Mongo.
    J'ai 3 collections MongoDB à importer : 8,5 millions de lignes pour les 2 premières et 1,5 millions de lignes pour la 3ème.

    Je pense que cette volumétrie est trop importante ?

    Pour limiter le nombre de lignes j'ai créé une vue dans MongoDB, mais le connecteur ODBC n'affiche pas cette vue.

    Quelle piste voyez-vous ? J'avais pensé à du code R est-il possible de coder une requête qui utilise l'agregate Mongo ? (je ne connais pas suffisament les possibilités de ce langage)

    Merci de vos réponses






    ------------------------------
    Emmanuel Bernard
    366739688
    ------------------------------


  • 2.  RE: Importer des millions de records MongoDB dans PowerBI

    Top Contributor
    Posted Sep 20, 2021 02:20 PM
    Bonjour,

    10 millions de lignes n'est pas une forte volumétrie pour Poser BI (sauf si la cardinalité était très importante). Vous pouvez utiliser Power Query pour transformer vos données et les agréger à une maille moins fine. Mise à part un temps de refresh légèrement plus important du fait des transformations à effectuer, cela ne devrait pas être un problème.

    Bon courage,

    ------------------------------
    Jonathan CHANAL
    Chef de Projet Digital / Data Analyst
    MCSA Power BI & Excel
    ------------------------------



  • 3.  RE: Importer des millions de records MongoDB dans PowerBI

    Posted Sep 21, 2021 04:12 AM

    Bonjour,

    J'ai effectivement réussi à charger les lignes (après un certain temps).

    Etant donné qu'au final j'ai besoin d'analyser un très faible pourcentage des lignes, est-il possible de réduire la volumétrie chargée pour gagner en vitesse de chargement et refresh ?

    Cordialement



    ------------------------------
    Emmanuel Bernard
    366739688
    ------------------------------