Új hozzászólás Aktív témák

• #54720 Mutt senior tag föccer #54710

  Új Válasz 2025-11-06 16:03:14 #54720

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  Privát üzenet küldése

  

  Mutt

  senior tag

  válasz föccer #54710 üzenetére

  Szia,

  1) XLSB formátummal elég nagy méret csökkenést lehet elérni. Pl. egy 75 MB xlsx fájl (40 oszlop és 500.000 sor, 75 millió karakter) nekem 22 MB-os lett. Egy hátránya van, ha sérül a fájl (közös megosztásnál ez esélyes lesz), akkor bukta lehet (backup sűrűn),

  2) Ketté választanám a feladatokat:
  - külön lenne egy fájl (javasolt hogy inkább egy CSV/TXT fájl legyen) ami tartalmazza a logokat (a fenti példa xlsx CSV-ként mentve 72 MB-os lett).
  - egy másik ami a riportokat tartalmazza. Power Query-vel be lehet frissíteni és azt mutatni ami kell. Ha csak adatmodellben tárolod az adatokat, akkor ez az Excel nem lesz olyan nagy. A 72 MB-os CSV adatamodellbe téve és egy egyszerű pivottal 19MB-os xlsx fájlt adott. Be lehet állítani, hogy minden megnyitáskor frissüljön a háttérben, így a friss adatok is be fognak kerülni. A CSV/TXT fájlt gyorsabban feldolgozza a PQ mint egy akár kisebb XLSX fájlt!

  3) El kell engedni az Excel-t adatok tárolására. Kell egy adatbáziskezelő (pl. a MYSQL/MARIADB egy könnyen kezelhető, ingyenes megoldás) az adatokhoz. Ha a a friss logokat nem lehet egyből az adatbázisba rakni, akkor Python-al lehet automatizálni a folyamatot.
  Ezek után a vizualizáció: ha kell akkor maradhat az Excel és PQ-val lehet az adatokat lekérdezni. A PQ gyorsabb lesz ez esetben mint a TXT fájlnál.
  Ha az Excel-t lehet cserélni, akkor Power BI.
  Itt már lesz/lehet "Query folding" ami nagyságrendekkel tudja meggyorsítani a lekérdezést és teljesen interaktívvá lehet tenni az adatokat.

  üdv

Új hozzászólás Aktív témák