Új hozzászólás Aktív témák

• Jim-Y veterán

  #6558

  #6556 Jim-Y

  2017-05-17 11:21:19

  Új Válasz

  Új hozzászólás

  Összes hozzászólása itt Válaszok az összes hozzászólására itt Válaszok erre a hozzászólásra

  

  Jim-Y

  veterán

  #6556 Jim-Y

  #6556 Jim-Y

  Ha esetleg valakit érdekel, megoldottam a problémát pár napnyi keresés után Link a megoldáshoz (github)

  Ja igen, még annyit azért leírnék, ha megengeditek, hogy egyáltalán miért volt ez a problémám és miért nem máshogy próbáltam megoldani. Azért kellett streamet használni, mert igazán nagy fájlokat is képesnek kell lenni feldolgozni, igazán nagy file alatt 1,2 gigabájtos csv-t értek több millió sorral. Na most egy általános fájl feltöltésnél ez nem jön elő mert ritkán kell ilyen nagy fájlt feltölteni/feldolgozni. Ott ugy működik, hogy feltöltöd backendre, ott van memóriában az egész fájl (/tmp/akarmi) aztán csinálsz vele amit akarsz. Csakhogy, ez egy backend workerben fog futni ami jó eséllyel egy heroku dyno-t jelent production-ben ahol limitált a memória és/vagy nagyon drága ha több memória kell ezért egész egyszerűen nem fér bele a fájl a memóriába ezért kell stremelve beolvasni és streamelve kiírni az adatbázisba.

  Ezt azért írom le, hogy ha esetleg más is találkozik ilyen kihívással akkor ez egy lehetséges megoldása a dolognak, nem mondom hogy a legjobb, vagy, hogy jó, csak, hogy egy

Új hozzászólás Aktív témák