Ubuntu Suomen keskustelualueet

Ubuntun käyttö => Ohjelmointi, palvelimet ja muu edistyneempi käyttö => Aiheen aloitti: matsukan - 24.03.16 - klo:10.16

Otsikko: xml parsinta tietokantaan
Kirjoitti: matsukan - 24.03.16 - klo:10.16

Mikä tapa olisi mahdollisimman tehokas tapa parsia isohko xml (noin miljoona riviä) tietokantaan ? PHP 5 ja simplexml.llä menee noin 2 -3 tuntia riippuen  koneesta.

siis millä kielellä ja tekniikalla ?

Otsikko: Vs: xml parsinta tietokantaan
Kirjoitti: nm - 24.03.16 - klo:11.57

Tietokantainsertit tuossa lienevät pullonkaulana, jos teet niitä yksittäin jokaiselle xml-tiedostosta luetulle tietueelle. Pitäisi tehdä batch-insertti tai joku vastaava tietokantakohtainen optimointi. Mikä tietokantaohjelmisto on kyseessä?

Otsikko: Vs: xml parsinta tietokantaan
Kirjoitti: matsukan - 24.03.16 - klo:14.53

postgresql

Otsikko: Vs: xml parsinta tietokantaan
Kirjoitti: nm - 24.03.16 - klo:19.19

Lainaus käyttäjältä: syrtek66 - 24.03.16 - klo:14.53

postgresql

Ohjeistusta isompien datamassojen kirjoittamiseen: http://www.postgresql.org/docs/current/interactive/populate.html