Varmuuskopiointi Deja-Dupilla epäonnistuu [RATKAISTU]

[Heikki Ketoharju]

Hei kaikki!

Olen käyttänyt useita vuosia Ubuntun mukana tulevaa Deja-dup -työkalua varmuuskopioiden tekoon. Se on toiminut mainiosti, mutta viime aikoina varmuuskopiointi on keskeytynyt selittämättömään virheeseen.

Katsoin asiaa tarkemmin, ja huomasin että home-kansion sisältävä osio oli täyttynyt. Ilmeisesti Deja-dup on pistänyt sinne jotain temp-tiedostojaan, joiden koko on useamman gigatavun verran. Mulla onkin kyllä kotikansio ja koko osio aika täynnä, mutta sille ei oikein mitään mahda.

Onko jotain keinoa, miten temp-tiedoston saisi pakotettua muulle osiolle, esimerkiksi ulkoiselle kovalevylle, jonne varmuuskopiokin tehdään? Vai joudunko vaihtamaan hyvin palvelleen varmuuskopiointisoftan toiseen? Vai kovalevykauppaanko tässä on lähdettävä?

[nm]

Katsoin asiaa tarkemmin, ja huomasin että home-kansion sisältävä osio oli täyttynyt. Ilmeisesti Deja-dup on pistänyt sinne jotain temp-tiedostojaan, joiden koko on useamman gigatavun verran. Mulla onkin kyllä kotikansio ja koko osio aika täynnä, mutta sille ei oikein mitään mahda.

Eli onko kyseessä .cache/deja-dup -kansioon tallentuvat väliaikaistiedostot? Sille saattaa olla joku gsettings-asetus, tai voit kokeilla tehdä kyseisen hakemiston tilalle symbolisen linkin johonkin toiseen sijaintiin, jossa on riittävästi tallennustilaa.

Aiemmin ohjelma on ilmeisesti käyttänyt /tmp:tä, mutta siellä on usein vielä vähemmän vapaata tilaa. Katso: https://bugs.launchpad.net/deja-dup/+bug/1100092

[AimoE]

Yritin jo dconf-editorilla etsiä mutta en kyllä löytänyt sellaista asetusta joka vaikuttaisi.

[AimoE]

Aiemmin ohjelma on ilmeisesti käyttänyt /tmp:tä, mutta siellä on usein vielä vähemmän vapaata tilaa. Katso: https://bugs.launchpad.net/deja-dup/+bug/1100092

Vaikka kuinka tavaan tuota bugiraporttia, en pääse samaan tulkintaan että "Aiemmin" deja-dup olisi käyttänyt /tmp:tä. Bugissahan korjattiin se ongelma että tmpfs (ei /tmp vaan tmpfs) on usin hyvin pieni. Ongelman kierätmiseksi deja-dup otti käyttöön duplicity-ohjaimen --tempdir ja asettaa arvoksi sen joka on deja-dup:n lähdekoodin tempdir. Eli deja-dupiin ei ole lisätty mahdollisuutta että käyttäjä asettaa arvon, vaan dej-adup otti käyttöön duplivityn mahdollisuuden asettaa arvo. Näin  minuä tuota enkkua ymmärrän.

Käyttäjä voi asetaa muuttjan TEMPDIR ennen deja-dupin käynnistystä, mutta käynnistys pitää silloin tehdä komentoriviltä. Tai voi kai sen asetuksen lisätä käynnistimeen, mutta jos minulla olisi tämä ongelma, kokeilisin kyllä mountpointin määritelyä niin että joko tempdir olisi isomalla osiolla. Mutta ihan ensiksi ajaisin deja-dupin debug-moodissa asettamalla DEJA_DUP_DEBUG=1 ja katsoisin näyttääkö se mitä temppiä se nyt käyttää.

[nm]

Aiemmin ohjelma on ilmeisesti käyttänyt /tmp:tä, mutta siellä on usein vielä vähemmän vapaata tilaa. Katso: https://bugs.launchpad.net/deja-dup/+bug/1100092

Vaikka kuinka tavaan tuota bugiraporttia, en pääse samaan tulkintaan että "Aiemmin" deja-dup olisi käyttänyt /tmp:tä. Bugissahan korjattiin se ongelma että tmpfs (ei /tmp vaan tmpfs) on usin hyvin pieni. Ongelman kierätmiseksi deja-dup otti käyttöön duplicity-ohjaimen --tempdir ja asettaa arvoksi sen joka on deja-dup:n lähdekoodin tempdir. Eli deja-dupiin ei ole lisätty mahdollisuutta että käyttäjä asettaa arvon, vaan dej-adup otti käyttöön duplivityn mahdollisuuden asettaa arvo. Näin  minuä tuota enkkua ymmärrän.

Siis ennen tuota paikkausta ohjelma käytti kiinteästi /tmp:tä, ja ongelmana oli se, että /tmp on monissa järjestelmissä pieni tmpfs-osio.

Korjauksen jälkeen Déjà Dup preferoi sillä osiolla sijaitsevaa temppihakemistoa, jonka tiedostoja varmuuskopioidaan. Käytännössä kun kotihakemisto on mukana varmuuskopioitavissa lähteissä, Déjà Dup käyttää temppinä ~/.cache/deja-dup -hakemistoa, ellei käyttäjä määrittele jotain muuta ympäristömuuttujan DEJA_DUP_TEMPDIR kautta. Heikin ongelma viittaa siihen, että käytössä on juuri tuo kotihakemiston cache.

Tässä Déjà Dupin funktio, joka luo listan mahdollisista temppihakemistoista. Niistä valitaan toisaalla se, joka on samalla osiolla kuin lähdetiedostot.

Koodia: [Valitse]

public string[] get_tempdirs()
{
  var tempdir = Environment.get_variable("DEJA_DUP_TEMPDIR");
  if (tempdir != null && tempdir != "")
    return {tempdir};
  // Prefer directories that have their own cleanup logic in case ours isn't
  // run for a while.  (e.g. /tmp every boot, /var/tmp every now and then)
  return {Environment.get_tmp_dir(), "/var/tmp",
          Path.build_filename(Environment.get_user_cache_dir(), Config.PACKAGE,
                              "tmp")};
}
Temppihakemiston valintaan liittyvä koodi sijaitsee tiedostossa libdeja/CommonUtils.vala: https://git.launchpad.net/deja-dup/tree/libdeja/CommonUtils.vala

[AimoE]

Kun tein nettihakuja, yritin ensisijaisesti etsiä DEJA_DUP -alkuisia ympäristömuuttujua, mutta onnistuin löytämään vain tuon DEBUG-tapauksen. Harmillista että näin tärkeä ohjelma on näin huonosti dokumentoitu käyttäjiä varten.

[Heikki Ketoharju]

Eli onko kyseessä .cache/deja-dup -kansioon tallentuvat väliaikaistiedostot? Sille saattaa olla joku gsettings-asetus, tai voit kokeilla tehdä kyseisen hakemiston tilalle symbolisen linkin johonkin toiseen sijaintiin, jossa on riittävästi tallennustilaa.

Aiemmin ohjelma on ilmeisesti käyttänyt /tmp:tä, mutta siellä on usein vielä vähemmän vapaata tilaa. Katso: https://bugs.launchpad.net/deja-dup/+bug/1100092

Suurkiitos vastauksistanne!

Juuri tuosta .cache/deja-dup -kansiosta on kyse. Ja nytpä muuten selvisi sekin, miksi muutamia vuosia sitten varmuuskopiointi ei onnistunut, ja sitten yhtäkkiä jossain vaiheessa alkoi toimia: vissiin oli kyse juuri tuosta /tmp-osion täyttymisestä silloin.

Pakko yhtyä AimoE:n harmitteluihin: näiden helppokäyttöisten Gnome-softien suurin ongelma on nimenomaan dokumentaation puute. Gnomen oma wiki on ihan tosi sekava ja tuntuu, ettei sitä ole kukaan päivittänyt vuosiin... Kai voisi vähän myös syyttää Canonicalia, jonka ohjelma Deja Dup on. Silloin kun se toimii, se on loistava, mutta harmillisen usein ainakin itselläni tulee näitä ongelmia. Onkohan jokin projekti, jonka kautta voisi auttaa paremman dokumentaation kirjoittamisessa? Nyt kun Unity-projekti kirvestettiin, moni asia on luultavasti siirtymässä Ubuntun käyttäjien vastuulle. Koskeekohan se myös käyttöohjeita?

Mutta syyttely sikseen. Kiitos neuvojenne, homma lähti toimimaan! Kerron seuraavaksi, mitä tein. Ehkä jollakulla muullakin on sama ongelma.

Ratkaisin ongelman näin:

Ympäristömuuttujat asetetaan Ubuntussa kotikansiossa olevaan piilotiedostoon nimeltä .profile. Jos esimerkiksi käyttäjätunnus on heikki ja ulkoisen kovalevyn nimi on Backup, ja siellä on juuressa kansio nimeltä tmp, laitetaan .profile-tiedoston loppuun rivit:

Koodia: [Valitse]

#Laitetaan  varmuuskopioinnin temp-tiedostot ulkoiselle kovalevylle nimeltä Backup luotuun tmp-kansioon
export DEJA_DUP_TEMPDIR=/media/heikki/Backup/tmp
Jotta Gnome lukee uudet ympäristömuuttujat, pitää kirjautua ulos ja takaisin sisään.

Sitten voi tarkistaa, että ympäristömuuttuja oikeasti on asetettu. Sen voi tehdä avaamalla komentorivin, ja syöttämällä sinne seuraavan komennon:

Koodia: [Valitse]

env | grep DEJAKomennon pitäisi tulostaa seuraava rivi:

Koodia: [Valitse]

DEJA_DUP_TEMPDIR=/media/heikki/Backup/tmp
Kaiken tämän jälkeen tarvitsee vain kytkeä varmuuskopiolevy kiinni koneeseen. Deja Dup tunnistaa sen automaattisesti ja aloittaa varmuuskopioinnin Itse avasin vielä varmuuskopiolevyn ja totesin omin silmin, että tmp-kansioon alkaa tavaraa tulla.

Palaan varmaankin huomenissa raportoimaan, onnistuiko kopiointi tällä kertaa. Täyden varmuuskopion ottaminen kestää minulla nykyisin reilusti yli 12 tuntia. Arvelisin, että se kuvastaa ennenkaikkea sitä, miten Deja Dupin taustalla pyörivä duplicity ei ole maailman nopein varmuuskopiosofta.

Näistä Ubuntun omista yhteisöohjeista oli ainakin itselleni hyötyä homman toimimaan saamisessa. Sieltä nimittäin löytyi tieto, minne ympäristömuuttujat pistetään.
https://help.ubuntu.com/community/EnvironmentVariables


EDIT
Vielä rohkenen mielipiteenäni todeta, että voisi olla intuitiivisempaa, jos Deja Dup yrittäisi laittaa /tmp-kansion aina sille kovalevylle, johon varmuuskopioidaan - siis silloin, kun varmuuskopio tehdään ulkoiselle kovalevylle eikä jonnekin muualle, esim verkkolevylle/pilveen. Ainakin itselleni ensimmäinen varmuuskopioinnin epäonnistumisen jälkeen mieleen tullut syy oli se, että varmuuskopiolevy on liian täynnä. Sen ongelman jokainen käyttäjä osaisi ratkaista suhteellisen helposti joko ostamalla isomman levyn tai poistamalla vanhempia varmuuskopioita. Pitäisiköhän jopa laittaa tästä asiasta kehittäjille ehdotus, tai jopa koettaa tehdä tuollainen patch tuohon softaan?

[AimoE]

Ratkaisin ongelman näin:

Ympäristömuuttujat asetetaan Ubuntussa kotikansiossa olevaan piilotiedostoon nimeltä .profile. Jos esimerkiksi käyttäjätunnus on heikki ja ulkoisen kovalevyn nimi on Backup, ja siellä on juuressa kansio nimeltä tmp, laitetaan .profile-tiedoston loppuun rivit:

Koodia: [Valitse]

#Laitetaan  varmuuskopioinnin temp-tiedostot ulkoiselle kovalevylle nimeltä Backup luotuun tmp-kansioon
export DEJA_DUP_TEMPDIR=/media/heikki/Backup/tmp
Jotta Gnome lukee uudet ympäristömuuttujat, pitää kirjautua ulos ja takaisin sisään.

Sitten voi tarkistaa, että ympäristömuuttuja oikeasti on asetettu. Sen voi tehdä avaamalla komentorivin, ja syöttämällä sinne seuraavan komennon:

Koodia: [Valitse]

env | grep DEJAKomennon pitäisi tulostaa seuraava rivi:

Koodia: [Valitse]

DEJA_DUP_TEMPDIR=/media/heikki/Backup/tmp

Tarkoittanet käyttäjätunnuksen kotihakemistossa olevaa .profile-tiedostoa. Siinä on se ongelma että se koskee vain komentorivi.ikkunoita, ei kaikkia prosesseja. Jos käynnistät deja-dupin komentoriviltä, se toimii, mutta jos käynnistät sen Dash:n kautta tai käynnistinpalkkiin kiinnnitetystä kuvakkeesta, muuttuja ei olekaan voimassa.

Näistä Ubuntun omista yhteisöohjeista oli ainakin itselleni hyötyä homman toimimaan saamisessa. Sieltä nimittäin löytyi tieto, minne ympäristömuuttujat pistetään.
https://help.ubuntu.com/community/EnvironmentVariables

Tuolla kerrotaan myöskin mihin muutuja pitää laittaa jos sen haluaa systeemni laajuiseksi mutta tämä DEJA_DUP_TEMPDIR ei ole sellainen joka kannattaisi määritellä järjestelmänlaajuisesti. Siksi sanoin että sen voi määritellä käynnistimessä. Tarkoitan seuraavaa:

• tee itsellesi kopio käynnistimestä: cp /usr/share/applications/deja-dup.desktop ~/.local/share/applications/
• avaa tiedosto ~/.local/share/applications/deja-dup.desktop editoriin ja lisää muuttuja sinne jollain tavalla, esim. korvaamalla suora deja-dup-komento omalla skriptillä jossa muuttuja asetetaan deja-dup-kometoa varten (en ole koskaan tarvinnut muuttujaa käynnistimessä, joten en ole ihan varma voiko sen asettaa siellä suoraan)

Näin sinun ei tarvitse joka kerta siirtyä komentoriville kun ajat deja-dupin.

[Heikki Ketoharju]

Tarkoittanet käyttäjätunnuksen kotihakemistossa olevaa .profile-tiedostoa. Siinä on se ongelma että se koskee vain komentorivi.ikkunoita, ei kaikkia prosesseja. Jos käynnistät deja-dupin komentoriviltä, se toimii, mutta jos käynnistät sen Dash:n kautta tai käynnistinpalkkiin kiinnnitetystä kuvakkeesta, muuttuja ei olekaan voimassa.

Hei!

Kotikansion .profile-tiedostossa asetetut ympäristömuuttujat luetaan myös Gnome-session osaksi. Tuossa oheisella wiki-sivulla hieman sivumennen asiasta mainitaankin. Jos haluaa tarkistaa asian, voi käynnistää xtermin siten, että se ei lataa mitään bashin ympäristömuuttujia vaan käyttää pelkästään graafiselta sessiolta saamiaan. Näin:

Koodia: [Valitse]

xterm -e bash --noprofile --norcTuossa xtermissä toimii sitten sama env-komento kuin muutenkin. Näin:

Koodia: [Valitse]

env | grep DEJA
Omasta mielestäni kätevin tapa käyttää Deja Dupia on se, että asettaa sen käynnistymään automaattisesti kun kovalevy kytketään kiinni. Näin ei tarvitse kopiointia aloittaa sen enempää komentorivillä kuin käynnistimestäkään: Deja Dup katselee koko ajan taustalla liitettyjä medioita, ja aloittaa kopioinnin automaattisesti. Lisäksi Deja Dup ystävällisesti muistuttaa notifikaatiolla, kun on varmuuskopioinnin aika.

Vahvistan vielä tässä viestissäni, että varmuuskopiointi ruksutti yön yli ja sujui ongelmitta. Kiitos vielä kerran avusta!