Backup ohjelmat - kuinka olisi hyvä backupata tiedostot ?

[HannuTapio]

Hei,

Minulla on runsaasti tiedostoja, kuva ja koodi, olen tähän asti backupannut ne rsync avulla, minulla on sh script joka tekee kellon ajan mukaan uuden hakemiston ja sitten tallentaa sinne kaikki tiedostot.

Tiedän kuitenkin että on backup ohjelmia, joissa on toimintana että samoja tiedostoja ei uudelleen tallenneta kovalevylle, en ihan tarkkaan tiedä onko hyvä käyttää tälläistä ohjelmaa, jos kovalevylle sitten tulee vika jonkin tärkeän tiedoston kohdalla, niin, sehän on siellä backupeissa vain kerran tallennettuna, olen käyttänä tätä kaikki tiedostot uudelleen backuppia rsyncin kanssa tähän asti, koska jos jokin tärkeä kohta hajoaa backup ohjelmasta, sen tallenteesta, taikka kovalevyltä.

Mutta, nyt kiinnostaa testata jotakin backup ohjelmaa, joka tallentaa vain muuttuneet tiedostot uudelleen, ja sellaista ohjelmaa jossa on aika vedoksia, joita voi palauttaa sitten aina päivämäärän mukaan.

Mikä sopisi minulle backup ohjelmaksi ?

Olen tämän jo kerran tainnut kysyä, mutta, olen käyttänä tätä rsync käskyä tähän asti.



--

[_Pete_]

Käyttämäsi rsync osaa tehdä backupit niin että vain muuttuneet tiedot siirretetään, hae googlella: rsync incremental backup

[jekku]

...
Mutta, nyt kiinnostaa testata jotakin backup ohjelmaa, joka tallentaa vain muuttuneet tiedostot uudelleen, ja sellaista ohjelmaa jossa on aika vedoksia, joita voi palauttaa sitten aina päivämäärän mukaan.
....


--

Aikamoisia vedoksia osaa tehdä monikin kopointisofta.
Mutta tuo toivomasi palautusmahdollisuus lienee selkeintä hoitaa jollain versionhallintaohjelmalla.

Joskus käytin RCS:ää, mutta siitä on jo vuosia ja nykyisin lienee sutjakkaampiakin tapoja.
Nykyisin en koe tarvetta versionhallintaan, joten vain rsync käytössä.

(Mutta jos joutoaikaa ja mielenkiintoa löytyy niin lukaisenpa nuo incremental -ohjeet/vihjeet.)

[AimoE]

Aikamoisia vedoksia osaa tehdä monikin kopointisofta.
Mutta tuo toivomasi palautusmahdollisuus lienee selkeintä hoitaa jollain versionhallintaohjelmalla.

Enpä menisi suosittelemaan versionhallintaa varmuuskopiointiin. Versionhallintaa tarvitaan lähdekoodin talletukseen, mutta bittimössön (kuten kuvien) talletukseen en niitä käyttäisi, paitsi ehkä Git:ä jos kyse on läheisesti lähdekoodiin liittyvästä bittimössöstä. Minusta varsionhallinnan ja varmuuskopioinnin suhde on se, että veriosnhallinnan tietokantakin pitää varmuuskopioida.

Ubuntun mukana automaattisesti tulee Duplicity, ja sille graafinen käyttöliittymä Deja-Dup. Jos Deja-Dup on liian heppoinen käyttöliittymäksi, jos haluat viritellä vamuuskopiointia tarkemmin, joudut käyttämään duplicity-komentja omissa komentotiedostoissasi. Toki duplicitylekin löytyy vaihtoehtoja, mutta ensin kannattaa selvittää peruskäsitteet.

[topiv]

Täältäkin ääni deja-dupille. Kun teet sillä backupin, ohjelma luo ensin täydellisen kopion halutuista kansioista tiedostoineen. Voit määritellä, mitkä kansiot jätät pois varmuuskopiosta (esim. Roskakori). Sen jälkeen se tekee viikottain muuttuneista tiedostoista inkrementaalisen backupin samaan paikkaan minne alkuperäisenkin varmuuskopion, niin kauan kun siellä on tilaa.

Kun haluat palauttaa backupit, deja-dup miettii jonkin aikaa ja kysyy, miltä päivämäärältä haluat palauttaa tilanteen -- päivämäärän saa valita drop-down listalta. Ne voi palauttaa vanhojen päälle tai itse määrittelemääsi kansioon.

Olen tehnyt pari kertaa Ubuntun uudelleen asennuksen läppäriini ja palauttanut sen jälkeen /home/ -kansion deja-dupilla ja saanut helposti kaikki tiedostot ja asetukset uuteen asennukseen.

Itse en ole käyttänyt salasanaa backupin tekemiseen. SSH-yhteys NAS-levypavelimeen on suojattu salasanalla, joten sinne ei satunnainen verkossa liikuja pääse backupia selaamaan. Jos salasanan unohtaa, ei deja-dupin varmuuskopiolla tee mitään.

Täällä englanninkielinen perusohje deja-dupin käyttöönotosta:
https://www.howtoforge.com/tutorial/ubuntu-backup-deja-dup/

[jarmala]

Täältäkin ääni deja-dupille.

Joulupukki toi uuden isomman USB3 bakcup -levyn eli 6TB Seagate (vanha oli vain USB2 ja 2 TB...). Joten päätinkin kokeilla deja-duppia: käyttöliittymä on äärettömän helppo. No, sitten menoksi: varakopiointi kesti näin ensimmäisellä kertaa 24 h 10 min, mutta ei se mitään, kun kone on käytettävissä silläkin aikaa. Tavaraa on nyt varakopiolevyllä 1,8 TB ja kopiointinopeus oli siis n. 21 MB/s. Ne kopiotiedostot näkyvät olevan gzippattuja...

Seagaten levy oli formatoitu NTFS:llä. Onko se hyvä? Vai olisiko se pitänyt ensin formatoida jollekin muulle tiedostojärjestelmälle?

[AimoE]

varakopiointi kesti näin ensimmäisellä kertaa 24 h 10 min, mutta ei se mitään, kun kone on käytettävissä silläkin aikaa. Tavaraa on nyt varakopiolevyllä 1,8 TB ja kopiointinopeus oli siis n. 21 MB/s.

Jos varmistettavaa on noin paljon, Déjà Dup voi aika äkkiä joutua ongelmiin. Yksi ongelma on se miten paljon se käyttää tilaa /tmp-hakemistossa varmistuksen aikana. Täytyy siis pitää huoli ettei sen osiolta lopu tila kesken. Toinen ongelma on se, miten paljon Déjà Dup pikkuhiljaa kerää tietoa ~/.cache-hakemiston alle, mikä vie tilaa home-osiolta, ja se että tätä hakemistoa ei voi korvata symlinkillä jonnekin tilavammalle osiolle. Jos onnistut tekemään siirron jollain toisella keinolla, kerro muillekin. Toki tuon käteishakemiston sisällön voi tyhjentää kun se paisuu liiaksi, mutta sen jälkeen seuraava varmistus on täysvarmistus (full backup), kun vertailutietoja ei enää ole. Lisäksi yksinkertaisuudessa on se ongelma että Déjà Dup -varmistus on yksi ainoa varmistuskokonaisuus, eli et voi määritellä eri säilytysaikoja ja ajoaikoja eri kokonaisuuksille.

Kannattaa siis kokeilla vaihtoehtoja.

[retu]

Miksi ihmeessä pitää kopioda joka kerta eri hakemistoon? Siis rsync kopioi automaattisesti vain muuttuneet, jos kohdehakemisto on olemassa.

Sen rsync-komennon voisi ohjata eri kohdehakemistoon vaikka viikonpäivän mukaan. Eli sen sijaan että ajaisit joka kerta eri hakemistoon kellonajan mukaan, laita kellonajan paikalle viikonpäivä. Tällöin olisi aina 7 eri-ikäistä versiota ja rsync kopioi vain edellisen kerran jälkeen muuttuneet tiedostot. Tietysti, jos muutoksia tulee harvakseltaan, versiot saattavat olla käytännössä samoja. Silloin kannattaa miettiä joku muu nimeämissysteemi.

On myös versioivia backup juttuja kuten rdiff-backup.

@Jarmala
Jos käytät vain linuxia, kannattaa alustaa se levy uudelleen (esim. ext4).
Jos tarvitset käyttää sitä levyä myös windowsissa, NTFS lienee järkevin vaihtoehto.
Jos käytät NTFS:ää ja levy tuntuu hitaalta, kokeile liittää big_write paramerilla (esim. mount -o big_write /dev/sdb1 /mnt/vara).

[jarmala]

Täytyy siis pitää huoli ettei sen osiolta lopu tila kesken. Toinen ongelma on se, miten paljon Déjà Dup pikkuhiljaa kerää tietoa ~/.cache-hakemiston alle, mikä vie tilaa home-osiolta,

Ei vielä hätää: varakopiolevy on 6 TB ja nyt ensimmäinen täydellinen varmistus otti siitä 1,8 TB.

Ja kyllähän .cache -hakemistoon melko suuri tiedosto tipahti:

Koodia: [Valitse]

$ lt .cache/deja-dup/527ac47583962dec369d4488e2b857d5/
yhteensä 12429940
-rw-r--r-- 1 ari ari           0 tammi  7 13:14 lockfile
-rw------- 1 ari ari     8326365 tammi  8 13:32 duplicity-full.20200107T111428Z.manifest
-rw------- 1 ari ari 12719922622 tammi  8 13:48 duplicity-full-signatures.20200107T111428Z.sigtar.gz

No, pitää vähän miettiä, onko tuo ongelma...

[AimoE]

Ei vielä hätää: varakopiolevy on 6 TB ja nyt ensimmäinen täydellinen varmistus otti siitä 1,8 TB.

Hakemisto /tmp on järjestelmäosiolla, ei siellä varakopiolevyllä. Mutta jos eka varmistus vie tasan 30% varmistuksilel varatusta tilasta, nin kyllä 100% tulee äkkiä täyteen. Sitä en edes kommentoinut, kun ajattelin että Linux-käyttäjä osaa kyllä prosenttilaskunsa. Tarkoitit varmaan 6GB?

Edit: onnistuit hämäämään. Onhan 1,8 TB tosiaan vähän, mutta ton 6TB:n takia käänsin toisenkin luvun automaattisesti mielessäni 1,8GB:ksi niin se siitä sitten ;-)

[JA5U]

Itselläni on juuri pohdinnassa nk. työtiedostojen osalta "varmuuskopiointi" ja synkronointi eri laitteille.
Sen verran sekava tilanne, että on läppäri, 2xpöytäkoneet eri sijainneissa ja mahdollisesti tabletti.

Haluaisin ainakin läppärin ja pöytäkoneet synkronoituvan keskenään ja olen miettinyt, että teen esim. bitbucketiin repon, josta sitten voisin päivitellä tiedostot jokaiselle laitteelle.

Tieten ihan hyvä vaihtoehto? Saa samalla versionhallinnan ja tiedostot on toisinnettu useampaan kertaan.

[K-Veikko]

Oma suosikkini on

Koodia: [Valitse]

obnamSe tekee myös näitä "incremental backups" ja myös silloin, kun tiedoston nimi on muuttunut. Obnam osaa myös salata tiedot PGP-avaimilla, joten sopii etäkopiointiin, mutta silloin tietenkin on ensin on ratkaistava ongelma siitä mihin tallentaa varmuuskopio kryptaus-avaimesta.

Siitä taitaa olla vain komentorivi-versio. Löytyy repositorysta ja on suomalaisen Lars Wirzeniuksen kehittämä.

Viimeisin versio näyttää olevan vuodelta 2017 ja kehitystyö lopetettu. Toivottavasti joku suomalainen ottaa tämän ohjelman kehitettäväkseen! -- Ja onko ohjelma sitten huono, jos uusin versio on kolme vuotta vanha. Enemmänkin "kehitystyö" on nykyään uusien takaporttien asentamista toimiviin ohjelmiin.

[jarmala]

Joulupukki toi uuden isomman USB3 bakcup -levyn eli 6TB Seagate (vanha oli vain USB2 ja 2 TB...). Joten päätinkin kokeilla deja-duppia: käyttöliittymä on äärettömän helppo. No, sitten menoksi: varakopiointi kesti näin ensimmäisellä kertaa 24 h 10 min, mutta ei se mitään, kun kone on käytettävissä silläkin aikaa. Tavaraa on nyt varakopiolevyllä 1,8 TB ja kopiointinopeus oli siis n. 21 MB/s. Ne kopiotiedostot näkyvät olevan gzippattuja...

Seagaten levy oli formatoitu NTFS:llä. Onko se hyvä? Vai olisiko se pitänyt ensin formatoida jollekin muulle tiedostojärjestelmälle?

Kommentoin itseäni... Täällä saamieni hyvien neuvojen mukaan teenkin nyt kokeeksi seuraavasti:

- 6 TB:n USB-varmistuslevy on nyt formatoitu ext4:ksi ja yhdeksi osioksi
- levyt-ohjelman nopeustestin mukaan varmistuslevyn kirjoitusnopeus olisi 30 MB/s ja lukunopeus 130 MB/s
- varakopio tehdään rsync:illä, joka on juuri nyt menossa... vaikuttaa aika vikkelältä
- odotellaan...

[jarmala]

- varakopio tehdään rsync:illä, joka on juuri nyt menossa... vaikuttaa aika vikkelältä

Varakopiointi rsync:illä keskeytyi yhden kerran virheeseen 30, kun n. 860 GB oli kopioitu. Mutta kun sen vain käynnisti uudelleen, niin oli joskus yön aikana mennyt loppuun asti. Eli ei tiedä, milloin se oli valmistunut, mutta ainakin alle 12 tuntiin se meni. Tämä hyvä, koska deja-dupilta varmistukseen aikoinaan meni 24 tuntia...

Koodia: [Valitse]

ari@ari:~$ rsync -av /home/ari /media/ari/varakopio
...
sent 901,950,702,252 bytes  received 7,996,845 bytes  46,115,944.43 bytes/sec
total size is 1,740,571,405,044  speedup is 1.93
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1196) [sender=3.1.2]

ari@ari:~$ du /media/ari/varakopio/ari/
1700914232      /media/ari/varakopio/ari/

ari@ari:~$ df
Tiedostojärjestelmä  1K-lohkot       Käyt    Vapaana Käy% Liitospiste
/dev/sde1           5813266968 1701043688 3819180848  31% /media/ari/varakopio


[Whig]

Oletko harkinnut, että laittaisit siihen rsync:n logituksen päälle jotta selviäisi jos jokin kopioinissa tökkii?

Esim: https://bobcares.com/blog/rsync-error-log/

[jarmala]

Oletko harkinnut, että laittaisit siihen rsync:n logituksen päälle jotta selviäisi jos jokin kopioinissa tökkii?

No ehkäpä seuraavalla kerralla voisi kokeilla vaikka

Koodia: [Valitse]

rsync -a -vv --stats --log-file=/home/ari/rsync-logfile /home/ari /media/ari/varakopio

[jarmala]

No ehkäpä seuraavalla kerralla voisi kokeilla vaikka

Koodia: [Valitse]

rsync -a -vv --stats --log-file=/home/ari/rsync-logfile /home/ari /media/ari/varakopio

Noniin tulipa tuokin kokeiltua:

Koodia: [Valitse]

Number of files: 524,356 (reg: 508,647, dir: 14,783, link: 923, special: 3)
Number of created files: 6,466 (reg: 6,363, dir: 103)
Number of deleted files: 0
Number of regular files transferred: 7,290
Total file size: 1,745,951,026,647 bytes
Total transferred file size: 10,573,851,737 bytes
Literal data: 10,573,896,409 bytes
Matched data: 0 bytes
File list size: 5,438,456
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 10,593,792,880
Total bytes received: 46,886,551

sent 10,593,792,880 bytes  received 46,886,551 bytes  65,481,104.19 bytes/sec
total size is 1,745,951,026,647  speedup is 164.08
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1196) [sender=3.1.2]

Rsync näyttää toimivan ihanan ripeästi. Kiitos siitä. Aikaa tähän meni vain 2 min 28 s.

[Postimies]

Käyttääkö kukaan dar-ohjelmaa? Saa suhteellisen helposti pakettiin kaikki ja sitten muuttuneet tiedostot halutuin välein tarpeen mukaan. Systeemistä saa palautuspisteitä. Suurimmat ongelmat on usein että päivitys rikkoo jotain tai menee vahingossa poistamaan jotain. Sitten on nämä soitto-ohjelmien ym. tietokannat ja asetukset. Monesti helpompaa palauttaa kopio kuin etsiä vian sijaintia. Olkkarin mediankoneen systeemi niin pieni, että mahtuu tikullekin. Jos SSD hajoaa saa koneen käyntiin silti melko nopeasti.