Varmuuskopiointi???

[AnttiLehtinen]

Hei, sori jos laitoin tämän ketjun väärälle alueelle.
Etsin nimittäin varmuuskopiointiin ubuntulle 12.04 LTS sopivaa verkkokovalevyä.
Noin kymmenen vuotta sitten tiesin kaiken tietotekniikasta ja imin itseeni kaiken lehdistä
ja netistä. Nyt en ole enää perillä lainkaan nykytekniikasta.

Etsisin siis tapaa varmuuskopioida koko tietokoneen sisällön automaattisesti, vaikka kerran päivässä,
aina öisin.

-Hakusessa olisi siis jokin laite/järjestelmä joka pystyy varmuuskopioimaan koko hoidon kovalevylle, niin että
mikäli nykyinen kovalevyni hajoaa, vaihdan vain varmuuskopioidun kovon tietokoneen sisään ja kaikki toimii.
-Toivomuksena olisi verkko-pohjaisuus, vaivattomuus, helppous ja automaattisuus. Sekä tietysti varmuuskopioidun
kovalevyn automaattinen itse-diagnosointi, että sitten viiden vuoden kuluttua kun nykyinen kovo hajoaa, ei olisi
yllättäen varmuuskopiokin hajalla.
-Nykyisessä järjestelmässäni on 128Gt SSD (käyttis) ja 2Tt kovo. Kokonaisuus tulisi siis varmuuskopioida.

Olisiko kenelläkään tieto-taitoa opastaa hyvän, kestävän, helpon ja automaattisen ratkaisun äärelle?

Budjetti liikkuisi jossain max 1000€:ssa, turha tietysti kalleinta hankkia jos siitä ei ole vastaavasti hyötyä.

Anteeksi että en osaa välttämättä kaikkea kertoa, kysykää ihmeessä, koetan vastailla parhaani mukaan.
Maksulliset palvelutkaan eivät ole pois-suljettuja, mutta tietojen palautus heti ei liene verkkopohjaisilla
ratkaisuilla mahdollista.

T:Antti

PS. Tuli mieleeni että olisiko olemassa tupla-varmistusta: Automaattinen varmistus verkkokovolle päivittäin->automaattinen
varmuuskopiointi verkkokovolta nettiin->automaattinen verkkokovon viantarkistus viikoittain tjms.->raportti sähköpostiin
verkkokovon oletetusta elin-iästä jos vikoja alkaa ilmetä->Jos verkkokovon vaihtaa tyhjään, voi sen sisällön palauttaa painamalla
kotelosta löytyvää nappulaa->varmuuskopiointi netistä ladataan verkkokovolle.
Meneekö överiksi?

[nm]

Liitettyjen osioiden täydellinen varmuuskopiointi ajon aikana on hieman hankalaa ext4-tiedostojärjestelmän tapauksessa. Btrfs:llä (ja ZFS:llä) se onnistuu, mutta niissä on omat hankaluutensa. Btrfs ei vielä ole täysin vakaa, joskin tavallisessa käytössä ongelmilta todennäköisesti jo välttyy. En kuitenkaan ehkä luottaisi siihen varmuuskopiointikäytössä ilman lisävarmistuksia johonkin muualle. ZFS on vakaampi, mutta Ubuntun juuriosion asentaminen ZFS:lle vaatii hieman kikkailua, ja normaalissa vanhemmassa työpöytäkoneessa ZFS on melko raskas. Molemmissa tapauksissa on syytä päivittää järjestelmä Ubuntu 16.04:ään.

Tässä pari linkkivinkkiä Btrfs:n varmuuskopiointiin:
https://btrfs.wiki.kernel.org/index.php/Incremental_Backup
https://github.com/digint/btrbk


Osioiden 1:1 varmuuskopioinnin sijaan olisi helpompaa tyytyä tiedostopohjaiseen varmuuskopiointiin. Silloin palautus saattaa vaatia toteutustavasta riippuen jonkin verran lisätoimenpiteitä, mutta hyvin suunniteltuna ja valmisteltuna se voi olla lähes yhtä helppoa kuin levypohjaisen varmuuskopion käyttöönotto. Ehkä hyvä kompromissi olisi tehdä nykyisestä järjestelmästä ensin täydellinen levykopio sopiville kiintolevyille, jotka liität toiselle koneelle (eli verkossa olevalle levypalvelimelle). Sitten käytön aikana siirrät tiedostojen muutokset sinne ajastetulla rsync-skriptillä. Sellaisia varmaan löytyy valmiinakin, mutta en nyt osaa suositella mitään sen tarkemmin.

Lisäksi kannattaisi tehdä inkrementaalisia varmuuskopioita omista tärkeistä dokumentti- ja datatiedostoista, jolloin on mahdollista palata historiassa taaksepäin tiettyyn pisteeseen. Tämä hoituu esimerkiksi Déjà Dupilla, joka kuuluu Ubuntun perusasennukseen (Järjestelmäasetukset -> Varmuuskopio). Tällä pääsee muutenkin hyvin alkuun ja järjestelmän täydellistä varmuuskopiointia voi sitten puuhailla kun ehtii ja viitsii.

[AnttiLehtinen]

Eli vissiin kompromissina olisi että tekisin täydellisen levykopion, jota en käyttäisi muuten?
Tämän voisi sitten tehdä kerran tai kaksi vuodessa, vaikkapa.

Toinen vaihe olisi se että tekisin varmuuskopiot tärkeistä kansioista (omat työt ja sähköpostit jne.)
levypalvelimelle.

Osaako tuo Deja Dup tehdä varmuuskopiot kyseisistä kansioista levypalvelimelle? Kopioiko tuo orjallisesti aina kaiken
vai vain muutokset?

Onko kukaan kokeillut netistä löytyviä varmuuskopio-palveluita? Aika edullisia 8,90€:n kuukausihinnalla, ilman tilarajoituksia.
Mutta onko mikään noista Ubuntu-yhteensopiva? Lähinnä windows ja mac-käyttiksille tuntuu löytyvän.

[nm]

Eli vissiin kompromissina olisi että tekisin täydellisen levykopion, jota en käyttäisi muuten?
Tämän voisi sitten tehdä kerran tai kaksi vuodessa, vaikkapa.

Juu, se on yksi ratkaisu. Voit myös pitää levypalvelimelle liitettyä levykopiota ajan tasalla rsyncillä vaikka päivittäin.

Osaako tuo Deja Dup tehdä varmuuskopiot kyseisistä kansioista levypalvelimelle? Kopioiko tuo orjallisesti aina kaiken
vai vain muutokset?

Déjà Dup tekee inkrementaalisia varmuuskopioita, jolloin vain muutokset tallennetaan. Plussana tässä on siis myös se, että voit palata tiettyyn ajankohtaan muutoshistoriassa.

Onko kukaan kokeillut netistä löytyviä varmuuskopio-palveluita? Aika edullisia 8,90€:n kuukausihinnalla, ilman tilarajoituksia.
Mutta onko mikään noista Ubuntu-yhteensopiva? Lähinnä windows ja mac-käyttiksille tuntuu löytyvän.

Backblaze on luotettava ja edullinen palvelu (rajoittamaton varmuuskopiointi 5 dollaria / kk), mutta varmuuskopiointityökalu toimii tietääkseni vain Windowsissa ja OS X:ssä. Linuxissa on mahdollista käyttää kalliimpaa ja datamäärän mukaan hinnoiteltua Backblaze B2 pilvitallennusta. Siihen on tarjolla alustariippumaton komentorivirajapinta.

Toinen edullinen pilvitallennuspalvelu on Amazon Drive: 60 dollaria vuodessa, peruskapasiteetti 100 teraa, mutta rajaa saa hilattua ylöspäin pyytämällä lisää tilaa. Palvelu toimii Linuxissa näppärimmin acd_cli-ohjelman avulla.

Sekä B2:ssa että Amazon Drivessa varmuuskopiointi on toteutettavissa komentorivityökalun avulla skriptattuna tai liittämällä pilvilevy tiedostojärjestelmään, jolloin voi käyttää melkein mitä tahansa varmuuskopiointimenetelmää ja -työkaluja.


Nämä edulliset perustason pilvipalvelut eivät yleensä tarjoa moninkertaista varmistusta, eli tietojen katoaminen on mahdollista teknisten ongelmien vuoksi. Niitä voi kuitenkin hyvin käyttää lisävarmistuksena, kun data on muuallakin tallessa.

[AimoE]

Déjà Dup tekee inkrementaalisia varmuuskopioita, jolloin vain muutokset tallennetaan. Plussana tässä on siis myös se, että voit palata tiettyyn ajankohtaan muutoshistoriassa.

Déjà Dup tai oikeammin duplicity tekee täysvarmistuksen kolmen kuukauden (90 päivän) välein. Tätä asetusta ei voi muuttaa graafisessa käyttöliittymässä (Déjà Dup), mutta asetus on dconf-tietokannassa, jota voi muokata esim. dconf-edit -ohjelmalla tai komentorivikomennoilla.

[AnttiLehtinen]

Nämä edulliset perustason pilvipalvelut eivät yleensä tarjoa moninkertaista varmistusta

Mitä tämä tarkoittaa?
Meinaatko että Amazon ei ota varmuuskopioita asiakkaan tiedostoista?

Pitääkin nyt etsiskellä Deja Dup:n ohjeita...

Joskus kauan sitten tuli Ubuntusta otettua koko järjestelmän sisältävä kopio, levykuva jos oikein muistan.
Täältä varmasti löytyy ohjeet siihen, kunhan tulee etsittyä.

Onko mitään suosituksia levypalvelimesta? Joko ihan joku tietty malli, tai sitten joku tietty "must"-ominaisuus?
Olisiko linkin takaa löytyvä hyvä (https://www.verkkokauppa.com/fi/product/2719/gmrfn/QNAP-TS-453A-4G-verkkolevypalvelin)?

Miten toteuttaisitte Deja Dup:lla tämän konfiguraation kopioinnin, kun on tuo 128Gt:n SSD ja 2Tt:n kovalevy?
Eli kannattaisiko siis vain valita jotkin tietyt kansiot molemmista, eikös vain?
Kuvaavat nimet sitten varmuuskopio-kansioille, esim. "SSD-sähköpostit", "2tt:n koko sisältö", "SSD-user" jne.?

Kiitos vastauksistanne ja kärsivällisyydestänne jo etukäteen.

ps. Tarkoituksenani on sitten ilmoitella tänne toteutetusta systeemistä, johon voitaisiin sitten avuliaiden yksilöiden
kanssa tehdä muutoksia. Täten muutkin saisivat "valmiita" vastauksia.

[jekku]

.....
Onko mitään suosituksia levypalvelimesta? Joko ihan joku tietty malli, tai sitten joku tietty "must"-ominaisuus?
.....

Suositttelemaan en ala, mutta itse käytän ensisijaisena levypalvelimena Raspberry Pi:tä jossa parin teran usbilevy.
Tuonne synkkaan (rsync) sekä omat että vaimon kotihakemistot.

Ja muutama viikko sitten vaihtui rouvalla kone (ja distro siinä sivussa) -  hienosti palautui, ja käyttö jatkui kuin ei mitään.
Samoin itselleni vahdoin konetta alkukesällä. Tosin ohjelmat asensin uusiksi mutta asetukset tulivat varmuuskopioista jokseenkin ennalleen.

[nm]

Nämä edulliset perustason pilvipalvelut eivät yleensä tarjoa moninkertaista varmistusta

Mitä tämä tarkoittaa?
Meinaatko että Amazon ei ota varmuuskopioita asiakkaan tiedostoista?

Veikkaan, että Amazon Drive käyttää korkeintaan Amazon S3 reduced redundancyä vastaavaa varmistusta, jolloin tiedoston häviämisen tai hajoamisen arvioitu todennäköisyys on 0,01 % vuodessa. Lisäksi luulisin, ettei 1:1 varmuuskopiota ole olemassa toisessa maantieteellisessä sijainnissa, jolloin datakeskuksen tuhoutuminen voi hävittää kaiken siellä säilötyn Drive-datan. Amazon Driven sopimusehdot eivät myöskään lupaa mitään datan säilytyksestä eikä Amazon ota korvausvastuuta, jos tietoja häviää.

Backblazen varmistuspalvelusta tiedetään enemmän, ja se lienee varmempi kuin Amazon Drive, mutta off-site-varmuuskopiota ei sielläkään ole, koska firmalla on vain yksi datakeskus.

Pitääkin nyt etsiskellä Deja Dup:n ohjeita...

http://www.howtogeek.com/108869/how-to-back-up-ubuntu-the-easy-way-with-dj-dup/

Ohjelman omat käyttöohjeet eivät kata kaikkea, mutta ainakin varmuuskopioidun kotihakemiston palauttaminen uuteen asennukseen on neuvottu jollain tasolla: https://wiki.gnome.org/DejaDup/Help/Restore/Full

Sinänsä käyttö on kyllä varsin suoraviivaista.

Miten toteuttaisitte Deja Dup:lla tämän konfiguraation kopioinnin, kun on tuo 128Gt:n SSD ja 2Tt:n kovalevy?
Eli kannattaisiko siis vain valita jotkin tietyt kansiot molemmista, eikös vain?

Juu. Ne missä on omaa dataa tai säilytettäviä asetuksia. Ainakin käyttäjien kotihakemistot kannattanee varmuuskopioida kokonaisuudessaan. Muusta järjestelmästä ehkä /etc ja /var, jos siellä on esimerkiksi SQL-tietokantojen dataa.

[AnttiLehtinen]

Kiitos avustanne, homma nytkähtänee eteenpäin, kun saan rahat tuohon kasaan:
https://www.verkkokauppa.com/fi/product/10242/gnrqq/QNAP-TS-453A-4G-verkkolevypalvelin-4-kpl-3-Tt-SATAIII#product-description


Tarkoituksena on tänne dokumentoida koko prosessi, eli automaattisten varmuuskopioiden luonti k.o järjestelmään ja QNAP:n konffaus niin
että se varmuuskopioi kaiken automaattisesti amazonin pilveen.

Vielä olisi tarve saada tuo 128ssd:n levykuva otettua säännöllisesti ja automaattisesti, en kyllä tiedä kuinka tärkeätä se voi olla kun on kuitenkin
nuo home-kansiot ja vastaavat kopioituna. Lähinnä tähtäisin tällä siihen että saisin kaiken normalisoitua erittäin helposti ja nopeasti.
Voisiko levykuvan ottaa USB-tikulle? 128Gt:n tikku kyllä jo jotain maksaakin, mutta enpä näe oikein vaihtoehtojakaan. Ellei 128Gt:n SSD:tä hankkisi,
se olisi varmasti vielä helpompi.

[matsukan]

Tähän lisäisin että en ottaisi backup kopioita /var/-kansion tietokantatiedostoista ja hakemistoista vaan tekisin tietokannoista dump tiedoston ja varmuuskopioisin nämä koska nämä olisi helpompi palauttaa varsinkin jos palautettava ympräristö olisi eri versio, esim uudempi.

/etc/kansion tiedostot on hankalampi juttu.

[AnttiLehtinen]

Okei, hieman monimutkaiselta tuntuu, mutta kyselen sitten täältä lisää infoa, kunhan saan tarvittavan hardwaren hankittua.

[Pendeli]

Lisäksi kannattaisi tehdä inkrementaalisia varmuuskopioita omista tärkeistä dokumentti- ja datatiedostoista, jolloin on mahdollista palata historiassa taaksepäin tiettyyn pisteeseen. Tämä hoituu esimerkiksi Déjà Dupilla, joka kuuluu Ubuntun perusasennukseen (Järjestelmäasetukset -> Varmuuskopio). Tällä pääsee muutenkin hyvin alkuun ja järjestelmän täydellistä varmuuskopiointia voi sitten puuhailla kun ehtii ja viitsii.

Täytyy näköjään ottaa DejaDupin asetukset tarkemmin tutkittavaksi.
DejaDup kasvattaa talletuskansiota turhaan, jos sitä ei välillä putsaa  vanhoista. Esim. täysvarmistuksen kopioita näyttäisi aina olevan joka kerralta joku vajaa 30 kpl täsmälleen samaa kopiota (?) Voiko vanhoja varmisteita poistella suoraan deletoimalla kansion sisältä? Eli onko uusimmassa täysvarmistuksessa aina mukana myös vanhimman varmisteen tallenteet?

[ajaaskel]

Myös "rsnapshot" on tutustumisen arvoinen.  Itse olen ripustanut ulkoisen usb-levyn aika moneen koneeseeni ja laittanut rsnapshotin hoitamaan kopioita automaattisesti.  Tekee esimerkikis kerran päivässä + kerran viikossa +kerran kuussa täydellisen kopion mutta säästää paljon levytilassa kun ei kopioi samoja datoja moneen kertaan vaan linkittää ne.
Yksittäiskäytön lisäksi pystyy myös rakentamaan keskitetyn backup-koneen joka noukkii useiden koneiden backupit samaan paikkaan rsyncin ja modifioitujen ssh-avainten avulla.  Ei kuitenkaan helpoin harjoitus ellei entuudestaan tuttu.

 

[Postimies]

Vielä olisi tarve saada tuo 128ssd:n levykuva otettua säännöllisesti ja automaattisesti, en kyllä tiedä kuinka tärkeätä se voi olla kun on kuitenkin
nuo home-kansiot ja vastaavat kopioituna. Lähinnä tähtäisin tällä siihen että saisin kaiken normalisoitua erittäin helposti ja nopeasti.
Voisiko levykuvan ottaa USB-tikulle? 128Gt:n tikku kyllä jo jotain maksaakin, mutta enpä näe oikein vaihtoehtojakaan. Ellei 128Gt:n SSD:tä hankkisi,
se olisi varmasti vielä helpompi.

Levykuva kannattaa tehdä jollain asennusmedialla. dd on tuohon pätevä. Jos pitää levyllä vain systeemiä & asetuksia niin eiköhän pakkaamalla mene tikulle. Palautus SSD-levylle jostain paketista on suht nopeaa ja vaatii ehkä grubin uudelleen asennuksen. Aikaa menee myös levyn tyhjentämiseen. Itse pakkaan Gentoo kokeiluni dar-ohjelmalla. Kun kuitenkin voi sotkea systeemin, niin ei ihan alusta tarvitse asennusta aloittaa. Omien dar pakettieni koko on noin 1,5 - 3G riippuu mitä asennettu.

Pistämpä vielä esimerkin palautuksen nopeudesta... Tikulle tuo kestäisi tunteja.

root@subuntu:/mnt/gentoo# time dar -x /mnt//backup/gentoobak/gentoo_gpt/gentoo_gpt_7_07_2016.1.dar
Warning, gentoo_gpt_7_07_2016.1.dar seems more to be a slice name than a base name. Do you want to replace it by gentoo_gpt_7_07_2016 ? [return = YES | Esc = NO]
Continuing...
/mnt/gentoo/lost+found is about to be overwritten, OK? [return = YES | Esc = NO]
Continuing...


 --------------------------------------------
 405323 inode(s) restored
    including 229 hard link(s)
 0 inode(s) not restored (not saved in archive)
 0 inode(s) not restored (overwriting policy decision)
 0 inode(s) ignored (excluded by filters)
 0 inode(s) failed to restore (filesystem error)
 0 inode(s) deleted
 --------------------------------------------
 Total number of inode(s) considered: 405323
 --------------------------------------------
 EA restored for 12 inode(s)
 FSA restored for 0 inode(s)
 --------------------------------------------

real   1m3.718s
user   0m33.328s
sys   0m25.596s