Kirjoittaja Aihe: Varmuuskopiointi  (Luettu 7715 kertaa)

mustis

  • Käyttäjä
  • Viestejä: 82
    • Profiili
Varmuuskopiointi
« : 21.09.07 - klo:21.08 »
Moi !

Minulla on koneessani kaksi samankokoista SATA-kovalevyä, joista toinen on varattu varmuuskopiointiin.

Windows-maailmassa olen ihastunut ohjelmaan, joka tekee automaattisesti varmuuskopioinnin ennen koneen sulkemista. Halutessani voin kuitenkin kieltää varmuuskopioinnin, jos olen esimerkiksi asentanut uuden ohjelman tai päivittänyt käyttöjärjestelmän ja haluan testata näiden toimivuutta ennenkuin varmuuskopioin KOKO levyn toiselle kovalevylle.

Ubuntu-ympäristöstä en ole vielä löytänyt sopivaa ohjelmaa, jossa olisi graafinen käyttöliittymä ja se toimisi ainakin edellä mainitulla tavalla (ajastettu varmuuskopiointi ei ole ehdoton vaatimus). Lisävaatimukseni on se, että ohjelma päivittää ainoastaan muutokset (esim. uusi tiedosto, päivitetty tiedosto ja tuhottu tiedosto) eli on siis nopea.

RAID:sta en ole innostunut, koska haluan säilyttää itselläni mahdollisuuden päättää/kieltäytyä varmuuskopion ottamisesta tarvittaessa.

Onko hyviä neuvoja ?

MikkoJP

  • Käyttäjä
  • Viestejä: 1148
  • iBook 600 MHz + Debian 4.0
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #1 : 22.09.07 - klo:01.06 »
Juuri samanlaista ohjelmaa tuskin löydät. Mutta toki kaikki tuo on tehtävissä.

Ohjelma, joka huolehtii kopioinnista on rsync. Rsync osaa kopioida inkrementaalisesti, se ei siis kopioi muuttumattomia tiedostoja. Siihen löytyy erilaisia gui-virityksiä[1], joihin en ole tutustunut. Ajastus hoituu cron -virityksillä, tietysti voit lisätä sulkemisscripteihin kopioinnin. Ks. myös Rosenin artikkeli [2]. Bacula [3] voi myös olla avuksi.

Mutta, mutta:

Lainaus
Lisävaatimukseni on se, että ohjelma päivittää ainoastaan muutokset (esim. uusi tiedosto, päivitetty tiedosto ja tuhottu tiedosto)

Automaattisesti ei kannattane poistaa varmuuskopiolevyltä tiedostoja??! Tarkoitushan on säilyttää siellä varmuuskopio siltä varalta, että vahingossa tuhoat päälevyltä tiedoston.

Terv. m

LINKIT
[1] http://www.debianhelp.co.uk/rsyncweb.htm
[2] http://www.desktoplinux.com/articles/AT2280165098.html
[3] http://www.bacula.org/
[4] http://simplelinuxbkup.sourceforge.net/
« Viimeksi muokattu: 22.09.07 - klo:01.17 kirjoittanut MikkoJP »

igor_2

  • Käyttäjä
  • Viestejä: 768
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #2 : 22.09.07 - klo:09.30 »

mgronber

  • Käyttäjä
  • Viestejä: 1458
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #3 : 22.09.07 - klo:12.08 »
Minulla on koneessani kaksi samankokoista SATA-kovalevyä, joista toinen on varattu varmuuskopiointiin.

Ubuntu-ympäristöstä en ole vielä löytänyt sopivaa ohjelmaa, jossa olisi graafinen käyttöliittymä ja se toimisi ainakin edellä mainitulla tavalla (ajastettu varmuuskopiointi ei ole ehdoton vaatimus). Lisävaatimukseni on se, että ohjelma päivittää ainoastaan muutokset (esim. uusi tiedosto, päivitetty tiedosto ja tuhottu tiedosto) eli on siis nopea.

Onko hyviä neuvoja ?

Kuten jo on sanottu niin rsync, vaikka se ei välttämättä vastaakaan vaatimuksiasi täsmällisesti. Todennäköisesti et osaa edes vaatia sellaista varmuuskopiointimallia jonka rsync tarjoaa :)

Rsync:n avulla on helppo tehdä varmuuskopioita joista jokainen versio on suoraan käytettävissä mutta samaan aikaan ne kuluttavat lähinnä muutoksien viemän tilan. Tilan vähetessä vanhempia varmuuskopioita voidaan poistaa ja uudemmat toimivat tästä huolimatta. Tässä yhdistyvät siis kokonaisten varmuuskopioiden ja inkrementaalisten varmuuskopioiden hyvät puolet.

Itselläni on eräs 1,3GB tilaa vievä hakemisto josta varmuuskopiot otetaan päivittäin vaikkakin muutoksia tietoihin tulee vain harvakseltaan. Järjestelmä on ollut käytössä 73 päivän ajan ja varmuuskopiopuun koko on 1,4GB vaikka jokaisen päivän varmuuskopiot ovat tallessa. Lisäksi kaikki varmuuskopiot ovat suoraan käytettävissä ja niitä pystyy sopivalla skriptillä vertailemaan toisiinsa.

Lähteitä:

Asmo Koskinen

  • Käyttäjä
  • Viestejä: 4443
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #4 : 22.09.07 - klo:12.20 »
Kuten jo on sanottu niin rsync, vaikka se ei välttämättä vastaakaan vaatimuksiasi täsmällisesti.

Täällä on mainostettu Openmind-tapahtumaa ja siellä kerrotaan myös mitä kesäkoodarit 2007 ovat saaneet aikaiseksi, Viime kesänä koodattiin Voikko ja nyt - "Janne Kalliomäki toteuttaa graafisen käyttöliittymän Linuxissa käytettävään varmuuskopiointiohjelmaan". Kannattaa seurata julkistusta.

"My project proposal is to develop a graphical backup software for Kubuntu Linux distribution. The most important features of the proposed software are automatic and manual backups, incremental backups, uploading packages to remote hosts or burning them to optical media, and encryption. After implementation, the software should be the most feature-rich free GUI backup software."

http://www.coss.fi/web/coss/developers/summercode/2007

Ystävällisin terveisin Asmo Koskinen.

Asmo Koskinen

  • Käyttäjä
  • Viestejä: 4443
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #5 : 22.09.07 - klo:12.27 »
Kannattaa seurata julkistusta.

Julkistus on 2.10:

http://www.coss.fi/web/openmind/programme

Ystävällisin terveisin Asmo Koskinen.

masa

  • Käyttäjä
  • Viestejä: 494
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #6 : 22.09.07 - klo:14.05 »
Ja alkuperäiselle kysyjälle muistutukseksi että hakemalla sanalla "varmuuskopiointi" löytyy monta threadia joista löytyy tietoa ja linkkejä varmuuskopioinnin järjestämiseen.
matti_mato

Kun pulma ratkeaa, lisääppä ekan viestin otsikkoon [RATKAISTU] :)

igor_2

  • Käyttäjä
  • Viestejä: 768
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #7 : 22.09.07 - klo:17.38 »
Rsync:n avulla on helppo tehdä varmuuskopioita joista jokainen versio on suoraan käytettävissä mutta samaan aikaan ne kuluttavat lähinnä muutoksien viemän tilan. Tilan vähetessä vanhempia varmuuskopioita voidaan poistaa ja uudemmat toimivat tästä huolimatta. Tässä yhdistyvät siis kokonaisten varmuuskopioiden ja inkrementaalisten varmuuskopioiden hyvät puolet.

Ei sulla olisi lähettää jotain ihan simppeliä esimerkkiä tuosta miten säästetään vanhoja versioita?

Rsyncissä on noita vipuja niin maan perusteellisesti, että työtöapu olisi poikaa - ittellä kun on nyt vain kylmästi --delete ja joskus on käynyt mielessä, että muutamia sukupolvia voisi kyllä säästää taaksekinpäin.

Asmo Koskinen

  • Käyttäjä
  • Viestejä: 4443
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #8 : 22.09.07 - klo:18.04 »
Rsyncissä on noita vipuja niin maan perusteellisesti, että työtöapu olisi poikaa - ittellä kun on nyt vain kylmästi --delete ja joskus on käynyt mielessä, että muutamia sukupolvia voisi kyllä säästää taaksekinpäin.

Katso rsyncin omia esimerkkejä - ne voivat riittää sellaisenaan sinunkin käyttöösi. Ainakin niistä saa hyvän kuvan rsyncin käytöstä.

http://samba.anu.edu.au/rsync/examples.html

Nyt tässä minulla ei käsillä skriptejä, mutta ssh(avainpari-yhteys on käytännössä välttämätön)+rsync -yhdistelmällä syntyy 7 päivän sykli koko kotihakemistosta (/home)

http://www.arkki.info/howto/Rsync/rsync_05.png

Ystävällisin terveisin Asmo Koskinen.

igor_2

  • Käyttäjä
  • Viestejä: 768
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #9 : 22.09.07 - klo:20.02 »
Katso rsyncin omia esimerkkejä - ne voivat riittää sellaisenaan sinunkin käyttöösi. Ainakin niistä saa hyvän kuvan rsyncin käytöstä.

Kiitos.

Vaikuttaa kuitenkin siltä, että kaikkien esimerkkien metodit perustuu siihen, että etukäteen päätetään kuinka suuri on varmuuskopioille varattu "rengaspuskuri". Sun esimerkissä viikko.

Sain mgronber:in tekstistä jotenkin sen käsityksen, että rsyncillä itsellään olisi asia hoidettavissa jotenkin niin, että se putsaa automaattisesti kun käytettävissä oleva tila käy vähiin.

No, pitää fundeerata vielä.

Asmo Koskinen

  • Käyttäjä
  • Viestejä: 4443
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #10 : 22.09.07 - klo:20.32 »

mgronber

  • Käyttäjä
  • Viestejä: 1458
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #11 : 22.09.07 - klo:21.04 »
Ei sulla olisi lähettää jotain ihan simppeliä esimerkkiä tuosta miten säästetään vanhoja versioita?

Tuota kirjoittaessa ei ollut mitään julkaisukelpoista koska skriptini ei olisi käyttäytynyt kauniisti jos sen ajo olisi keskeytetty tai jos siitä olisi ajettu useampi instanssi samaan aikaan. Korjailin tuota tänään ja lainasin netistä riittävän luotettavalta tuntuvan koodin lockfilen tekemiseen ja nyt tuon pitäisi olla melko luotettava.

Nyt jos skriptejä ajetaan useita samaan aikaan niin vain ensimmäisen pitäisi toimia ja seuraavien suorituksen pitäisi keskeytyä virheeseen. Jos skriptin suoritus keskeytyy jostain syystä niin seuraavan ajon yhteydessä tuhotaan keskeneräinen varmuuskopio ennen uuden tekemistä.

En ole tätä versiota kovin tarkkaan testannut ja itseasiassa tein vielä äsken pienen bugikorjauksen testaamatta lopputulosta joten olen maksimoinut todennäköisyyden sille että skripti ei toimi ;)

Skriptin alussa on muutama muuttuja jotka tulee asettaa ennen skriptin käyttämistä.

Muuttujan lockfile muuttaminen on periaatteessa vapaaehtoista mutta jos skriptistä ajaa useita eri versioita eri hakemistojen varmuuskopiointiin niin tällöin jokaiselle versiolla kannattaa vaihtaa yksilöllinen lockfilen nimi.

Varmuuskopioitava hakemisto kerrotaan muuttujalla sourcedir ja sen arvo menee suoraan rsync:lle joten rsyncin säännöt pätevät sen kirjoittamisessa. Oletuksena olen laittanut siihen kotihakemiston ilman loppukauttaviivaa jolloin varmuuskopiohakemistoon tulee ylimmälle tasolle home-hakemisto. Jos hakemiston perässä olisi kauttaviiva niin silloinhan varmuuskopiohakemiston ylimmälle tasolle tulisi home-hakemiston sisältö.

Varmuuskopiot talletetaan muuttujan basedir osoittaman hakemiston alle omiin hakemistoihinsa.

Muuttuja datedir kertoo yksittäisten varmuuskopioiden hakemistojen nimen. Oletuksena on UTC päivämäärä muodossa 2007-09-22. Tällä muuttujalla on huomattava vaikutus varmuuskopioiden tallentamiseen. Skripti tarkistaa aluksi onko varmuuskopiohakemistoa olemassa ja mikäli se on jo olemassa niin skriptin suoritus lopetetaan ilman virhettä. Näin ollen oletusmuodossa skripti tekee vain yhden varmuuskopion vuorokaudessa vaikka se ajettaisiin useaan kertaan.

Jos hakemiston nimeen lisättäisiin myös tunnit niin silloin skripti tekisi joka tunti uuden varmuuskopion jos se ajettaisiin riittävän useasti. Testikäytössä hakemistonimenä kannattaa käyttää muotoa jossa on päivämäärän lisäksi tunnit ja minuutit. Tällöin toimintaa on helppo testata.

Muuttujan datedir tulee olla sellainen että järjestettäessä varmuuskopiohakemistoja nousevaan järjestykseen tulee tuorein varmuuskopio viimeiseksi.

Lainaus
Rsyncissä on noita vipuja niin maan perusteellisesti, että työtöapu olisi poikaa - ittellä kun on nyt vain kylmästi --delete ja joskus on käynyt mielessä, että muutamia sukupolvia voisi kyllä säästää taaksekinpäin.

Laittamistani linkeistä ainakin toisessa oli skripti joka säilytti muistaakseni kolme tai neljä viimeisintä sukupolvea varmuuskopioista. Minun skriptissäni vanhojen varmuuskopioiden poistaminen on jätetty ylläpitäjän vastuulle. Syynä on lähinnä se että minulla ei ole ollut tarvetta vanhojen versioiden siivoamiselle sillä tila on vielä toistaiseksi riittänyt :)

Nykyisen skriptin yhteyteen olisi melko triviaalia lisätä toiminnallisuus joka poistaisi vanhimpia varmuuskopioita kunnes haluttu määrä tilaa on vapaana. En kuitenkaan kovin mielelläni automatisoi tämän tyyppisiä tehtäviä vaan suoritan ne ennemmin käsin kun sille tulee tarvetta.


[ylläpito on poistanut liitteen]

igor_2

  • Käyttäjä
  • Viestejä: 768
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #12 : 22.09.07 - klo:22.32 »
Laittamistani linkeistä ainakin toisessa oli skripti joka säilytti muistaakseni kolme tai neljä viimeisintä sukupolvea varmuuskopioista. Minun skriptissäni vanhojen varmuuskopioiden poistaminen on jätetty ylläpitäjän vastuulle. Syynä on lähinnä se että minulla ei ole ollut tarvetta vanhojen versioiden siivoamiselle sillä tila on vielä toistaiseksi riittänyt :)

Kiitos molemmille. Nuo linkit oli hyviä.

Pitääpä tsekata tuota sun skriptiä. Yleensä pyrin pitämään asiat yksinkertaisina ja backuppikin pyörii vain yhdessä taskissa - eli päälekkäisyysksiä ei tule.

Tuo automaattinen vapaatilan mukaan tapahtuva siivous voi olla kyllä käytännössä aika tarpeetonta hienostelua. Eiköhän se muista aina silloin tällöin käydä siivoamassa käsinkin.

mgronber

  • Käyttäjä
  • Viestejä: 1458
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #13 : 23.09.07 - klo:00.09 »
Pitääpä tsekata tuota sun skriptiä. Yleensä pyrin pitämään asiat yksinkertaisina ja backuppikin pyörii vain yhdessä taskissa - eli päälekkäisyysksiä ei tule.

No monimutkaisin asia tuossa minun skriptissäni on lukitustiedoston käsittely :)

Päällekkäisyyttä pidin mahdollisena tilanteessa jossa käyttäjä päättää itse suorittaa varmuuskopion ajamalla skriptin käsin ja samaan aikaan skripti ajetaan ajastetusti. Tämä tietysti vaatii käyttäjältä huolimattomuutta. Itselläni skripti taidetaan ajaa joskus aamuyöstä ja jos olen siihen aikaan hereillä niin silloin tuollaisiin virheisiin voi jo syyllistyäkin ;)

Laitoin tähän liitteeksi vielä perl-skriptin jolla voi vertailla varmuuskopioituja hakemistoja. En enää muista mistä olen sen löytänyt ja itse olen tehnyt siihen vain pienen korjauksen.

[ylläpito on poistanut liitteen]
« Viimeksi muokattu: 23.09.07 - klo:00.22 kirjoittanut mgronber »

Asmo Koskinen

  • Käyttäjä
  • Viestejä: 4443
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #14 : 24.09.07 - klo:09.04 »
Kiitos molemmille. Nuo linkit oli hyviä.

HowtoForgessa on taas uutta:

http://www.howtoforge.com/disk_based_backups_amanda_debian_etch

Palvelimena Debian Etch, asiakkaana Ubuntu 7.04.

Mutta yleensä HowtoForgen Debian ohjeet voi soveltaa melkein sellaisenaan Ubuntuun.

Ystävällisin terveisin Asmo Koskinen.

igor_2

  • Käyttäjä
  • Viestejä: 768
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #15 : 09.03.08 - klo:09.17 »
Rsync:n avulla on helppo tehdä varmuuskopioita joista jokainen versio on suoraan käytettävissä mutta samaan aikaan ne kuluttavat lähinnä muutoksien viemän tilan. Tilan vähetessä vanhempia varmuuskopioita voidaan poistaa ja uudemmat toimivat tästä huolimatta. Tässä yhdistyvät siis kokonaisten varmuuskopioiden ja inkrementaalisten varmuuskopioiden hyvät puolet.

Nyt olisikin tarve / halu saada käyttöön tuo rsyncin ominaisuus jolla voi säästää eri versioita ilman, että ottaa aina uuden täydellisen kopion. Mihin vipuihin pitäisi mahdollisesti tutustua?

Lyhyt esimerkki?


pelko

  • Käyttäjä
  • Viestejä: 171
    • Profiili
Vs: Varmuuskopiointi
« Vastaus #16 : 26.12.09 - klo:23.00 »
Kuten jo on sanottu niin rsync, vaikka se ei välttämättä vastaakaan vaatimuksiasi täsmällisesti. Todennäköisesti et osaa edes vaatia sellaista varmuuskopiointimallia jonka rsync tarjoaa :)
Miepä osasin vaatia just sellasta mitä rsync tarjoaa, se vastaa tarpeitani täydellisesti. Paitsi, paitsi... Haluaisin kopioida kotikansiosta ainoastaan ja vain ne tiedostot, jotka eivät ole piilotettuna. Kotikansiossahan asuu piilotiedostoina kaikenmoisia mörköjä, kaikkien ohjelmien asetustiedostot tai mitkä ikinä ovatkaan. Enhän minä nyt niitä halua kopioida. Miten saisin rajattua nämä kopioinnin ulkopuolelle?

Muuten olen saanut jo kopioinnin pelaamaan niinkuin haluan, ruksia ruutuun niin homma oikeni muuten paitsi tuon osalta.

Käytössä siis graafinen edustaohjelma Grsync ja Ubuntu 8.04.

Kiitosta.
« Viimeksi muokattu: 27.12.09 - klo:15.43 kirjoittanut pelko »