Tarkistaako Linux kopioinnin ?

[Mistofelees]

Huolestunut asiakkaani heitti kysymyksen siitä, tarkistaako Linux, onko kopiointi tapahtunut oikein.
M$:n copy-komentohan ei suorita alkeellisimpiakaan tarkistuksia kopioinnin onnistumisen suhteen. Edes käyttöjärjestelmän rungossa olevaa CRC-tarkistusta ei käytetä.

Asiakkaan data on geenisekvenssejä, joissa yhdenkin bitin kääntyminen aiheuttaa katastrofin. Lisäksi tiedostot ovat _SUURIA_ isolla G:llä.

Tarkistaako Linux siis kopioinnin tuloksen jotenkin ?
Jollei tarkista, onko mitään optiota, jolla systeemin voisi pakottaa tekemään edes CRC:n ?
RAID ei pelasta mitään, jos kopioinnissa tapahtuu ohjelmallinen hazardi. Virhe on tämän jälkeen molemmissa kopioissa.

[SuperOscar]

Äkkiseltään sanoisin, että ei tarkista. Jos sellaiseen on tarvis, eikö kannattaisi käyttää esim. rsynciä?

[matsukan]

jos pitää ola tarkka niin voisi kehittää scriptin joka lähettää myös tiedoston lisäksi md5 summan kohde koneelle/hakemistolle.  Ja sitten tarkistus kopioinnin perään. Tarkista syntaksi

man md5sum

Linux:ssa md5sum  on oletusasennuksena, wintoossa pitää asentaa erikseen. En tiedä miten nopea md5summan generointi/tarkistus on mutta kun kyseessä tärkeät fileet niin md5sum:man tarkistus on pakollinen toimenpide kesti sen sekunnin taikka kaksi. Mutta joka tapauksessa tätä käytetään ISO tiedoston yhteydessä joten tämä on varmasti optimoitu.

[Ganymedes]

Eivät kai ne yksinkertaiset tavat mitään tarkista, ei sillä että olisi koskaan juolahtanut mieleenkään yrittää tuollaisia kokeilla  

Käytä rsync:iä:

rsync -urv /lahde/data/hakemisto1/  /kohde/data2/hakemisto2/ , tai jotakin, optioita on paljon.

Eihän Windows-puolella tietenkään voi mitään tärkeää tehdä copy-komennolla tai interaktiivisesti. Aina pitää käyttää robocopy:ä, siis jos lopputulosta ei heti pysty varmentamaan. Robocopy:n päälle on toki tehty käyttöliittymiä, mutta tuon exe:n käyttäminen sinänsä riittää (ollut Windowsissa muistaakseni WINS 4.0 SP.jotakin Resource Kitistä lähtien, Windows 7:ssa on jo työasemaversiossa vakionakin).

[Mistofelees]

Äkkiseltään sanoisin, että ei tarkista. Jos sellaiseen on tarvis, eikö kannattaisi käyttää esim. rsynciä?

Milläs tuon rsyncin pistät Gnomen graafisen käyttöliittymän Nautilukseen ?
Nämä minun asiakkaani vierastavat mustalla ruudulla työskentelyä. Heille on samantekevää, vaikka käyttöjärjestelmänä olisi Inferno, Plan9 tai Mefisto, kunhan ohjelmat pyörivät ja analyysi antaa tuloksia. Tiedostot kopioidaan talteen työkoneen levyltä USB-kovalevyille tai erkon NAS-purkeille Nautiluksella, kun kerran on opittu sitä käyttämään. Tällöin kopioinnin olisi syytä toimia luotettavasti. Tämän luotettavuuden olisi hyvä olla osana järjestelmää.

Ihminenhän olettaa, että jos hän siirtää tai kopioi jotain jonnekin, virheitä ei tule tai ainakin niistä ilmoitetaan.
WIndows-puolella on itsellekin tullut useita tapauksia, joissa satojen työtuntien työ on mennyt viemäriin, koska M$:n Copy kusee. Tälläisissä tapauksissa ei edes palautusohjelmista ole apua, koska datan eheyteen ei voida luottaa.

Erityisesti geenisekvensseissä yhdenkin bitin virhe on katastrofaalinen. Tietenkin applikaatiota voisivat sisältää redundanssia, mutta kun primääritiedostojen koot ovat 10-50 GB luokkaa ja työtiedostot samaa luokkaa, alkaa jo käytettävien kovalevyjenkin koko asettaa rajoituksia. Sitä paitsi ohjelmat tulevat valmiina binääreinä ja ovat kalliita.

[mrl586]

Äkkiseltään sanoisin, että ei tarkista. Jos sellaiseen on tarvis, eikö kannattaisi käyttää esim. rsynciä?

Milläs tuon rsyncin pistät Gnomen graafisen käyttöliittymän Nautilukseen ?

Kyllä kai tuollekin komennolle on saatavilla graafinen edustaohjelma?

[vartsu]

Äkkiseltään sanoisin, että ei tarkista. Jos sellaiseen on tarvis, eikö kannattaisi käyttää esim. rsynciä?

Milläs tuon rsyncin pistät Gnomen graafisen käyttöliittymän Nautilukseen ?

Kyllä kai tuollekin komennolle on saatavilla graafinen edustaohjelma?

Onhan sellainen, Grsync https://help.ubuntu.com/community/rsync

Grsync is a GUI frontend for the rsync utility

[Mistofelees]

Äkkiseltään sanoisin, että ei tarkista. Jos sellaiseen on tarvis, eikö kannattaisi käyttää esim. rsynciä?

Milläs tuon rsyncin pistät Gnomen graafisen käyttöliittymän Nautilukseen ?

Kyllä kai tuollekin komennolle on saatavilla graafinen edustaohjelma?

Onhan sellainen, Grsync https://help.ubuntu.com/community/rsync

Grsync is a GUI frontend for the rsync utility

Minusta tämä ei ole vastaus alkuperäiseen kysymykseeni ja toiveeseeni.
En aio opettaa asiakkaitani käyttämään erillisiä ohjelmia tiedostojen siirtoon. Minusta järjestelmässä itsessään pitäisi olla vipu, jolla pakotetaan järjestelmä tarkistamaan talletukset, kun tiedostoja talletetaan sovelluksissa ja siten myös, kun niitä kopioidaan Nautiluksessa.
Tämä on siis enemmänkin kernel-tason juttu, kuin jokin erillinen sovellus, jolla kopiointi saadaan tehtyä jotenkin fiksusti.
Itse käytän rsync:ä varmuuskopiointiscripteissä.

[matsukan]

jos tiedostojen siirtoon käytetään usb kovalevyä tietojen talletusta ulkoisen kovalevylle niin lopuksi pitää myös muistaa kirjoittaa välimuisti ennen kovalevyn irroittamista eli tehdä ns. eject toiminto. tämä tietojen talletuksen kannalta yksi riskialteimista kohdista tietojen siirrossa. Ja tämä ei liity mitenkään tiettyyn käyttöjärjestelmään.  

[SuperOscar]

Minusta tämä ei ole vastaus alkuperäiseen kysymykseeni ja toiveeseeni.
En aio opettaa asiakkaitani käyttämään erillisiä ohjelmia tiedostojen siirtoon. Minusta järjestelmässä itsessään pitäisi olla vipu,

Tämä on aika outo asenne. ”Järjestelmässä” (käyttämäsi jakelu) on rsync, jota voi pitää pyytämänäsi vipuna, mutta sitä et halua opettaa, koska ”järjestelmässä” (Nautilus?) EI ole pyytämääsi vipua.

[petteriIII]

En tiedä tarkistaako Linux kopioimansa ja luultavasti sellaisen asian tietäjiä onkin harvassa. Mutta Linuxissa on kaikkiin hommiin miljoona keinoa; jos sielunrauha niin vaatii niin miksei tarkista erillisellä käskyllä?
Yhteennivottuina käskyt ovat: cp delme2 delme3 && diff delme2 delme3
- delme2:n  paikalle kopioitavan tiedoston nimi.
- delme3:n paikalle kopioidun tiedoston nimi.
- käsky ei saa tulostaa mitään tai jossain on matoja.

[retu]

Jos ext3 tai ext4 on käytössä, mount optio data=journal voisi tarjota sielunrauhaa.

Kannattaa ehkä kokeilla sen vaikutusta ensin jossain testikoneessa. Gigaisten tiedostojen kopiointi ei välttämättä ole tuon asetuksen kanssa hätähousujen hommaa. Jos se sitten tuntuu hyvältä, oletusarvon voi piikata tune2fs ohjelmalla levylle, jolloin ei tarvitse joka mountissa säätää (esmes jos usb-levy).

[Mistofelees]

Jos ext3 tai ext4 on käytössä, mount optio data=journal voisi tarjota sielunrauhaa.

Kannattaa ehkä kokeilla sen vaikutusta ensin jossain testikoneessa. Gigaisten tiedostojen kopiointi ei välttämättä ole tuon asetuksen kanssa hätähousujen hommaa. Jos se sitten tuntuu hyvältä, oletusarvon voi piikata tune2fs ohjelmalla levylle, jolloin ei tarvitse joka mountissa säätää (esmes jos usb-levy).

Kiitos. Tätä pitää tutkia.

[matsukan]

freefilesync

http://freefilesync.sourceforge.net/usage.php