TrueCrypt SSHFS:n yli ja rsync [Ratkaistu]

[fiuner]

Kirjoitin viestin aiemmin jo toiselle foorumille, mutta täällä ehkä on enemmän asiantuntevaa porukkaa:

Ensin mounttaan käyttäjän kotihakemiston palvelimelta omalle koneelle SSHFS:llä. Tuosta mountatusta kotihakemistosta taas mounttaan TrueCryptillä imagen. Sitten kopioin rsyncillä tavaraa talteen, mutta homma meneekin mielenkiintoiseksi.

Rsync menee melko nopeasti loppuun, mutta tavara ei vielä ole siirtynyt, vaan verkkoliikennettä näkyy tuon jälkeen pitkään, eikä asemaa voi unmountata. Jonkinlainen cache siis on käytössä. Eihän tuossa muuten suurempaa ongelmaa olisi, mutta kun rsyncin tehtävä on nimenomaan varmistaa, että data menee ehjänä perille, niin voiko se noin toimia? Eihän rsyncillä ole mitään mahdollisuutta varmistaa, meneekö myöhemmin siirrettävä data oikein perille. Mistä rsync lukee tiedostojen tarkistussummat?

Jos mounttaan kotihakemiston käyttäen "-o direct_io", siirtyvät kopioitavat tiedostot reaaliaikaisesti, eikä minkään cachen kautta, mutta TrueCrypt-imagea ei voi enää mountata. TrueCrypt sanoo "Failed to set up a loop device".

Omalla koneella Ubuntu 9.04 ja palvelimella CentOS.

[mgronber]

Kirjoitin viestin aiemmin jo toiselle foorumille, mutta täällä ehkä on enemmän asiantuntevaa porukkaa:

Ensin mounttaan käyttäjän kotihakemiston palvelimelta omalle koneelle SSHFS:llä. Tuosta mountatusta kotihakemistosta taas mounttaan TrueCryptillä imagen. Sitten kopioin rsyncillä tavaraa talteen, mutta homma meneekin mielenkiintoiseksi.

Piirretään aluksi kuva vuorovaikutuksista (vaikka sille ei varsinaista tarvetta olekaan).

Koodia: [Valitse]

rsync <-> TrueCrypt <-> sshfs <-> levykuva@palvelin


Rsync menee melko nopeasti loppuun, mutta tavara ei vielä ole siirtynyt, vaan verkkoliikennettä näkyy tuon jälkeen pitkään, eikä asemaa voi unmountata. Jonkinlainen cache siis on käytössä.

Eiköhän tuo johdu sshfs:n cachesta.

Voisit kokeilla auttavatko sshfs:n optiot sshfs_sync ja no_readahead. Ensimmäinen optio muuttaa kirjoitusoperaatiot synkronisiksi ja jälkimmäinen tekee saman lukuoperaatioille. Lisäksi cachen voi poistaa käytöstä asettamalla option cache=no. Epäilisin että kaikki kolme ovat tarpeen jos haluat että rsync toimii oikein.

Kerro sitten kokeiltuasi oliko noista mitään apua.


Lähde: man sshfs

[fiuner]

Voisit kokeilla auttavatko sshfs:n optiot sshfs_sync ja no_readahead. Ensimmäinen optio muuttaa kirjoitusoperaatiot synkronisiksi ja jälkimmäinen tekee saman lukuoperaatioille. Lisäksi cachen voi poistaa käytöstä asettamalla option cache=no. Epäilisin että kaikki kolme ovat tarpeen jos haluat että rsync toimii oikein.

Kerro sitten kokeiltuasi oliko noista mitään apua.


Lähde: man sshfs

Kiitos vastauksesta.

Kokeilin nyt sshfs:ää noilla kolmella, mutta edelleen rsync käyttäytyy samalla tavalla truecryptimagelle kopioitaessa. Ainoastaan käyttämällä kertomaani "-o direct_io", saan kopioinnit oikeasti menemään ilman cachea, mutta silloin truecryptimagea ei voi mountata.

Voisiko tässä olla kyseessä joku muu cache, koska sellainen näkyy olevan, vaikka cache=no on käytössä?

Tuo cache ei minua haittaisi, jos vain saisin tarkempaa tietoa, miten cachen tyhjennyksessä varmistetaan datan siirtyminen perille ehjänä. Ja vaikka joku tiedosto siirtyisikin rikkinäisenä, korjaantuisi se seuraavan rsync-ajon yhteydessä.

Edit: Toimii se sittenkin oikein noilla komennoilla. Pienillä tiedostomäärillä kokeiltaessa siirron jälkeenkin siirtyi hetken dataa, mutta isoja määriä siirrettäessä rsync ei mennytkään enää nopeasti loppuun ja siirron jälkeen dataa siirtyi vain hetken.