Tiedostojen kopionti uudelle levylle [Ratkaistu]

[jarmala]

Vanha 3TB levy osoittaa vanhenemisen merkkejä. Ostin siksi uuden 4TB levyn koneeseen. Kun kopioin vanhalta tiedostot uudelle, täyttyy juurihakemisto journalista ja levytila juuresta loppuu. Mitä pitäisi tehdä?

Myös 4TB levy näyttää tulleen lähes täyteen, vaikka vanhalla levyllä ei ole tavaraa kuin 1,79 TB. Miten ihmeessä?

Olisiko kellään helppiä tähän?

Koodia: [Valitse]

ari@ari:/mnt/0b7685fd-103e-4b62-9c70-8c8adf53f82d$ sudo cp -a -v ./* /mnt/4t/
ari@ari:/mnt/0b7685fd-103e-4b62-9c70-8c8adf53f82d$ df
Tiedostojärjestelmä  1K-lohkot       Käyt    Vapaana Käy% Liitospiste
/dev/sda1             28704676   28688316          0 100% /
/dev/sdc1           2884153072 1794550240  943073168  66% /mnt/0b7685fd-103e-4b62-9c70-8c8adf53f82d
/dev/sdd            3844641608      90140 3649184156   1% /media/ari/4t

Olenkohan sössinyt nyt jotenkin levyt keskenään. Tarkoitus on kopioida /dev/sdc1 kokonaan /dev/sdd:lle...

Koodia: [Valitse]

$ lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 111,8G  0 disk
├─sda1   8:1    0    28G  0 part /
├─sda2   8:2    0     1K  0 part
└─sda5   8:5    0  83,9G  0 part /home
sdb      8:16   0 447,1G  0 disk
sdc      8:32   0   2,7T  0 disk
└─sdc1   8:33   0   2,7T  0 part /mnt/0b7685fd-103e-4b62-9c70-8c8adf53f82d
sdd      8:48   0   3,7T  0 disk /media/ari/4t

Ja sitten taas /dev/sdd:tä ei näy edes...

Koodia: [Valitse]

$ blkid
/dev/sda1: UUID="f0e6ce1c-f61c-4d10-9c62-4d4afa9a1b3f" TYPE="ext4" PARTUUID="e3f66b92-01"
/dev/sda5: UUID="39c2b1c4-bc47-4aeb-89de-3502fd527d21" TYPE="ext4" PARTUUID="e3f66b92-05"
/dev/sdb: LABEL="480GB" UUID="a6baa0cf-2808-46f9-8be3-445f2a5f528e" TYPE="ext4"
/dev/sdc1: UUID="0b7685fd-103e-4b62-9c70-8c8adf53f82d" TYPE="ext4" PARTUUID="448d72e1-413c-40b1-9b78-73d0fd802616"

Edit: muutettu otsikko kuvaavammaksi

[jarmala]

Hip! Kekkasinkin jo: se pitääkin kopioida /media/ari/4t:lle... Se /dev/sdd onkin montattu levyt-ohjelman toimesta tuonne /media:n alle. Putsasin sen /mnt/4t:n, niin tilaa tuli taas juuriosiolle. Näitä kun tekee niin harvoin, että aivonyrjähdyksiä tulee...

[jarmala]

Jahas, aika hidasta: tunti kopioitu ja tavaraa mennyt 6110 MB eli jotain vaivaiset 1,7 MB/s. Eh?

Onko syynä se, että kopioidaan yhdeltä levyltä toiselle levylle? Vai olisiko lähdelevy jo niin finaalissa, että lukuvirheiden takia se on hidas? Kas, halusin panna sen vaihtoon, koska videoita katsellessa tulee aika usein sellaisia muutaman sekunnin pituisia pysähdyksiä, joiden jälkeen toisto jatkuu tai sitten ei...
 

[jarmala]

Jahas, aika hidasta: tunti kopioitu ja tavaraa mennyt 6110 MB eli jotain vaivaiset 1,7 MB/s. Eh?

Koodia: [Valitse]

ari@ari:/media/ari/4t$ du -s ; date
du: hakemistoa './lost+found' ei voi lukea: Lupa evätty
8363540 .
ti 3.8.2021 09.29.32 +0300
ari@ari:/media/ari/4t$ du -s ; date
du: hakemistoa './lost+found' ei voi lukea: Lupa evätty
10625732 .
ti 3.8.2021 09.41.56 +0300
ari@ari:/media/ari/4t$ du -s | grep -v lost ; date
du: hakemistoa './lost+found' ei voi lukea: Lupa evätty
11353760 .
ti 3.8.2021 09.43.36 +0300
ari@ari:/media/ari/4t$ du -s 2>&1 | grep -v lost ; date
12632228 .
ti 3.8.2021 09.47.53 +0300
ari@ari:/media/ari/4t$ du -s 2>/dev/null ; date
13563836 .
ti 3.8.2021 09.53.28 +0300

Odottavan aika on pitkä... Olisiko rsync nopeampi?

[Tomin]

Näyttää myös siltä, että teit tiedostojärjestelmän suoraan tuohon levylle (sdd) ilman osiotaulua (jolloin ensimmäinen osio olisi sdd1). En tiedä voiko siitä olla haittaa, jos levyllä on tarkoitus olla muutenkin vain yksi osio. Tapana kuitenkin on tehdä aina osiotaulu, vaikka osioita tulisikin vain yksi. Hitauden syy se tuskin on.

Jos tuo videoiden pysähtely johtuu levystä, niin se voi hyvinkin olla syynä myös kopioinnin hitauteen. Toisaalta kolmen teran kopioinnissa kestää muutenkin hyvän aikaa, eikä ohjelman vaihto sitä yleensä merkittävästi nopeuta.

[jarmala]

Odottavan aika on pitkä... Olisiko rsync nopeampi?

30 tunnin jälkeen petti hermo: cp -a oli saanut kopioitua n. 550 GB tavaraa eli alle 20 GB tunnissa eli siirtonopeus oli n. 5 MB/s... Fileitä on yhteensä n. 1,8 TB eli sitä vauhtia kopiointi vanhalta levyltä uudelle olisi kestänyt luokkaa 90 tuntia eli melkein neljä vuorokautta. Puuh...

Nyt päätin vetää tavarat USB-varakopiolevyltä uudelle 4 teran levylle. Hip! Ja kopiointivauhti rsyncillä näyttää olevan mukavat 250 GB tunnissa eli 13 kertaa nopeampi kuin cp:llä. Eli homma valmistuu jo tänään!

Ja sitten sen jälkeen edellisen varakopioinnin jälkeen muuttuneet tiedostot edelleen rsyncillä vanhalta levyltä uudelle levylle. Jotta eiköhän se tästä rupea edistymään.

Edelleen kummastuttaa cp:n hitaus kopioidessaan vanhalta levyltä uudelle. Ehkäpä se vanha levy on jo niin sökö, että cp on hidas...

[jarmala]

Nyt päätin vetää tavarat USB-varakopiolevyltä uudelle 4 teran levylle. Hip! Ja kopiointivauhti rsyncillä näyttää olevan

No, nyt se jo valmstui. Kopiointivauhti on

Koodia: [Valitse]

Number of files: 814,897 (reg: 789,297, dir: 20,450, link: 5,142, special: 8)
Number of created files: 795,212 (reg: 771,049, dir: 19,017, link: 5,138, special: 8)
Number of deleted files: 0
Number of regular files transferred: 773,596
Total file size: 2,092,490,130,889 bytes
Total transferred file size: 1,545,864,012,539 bytes
Literal data: 1,545,864,012,539 bytes
Matched data: 0 bytes
File list size: 35,842,111
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 1,546,302,855,524
Total bytes received: 15,955,621

sent 1,546,302,855,524 bytes  received 15,955,621 bytes  139,239,008.70 bytes/sec
total size is 2,092,490,130,889  speedup is 1.35

Eli näytti olevan 28 kertaa nopeampaa kuin cp:llä suoraan vanhalta uudelle levylle. Kiva! Palautus varakopiolevyltä uudelle levylle kesti 3h 5min. Tätä sanoisin jo järkeväksi vauhdiksi-

[jarmala]

No niin. Uusi levy käytössä ja vanhan datat kopioitu sinne. Eikä tarvinnut odottaa cp:n valmistumista lauantaihin asti...

Eli taisinkin ratkaista tämän ihan itse. Kiitänkin itseäni siitä ja taidan palkita tekijän yhdellä IPA:lla.

[Samanta]

@jarmala Täman keskustelun innoittamana yritin rsync - kopiointia tiedostoille

- koneen levyltä a koneen levylle b sekä
- koneen levyltä a ulkoiselle levylle c.

Mutta en osannut laatia komentoani oikein ja kopiointi ei onnistunut.
Voisitko kirjoittaa käyttämäsi komennon, jolla onnistuit ko kopioinnissa ?
Kiitos etukäteen !
 

[nm]

Voisitko kirjoittaa käyttämäsi komennon, jolla onnistuit ko kopioinnissa ?

Löytyy täältä rinnakkaisesta aiheesta: https://forum.ubuntu-fi.org/index.php?topic=56615.msg432297#msg432297

[Samanta]

@ nm Kiitos ohjeesta! Nyt kopiointi rsync-komennolla onnistui oikein.


Lisäys 6.9.2021: Löysin tällaisesta jutusta mielestäni oivan lisäohjeen, jolla on helppo tehdä olemassa olevien varmuuskopioiden inkrementaalisia päivityksiä lisäämällä lähdekansion loppuun / - merkin, tässä DRY RUN esimerkissä se on lihavoituna: rsync -aunv /run/media/user/500Gt/'A. Työt'/ /run/media/user/2000Gt/rsync/'A. Työt' -> listaa vain päivitettävät kansiot ja niiden päivitettävät tiedostot.   

Jutun linkki: https://linuxize.com/post/how-to-use-rsync-for-local-and-remote-data-transfer-and-synchronization/