Kirjoittaja Aihe: Levykopioinnin hitaus  (Luettu 337 kertaa)

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Levykopioinnin hitaus
« : 18.08.25 - klo:13.22 »
Tällainen ongelma: Varakopionin läppäriltä n. 20G dataa, joka Linuxin omalla kryptauksella suojattua. Kopiointi toimii aluksi ok (500M-1G) mutta sitten hidastuu merkittävästi. Kopiointi 1G paloissa tuntuu toimivan paremmin. Source-levy on SSD ja mikään prosessi ei kuluttanut juurikaan laskentatehoa. Target on ulkoinen, uudehko 1T kovo, jossa ei ole kryptausta.

Mistä moinen voisi johtua? Onko sen kryptauksen aiheuttamaa?
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16702
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #1 : 18.08.25 - klo:13.31 »
Millä USB-standardin versiolla ulkoinen levy kytkeytyy koneeseen? Vanha USB 2.0 siirtää käytännössä vain n. 30 megatavua sekunnissa, eli 1 Gt siirtyy puolessa minuutissa.

En usko, että salaus hidastaisi siirtoa näin paljon. Se tuntuisi kaikessa järjestelmän ja sovellusten käytössä.

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #2 : 18.08.25 - klo:13.51 »
Millä USB-standardin versiolla ulkoinen levy kytkeytyy koneeseen? Vanha USB 2.0 siirtää käytännössä vain n. 30 megatavua sekunnissa, eli 1 Gt siirtyy puolessa minuutissa.

Luulisin, että usb 3.0. Ainakin kernel sitä tulee ja spekseistä löytyy (Lenovo X240)

Ja tuo alku menee aika vauhdikkaasti, mutta sitten hyytyy noin 0,5-1 G kohdalla.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #3 : 18.08.25 - klo:13.53 »
Voisiko se vaikuttaa, että nyt kopiotu data ei ole aktiivisessa käytössä? Eli maannut levyllä kauan koskemattomana.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #4 : 18.08.25 - klo:14.07 »
Kopionti meni siis suunnilleen niin,  että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

pkill

  • Käyttäjä
  • Viestejä: 305
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #5 : 18.08.25 - klo:14.23 »
Ulkoisten kovojen ohjaimet ei ole useinkaan kovin nopeita. Jos kopioitava materiaali sisältää paljon pieniä tiedostoja, niin olen huomannut, että kopiointi hidastuu merkittävästi.

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #6 : 18.08.25 - klo:14.31 »
Ulkoisten kovojen ohjaimet ei ole useinkaan kovin nopeita. Jos kopioitava materiaali sisältää paljon pieniä tiedostoja, niin olen huomannut, että kopiointi hidastuu merkittävästi.

Hyytyi valokuvien kohdalla, jotka luokaa 1-5M
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 5960
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #7 : 18.08.25 - klo:15.07 »
Nämä tuoreimmat SMR (shingled magnetic recording) USB-kiintolevyt on todella hitaita sen jälkeen kun välimuisti täyttyy (128-512Mt) ja valitettavasti käytännössä kaikki 2,5" USB-asemat on nykyään niitä.Jos mahdollista, niin kannattaa pysyä perinteisissä asemissa CMR (Conventional magnetic recording) ja näissä välimuisti yleensä reilusti alle 128Mt.

Karrikoidusti voi sanoa, että nämä uudet SMR-asemat tekee tavallaan jatkuvaa defragmentointia kun tiedostoja kopioidaan.

Tuossa viestiketju omiin kokemuksiin kryptatusta ulkoisesta 2,5" USB-asemasta
https://forum.ubuntu-fi.org/index.php?topic=59323.msg451145#msg451145
"Sain kopion tehtyä Veracrypt kontaineriin viimein. 2,7 teraa ja kirjoitusaika n.38h ja tuokin vielä hiukan optimistinen"

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #8 : 18.08.25 - klo:16.21 »
Tuossa viestiketju omiin kokemuksiin kryptatusta ulkoisesta 2,5" USB-asemasta

Tässä niin päin että:
SSD (kryptattu osio) -> purku -> siirto Usb 3.0(?) -> tallennus HDD (ei kryptausta, 1T Seagate)
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16702
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #9 : 18.08.25 - klo:17.47 »
Kopionti meni siis suunnilleen niin,  että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.

Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #10 : 18.08.25 - klo:18.10 »
Kopionti meni siis suunnilleen niin,  että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.

Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?

Joo, mulla on kaksi läppäriä. Tuo ulkoinen levy on melko uusi ja tuntuu toimivan ihan normaalisti tässä Fujitsun koneessa, mutta sitten tuo hitaus tuli esille tuossa Lenovon koneessa ja siinäkin vasta isolla datamäärällä. Molemmissa samanlainen setup, eli Xubuntu 22.04 ja osa tiedostoista kryptattuna. Tässä tosin HDD ja Lenovossa SDD.

Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.





Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 5960
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #11 : 18.08.25 - klo:18.19 »
Kopionti meni siis suunnilleen niin,  että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.

Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Kyllä ne noin hitaaksi menee omien kokemusten perusteella, kun välimuisti poltettu loppuun ja aletaan kopioimaan todella pieniä tiedostoja. Kevyessä käytössä joku ehkä 60mt/s ja sitten kuvien yms. kopioinnissa kyykkää helposti 20mt/s paikkeille.

Tuolla on aika hyvä testi ja tuolla 12min kohdilla on aika shokeeraavat käppyrät ja nuo vielä pöytäkonekoossa. Läppäriasemat vielä huonompia.
https://www.youtube.com/watch?v=hAijmZsTd2A

Nämä on vähän sellaisia parikymmentä vuotta takkiin teknisesti hinnan takia
« Viimeksi muokattu: 18.08.25 - klo:18.24 kirjoittanut qwertyy »

nm

  • Käyttäjä
  • Viestejä: 16702
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #12 : 18.08.25 - klo:18.29 »
Kopionti meni siis suunnilleen niin,  että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.

Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Kyllä ne noin hitaaksi menee omien kokemusten perusteella, kun välimuisti poltettu loppuun ja aletaan kopioimaan todella pieniä tiedostoja. Kevyessä käytössä joku ehkä 60mt/s ja sitten kuvien yms. kopioinnissa kyykkää helposti 20mt/s paikkeille.

Joo mutta Snufkinin kertoman mukaan siirtonopeus on ollut luokkaa 1 Mt/s, ja kyseessä kuitenkin melko isot megatavukoon tiedostot. En oikein usko, että johtuu pelkästään levystä, ellei siinä ole jotain vikaa.

nm

  • Käyttäjä
  • Viestejä: 16702
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #13 : 18.08.25 - klo:18.32 »
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.

Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #14 : 18.08.25 - klo:18.39 »
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.

Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.

Voisiko se vaikuttaa, että kyseinen data on eräänlainen tietoarkisto, jota ei käytetä kovin paljoa tai kovin usein? Hakuja sinne ehkä muutaman kuukauden välein tai max muutama viikossa.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 5960
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #15 : 18.08.25 - klo:18.45 »
Joo mutta Snufkinin kertoman mukaan siirtonopeus on ollut luokkaa 1 Mt/s, ja kyseessä kuitenkin melko isot megatavukoon tiedostot. En oikein usko, että johtuu pelkästään levystä, ellei siinä ole jotain vikaa.
No juu. Tuo itse asiassa kyllä kuulostaa liian hitaalta. Omassa isossa terojen kopioinnissa keskiarvona noin 70mt/s, vaikka se on varmaankin jonkin verran kyllä yläkanttiin, koska kirjoitus keskeytyi pari kertaa ja levy on silloinkin "elvyttänyt" itseään.

qwertyy

  • Käyttäjä
  • Viestejä: 5960
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #16 : 18.08.25 - klo:18.48 »
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.

Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.

Voisiko se vaikuttaa, että kyseinen data on eräänlainen tietoarkisto, jota ei käytetä kovin paljoa tai kovin usein? Hakuja sinne ehkä muutaman kuukauden välein tai max muutama viikossa.
En minä ainakaan Veracryptillä ja edes ulkoisella asemalla huomaa käytännössä mitään eroa normaaliin paikalliseen tiedostojen käyttöön X250:llä, joka on varmaan suorituskyvyltään hyvin lähellä sinun tapausta. En ainakaan tiedä, että tuossa välissä olisi CPU:n tullut mitään kryptauksiin merkittävästi vaikuttavaa tukea.

En kyllä varsinaisesti ole mitään benchmarkkia koskaan kokeillutkaan sisäisille asemille. Eli en usko lainkaan tuohon.

pkill

  • Käyttäjä
  • Viestejä: 305
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #17 : 18.08.25 - klo:19.26 »
Voi myös johtua ulkoisen tallentimen ylikuumenemisesta, mikä hidastaa vauhtia. Jos on hyvin koteloitu, eikä pääse jäähtymään, niin voi hyvinkin johtua tuosta. Alumiinikuorinen USB tikkukin saattaa joskus kuumentua niin, että sormia polttaa.

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #18 : 18.08.25 - klo:20.49 »
Voi myös johtua ulkoisen tallentimen ylikuumenemisesta, mikä hidastaa vauhtia. Jos on hyvin koteloitu, eikä pääse jäähtymään, niin voi hyvinkin johtua tuosta. Alumiinikuorinen USB tikkukin saattaa joskus kuumentua niin, että sormia polttaa.

Tällainen edullinen peruskovo

Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 5960
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #19 : 18.08.25 - klo:21.12 »
Aloin tuossa miettimään sellaista, että voisiko kyseessä olla ihan jonkinlainen bugi, että garbage collection on jotenkin liiallista. Toinen artikkeli oli jostain SMR ongelmista, jossa käyttäjä oli joutunut poistamaan välimuistin kokonaan asemien käytöstä ja tuolloin kirjoitusnopeus oli tipajtanut alle 8mb/s.

Tuossa nimittäin oirekuva tukisi aika hyvin jotain tuollaista jos asema tosiaan toimii parhaiten hetken aikaa ja jos kirjoitusmäärä rajataan johonkin. Voisi olla, että levy vain kerkeää palautua tuossa hetkellisesti.

Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?

Tuossa aiemmin linkatussa videossa oli siinäkin mainittu, että Toshiban asemilla oli joutunut odottamaan yli 8h gc suoriutumista, että oli saanut luotettavia/vertailtavia testituloksia. Toki edelleen tuossakin testivideossa oli saatu asema kyykäämään noin 2,5Mt/s nopeuteen kun oli kirjoitettu putkeen 20% levytilavuudesta ja asema oli alkanut lukeen/kirjoittaan välimuistiin cg:n takia. Kuten videollakin mainitaan, niin yli 20% tilavuuden kirjoitus on harvinainen tapahtuma. Mutta näinhän se oli omassa pitkässäkin kopioinnissa. Se oli katkennut pariin kertaan verkkovirheen takia, varmaankin useammaksi tunniksi parhaillaan ja levy vaikutti olevan aktiivinen silti koko ajan, vaikka kopiointi oli keskeytynnyt.

Tuo asema on varmaankin hyvin lähellä samaa kuin omani, joka on 4teran versio. Samannäköinen Seagate.