Ubuntu Suomen keskustelualueet
Ubuntun käyttö => Ubuntu tietokoneissa => Aiheen aloitti: Snufkin - 18.08.25 - klo:13.22
-
Tällainen ongelma: Varakopionin läppäriltä n. 20G dataa, joka Linuxin omalla kryptauksella suojattua. Kopiointi toimii aluksi ok (500M-1G) mutta sitten hidastuu merkittävästi. Kopiointi 1G paloissa tuntuu toimivan paremmin. Source-levy on SSD ja mikään prosessi ei kuluttanut juurikaan laskentatehoa. Target on ulkoinen, uudehko 1T kovo, jossa ei ole kryptausta.
Mistä moinen voisi johtua? Onko sen kryptauksen aiheuttamaa?
-
Millä USB-standardin versiolla ulkoinen levy kytkeytyy koneeseen? Vanha USB 2.0 siirtää käytännössä vain n. 30 megatavua sekunnissa, eli 1 Gt siirtyy puolessa minuutissa.
En usko, että salaus hidastaisi siirtoa näin paljon. Se tuntuisi kaikessa järjestelmän ja sovellusten käytössä.
-
Millä USB-standardin versiolla ulkoinen levy kytkeytyy koneeseen? Vanha USB 2.0 siirtää käytännössä vain n. 30 megatavua sekunnissa, eli 1 Gt siirtyy puolessa minuutissa.
Luulisin, että usb 3.0. Ainakin kernel sitä tulee ja spekseistä löytyy (Lenovo X240)
Ja tuo alku menee aika vauhdikkaasti, mutta sitten hyytyy noin 0,5-1 G kohdalla.
-
Voisiko se vaikuttaa, että nyt kopiotu data ei ole aktiivisessa käytössä? Eli maannut levyllä kauan koskemattomana.
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
-
Ulkoisten kovojen ohjaimet ei ole useinkaan kovin nopeita. Jos kopioitava materiaali sisältää paljon pieniä tiedostoja, niin olen huomannut, että kopiointi hidastuu merkittävästi.
-
Ulkoisten kovojen ohjaimet ei ole useinkaan kovin nopeita. Jos kopioitava materiaali sisältää paljon pieniä tiedostoja, niin olen huomannut, että kopiointi hidastuu merkittävästi.
Hyytyi valokuvien kohdalla, jotka luokaa 1-5M
-
Nämä tuoreimmat SMR (shingled magnetic recording) USB-kiintolevyt on todella hitaita sen jälkeen kun välimuisti täyttyy (128-512Mt) ja valitettavasti käytännössä kaikki 2,5" USB-asemat on nykyään niitä.Jos mahdollista, niin kannattaa pysyä perinteisissä asemissa CMR (Conventional magnetic recording) ja näissä välimuisti yleensä reilusti alle 128Mt.
Karrikoidusti voi sanoa, että nämä uudet SMR-asemat tekee tavallaan jatkuvaa defragmentointia kun tiedostoja kopioidaan.
Tuossa viestiketju omiin kokemuksiin kryptatusta ulkoisesta 2,5" USB-asemasta
https://forum.ubuntu-fi.org/index.php?topic=59323.msg451145#msg451145
"Sain kopion tehtyä Veracrypt kontaineriin viimein. 2,7 teraa ja kirjoitusaika n.38h ja tuokin vielä hiukan optimistinen"
-
Tuossa viestiketju omiin kokemuksiin kryptatusta ulkoisesta 2,5" USB-asemasta
Tässä niin päin että:
SSD (kryptattu osio) -> purku -> siirto Usb 3.0(?) -> tallennus HDD (ei kryptausta, 1T Seagate)
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Joo, mulla on kaksi läppäriä. Tuo ulkoinen levy on melko uusi ja tuntuu toimivan ihan normaalisti tässä Fujitsun koneessa, mutta sitten tuo hitaus tuli esille tuossa Lenovon koneessa ja siinäkin vasta isolla datamäärällä. Molemmissa samanlainen setup, eli Xubuntu 22.04 ja osa tiedostoista kryptattuna. Tässä tosin HDD ja Lenovossa SDD.
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Kyllä ne noin hitaaksi menee omien kokemusten perusteella, kun välimuisti poltettu loppuun ja aletaan kopioimaan todella pieniä tiedostoja. Kevyessä käytössä joku ehkä 60mt/s ja sitten kuvien yms. kopioinnissa kyykkää helposti 20mt/s paikkeille.
Tuolla on aika hyvä testi ja tuolla 12min kohdilla on aika shokeeraavat käppyrät ja nuo vielä pöytäkonekoossa. Läppäriasemat vielä huonompia.
https://www.youtube.com/watch?v=hAijmZsTd2A
Nämä on vähän sellaisia parikymmentä vuotta takkiin teknisesti hinnan takia
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Kyllä ne noin hitaaksi menee omien kokemusten perusteella, kun välimuisti poltettu loppuun ja aletaan kopioimaan todella pieniä tiedostoja. Kevyessä käytössä joku ehkä 60mt/s ja sitten kuvien yms. kopioinnissa kyykkää helposti 20mt/s paikkeille.
Joo mutta Snufkinin kertoman mukaan siirtonopeus on ollut luokkaa 1 Mt/s, ja kyseessä kuitenkin melko isot megatavukoon tiedostot. En oikein usko, että johtuu pelkästään levystä, ellei siinä ole jotain vikaa.
-
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.
-
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.
Voisiko se vaikuttaa, että kyseinen data on eräänlainen tietoarkisto, jota ei käytetä kovin paljoa tai kovin usein? Hakuja sinne ehkä muutaman kuukauden välein tai max muutama viikossa.
-
Joo mutta Snufkinin kertoman mukaan siirtonopeus on ollut luokkaa 1 Mt/s, ja kyseessä kuitenkin melko isot megatavukoon tiedostot. En oikein usko, että johtuu pelkästään levystä, ellei siinä ole jotain vikaa.
No juu. Tuo itse asiassa kyllä kuulostaa liian hitaalta. Omassa isossa terojen kopioinnissa keskiarvona noin 70mt/s, vaikka se on varmaankin jonkin verran kyllä yläkanttiin, koska kirjoitus keskeytyi pari kertaa ja levy on silloinkin "elvyttänyt" itseään.
-
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.
Voisiko se vaikuttaa, että kyseinen data on eräänlainen tietoarkisto, jota ei käytetä kovin paljoa tai kovin usein? Hakuja sinne ehkä muutaman kuukauden välein tai max muutama viikossa.
En minä ainakaan Veracryptillä ja edes ulkoisella asemalla huomaa käytännössä mitään eroa normaaliin paikalliseen tiedostojen käyttöön X250:llä, joka on varmaan suorituskyvyltään hyvin lähellä sinun tapausta. En ainakaan tiedä, että tuossa välissä olisi CPU:n tullut mitään kryptauksiin merkittävästi vaikuttavaa tukea.
En kyllä varsinaisesti ole mitään benchmarkkia koskaan kokeillutkaan sisäisille asemille. Eli en usko lainkaan tuohon.
-
Voi myös johtua ulkoisen tallentimen ylikuumenemisesta, mikä hidastaa vauhtia. Jos on hyvin koteloitu, eikä pääse jäähtymään, niin voi hyvinkin johtua tuosta. Alumiinikuorinen USB tikkukin saattaa joskus kuumentua niin, että sormia polttaa.
-
Voi myös johtua ulkoisen tallentimen ylikuumenemisesta, mikä hidastaa vauhtia. Jos on hyvin koteloitu, eikä pääse jäähtymään, niin voi hyvinkin johtua tuosta. Alumiinikuorinen USB tikkukin saattaa joskus kuumentua niin, että sormia polttaa.
Tällainen edullinen peruskovo
(https://cf-images.dustin.eu/cdn-cgi/image/fit=contain,format=auto,quality=75,width=828,fit=contain/image/d200001001532966/seagate-basic-portable-5tb-external-hdd-hopea.jpg)
-
Aloin tuossa miettimään sellaista, että voisiko kyseessä olla ihan jonkinlainen bugi, että garbage collection on jotenkin liiallista. Toinen artikkeli oli jostain SMR ongelmista, jossa käyttäjä oli joutunut poistamaan välimuistin kokonaan asemien käytöstä ja tuolloin kirjoitusnopeus oli tipajtanut alle 8mb/s.
Tuossa nimittäin oirekuva tukisi aika hyvin jotain tuollaista jos asema tosiaan toimii parhaiten hetken aikaa ja jos kirjoitusmäärä rajataan johonkin. Voisi olla, että levy vain kerkeää palautua tuossa hetkellisesti.
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
Tuossa aiemmin linkatussa videossa oli siinäkin mainittu, että Toshiban asemilla oli joutunut odottamaan yli 8h gc suoriutumista, että oli saanut luotettavia/vertailtavia testituloksia. Toki edelleen tuossakin testivideossa oli saatu asema kyykäämään noin 2,5Mt/s nopeuteen kun oli kirjoitettu putkeen 20% levytilavuudesta ja asema oli alkanut lukeen/kirjoittaan välimuistiin cg:n takia. Kuten videollakin mainitaan, niin yli 20% tilavuuden kirjoitus on harvinainen tapahtuma. Mutta näinhän se oli omassa pitkässäkin kopioinnissa. Se oli katkennut pariin kertaan verkkovirheen takia, varmaankin useammaksi tunniksi parhaillaan ja levy vaikutti olevan aktiivinen silti koko ajan, vaikka kopiointi oli keskeytynnyt.
Tuo asema on varmaankin hyvin lähellä samaa kuin omani, joka on 4teran versio. Samannäköinen Seagate.
-
Be aware though, if you want to encrypt them, that it takes a very long time on smr drives.
I once encrypted an 8 TB seagate smr drive with luks.
It took 14 days nonstop.
A 8 TB cmr drive takes ~ 26 hours.
14 päivää on aika pitkä aika 8 teran aseman kryptaukseen ja ei siinäkään enää nopeus päätä huimaa. Toki olisi kait tuokin vielä luokkaa 7mt/s.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Jotenkin sellainen kutina, että kannattaa ehkä jossain vaiheessa antaa olla aseman liitettynä vain "joutokäynnillä" kun tekee jotain. Se voi olla, että se vain kaipaa muutaman tunning GC-sessiota. Onko asemasta tuo yli 20% tilavuudesta nykyään käytettynä? Jos on, niin varsinkin siinä tapauksessa.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Jotenkin sellainen kutina, että kannattaa ehkä jossain vaiheessa antaa olla aseman liitettynä vain "joutokäynnillä" kun tekee jotain. Se voi olla, että se vain kaipaa muutaman tunning GC-sessiota. Onko asemasta tuo yli 20% tilavuudesta nykyään käytettynä? Jos on, niin varsinkin siinä tapauksessa.
Saattaa olla tuota luokkaa, että 20% käytössä. En nyt muista ulkoa, enkä ole nyt ko. kovon ääressä. Pitääpä kokeilla pitää sitä enemmän koneessa kiinni.
Mulla on tällainen hieman diy-varakopionti, että läppärien kovot -> ulkoinen kovo A -> ulkoinen kovo B, joka sitten pääsin eri paikassa. Eli jos talo palaa, niin aina jää sitten jotain talteen. :)
Hankalaa, kun pitää varautua teknisiin ongelmiin, varkauteen ja tulipaloon. Pilviinkään en oikein luota.
-
Mulla on tällainen hieman diy-varakopionti, että läppärien kovot -> ulkoinen kovo A -> ulkoinen kovo B, joka sitten pääsin eri paikassa. Eli jos talo palaa, niin aina jää sitten jotain talteen. :)
Hankalaa, kun pitää varautua teknisiin ongelmiin, varkauteen ja tulipaloon. Pilviinkään en oikein luota.
Jeps. Itsellä on 24/7 päällä oleva pieni 1L Proxmox serveri, jossa on sitten myös tiedostopalvelin. Tuon tiedostot on nyt sitten tarkoitus puolen vuoden välein synkronoida vastaavalle kryptatulle Seagate USB asemalle, joka on töissä pukukaapissa jemiksessä.
Proxmox palvelin on kyllä varmuuskopioitu PSB-palvelimelle, mutta se ei taas paljoa hyödytä kun kyseinen kone on käytännössä samassa tilassa. Pitäisi kyllä tehdä palvelimen varmuuskopioista myös joku vastaava USB-varmuuskopio. On sen konfaamiseen kuitenkin sen verran aikaa mennyt. No onpa ainakin ne tärkeimmät kuitenkin nyt muualla jemiksessä. Serverin nyt saa aina tehtyä uudelleen. Toki nyt kun tuli puheeksi, niin pitääkin tässä välissä ottaa heti paikalliset Trilium muistiinpanot talteen. Niitä en kyllä halua hukata.