Ubuntu Suomen keskustelualueet
Ubuntun käyttö => Ubuntu tietokoneissa => Aiheen aloitti: Snufkin - 18.08.25 - klo:13.22
-
Tällainen ongelma: Varakopionin läppäriltä n. 20G dataa, joka Linuxin omalla kryptauksella suojattua. Kopiointi toimii aluksi ok (500M-1G) mutta sitten hidastuu merkittävästi. Kopiointi 1G paloissa tuntuu toimivan paremmin. Source-levy on SSD ja mikään prosessi ei kuluttanut juurikaan laskentatehoa. Target on ulkoinen, uudehko 1T kovo, jossa ei ole kryptausta.
Mistä moinen voisi johtua? Onko sen kryptauksen aiheuttamaa?
-
Millä USB-standardin versiolla ulkoinen levy kytkeytyy koneeseen? Vanha USB 2.0 siirtää käytännössä vain n. 30 megatavua sekunnissa, eli 1 Gt siirtyy puolessa minuutissa.
En usko, että salaus hidastaisi siirtoa näin paljon. Se tuntuisi kaikessa järjestelmän ja sovellusten käytössä.
-
Millä USB-standardin versiolla ulkoinen levy kytkeytyy koneeseen? Vanha USB 2.0 siirtää käytännössä vain n. 30 megatavua sekunnissa, eli 1 Gt siirtyy puolessa minuutissa.
Luulisin, että usb 3.0. Ainakin kernel sitä tulee ja spekseistä löytyy (Lenovo X240)
Ja tuo alku menee aika vauhdikkaasti, mutta sitten hyytyy noin 0,5-1 G kohdalla.
-
Voisiko se vaikuttaa, että nyt kopiotu data ei ole aktiivisessa käytössä? Eli maannut levyllä kauan koskemattomana.
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
-
Ulkoisten kovojen ohjaimet ei ole useinkaan kovin nopeita. Jos kopioitava materiaali sisältää paljon pieniä tiedostoja, niin olen huomannut, että kopiointi hidastuu merkittävästi.
-
Ulkoisten kovojen ohjaimet ei ole useinkaan kovin nopeita. Jos kopioitava materiaali sisältää paljon pieniä tiedostoja, niin olen huomannut, että kopiointi hidastuu merkittävästi.
Hyytyi valokuvien kohdalla, jotka luokaa 1-5M
-
Nämä tuoreimmat SMR (shingled magnetic recording) USB-kiintolevyt on todella hitaita sen jälkeen kun välimuisti täyttyy (128-512Mt) ja valitettavasti käytännössä kaikki 2,5" USB-asemat on nykyään niitä.Jos mahdollista, niin kannattaa pysyä perinteisissä asemissa CMR (Conventional magnetic recording) ja näissä välimuisti yleensä reilusti alle 128Mt.
Karrikoidusti voi sanoa, että nämä uudet SMR-asemat tekee tavallaan jatkuvaa defragmentointia kun tiedostoja kopioidaan.
Tuossa viestiketju omiin kokemuksiin kryptatusta ulkoisesta 2,5" USB-asemasta
https://forum.ubuntu-fi.org/index.php?topic=59323.msg451145#msg451145
"Sain kopion tehtyä Veracrypt kontaineriin viimein. 2,7 teraa ja kirjoitusaika n.38h ja tuokin vielä hiukan optimistinen"
-
Tuossa viestiketju omiin kokemuksiin kryptatusta ulkoisesta 2,5" USB-asemasta
Tässä niin päin että:
SSD (kryptattu osio) -> purku -> siirto Usb 3.0(?) -> tallennus HDD (ei kryptausta, 1T Seagate)
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Joo, mulla on kaksi läppäriä. Tuo ulkoinen levy on melko uusi ja tuntuu toimivan ihan normaalisti tässä Fujitsun koneessa, mutta sitten tuo hitaus tuli esille tuossa Lenovon koneessa ja siinäkin vasta isolla datamäärällä. Molemmissa samanlainen setup, eli Xubuntu 22.04 ja osa tiedostoista kryptattuna. Tässä tosin HDD ja Lenovossa SDD.
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Kyllä ne noin hitaaksi menee omien kokemusten perusteella, kun välimuisti poltettu loppuun ja aletaan kopioimaan todella pieniä tiedostoja. Kevyessä käytössä joku ehkä 60mt/s ja sitten kuvien yms. kopioinnissa kyykkää helposti 20mt/s paikkeille.
Tuolla on aika hyvä testi ja tuolla 12min kohdilla on aika shokeeraavat käppyrät ja nuo vielä pöytäkonekoossa. Läppäriasemat vielä huonompia.
https://www.youtube.com/watch?v=hAijmZsTd2A
Nämä on vähän sellaisia parikymmentä vuotta takkiin teknisesti hinnan takia
-
Kopionti meni siis suunnilleen niin, että esim. 4G erästä 1G vei muutaman minuutin (en seurannut tarkkaan) ja sitten kokonaisuus venähti yli tunnin mittaiseksi.
Kuulostaa kyllä oudon hitaalta, vaikka kyseessä olisi SMR-levy ja USB 2.0-nopeudet. Pystytkö kokeilemaan levyä jossain toisessa tietokoneessa?
Kyllä ne noin hitaaksi menee omien kokemusten perusteella, kun välimuisti poltettu loppuun ja aletaan kopioimaan todella pieniä tiedostoja. Kevyessä käytössä joku ehkä 60mt/s ja sitten kuvien yms. kopioinnissa kyykkää helposti 20mt/s paikkeille.
Joo mutta Snufkinin kertoman mukaan siirtonopeus on ollut luokkaa 1 Mt/s, ja kyseessä kuitenkin melko isot megatavukoon tiedostot. En oikein usko, että johtuu pelkästään levystä, ellei siinä ole jotain vikaa.
-
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.
-
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.
Voisiko se vaikuttaa, että kyseinen data on eräänlainen tietoarkisto, jota ei käytetä kovin paljoa tai kovin usein? Hakuja sinne ehkä muutaman kuukauden välein tai max muutama viikossa.
-
Joo mutta Snufkinin kertoman mukaan siirtonopeus on ollut luokkaa 1 Mt/s, ja kyseessä kuitenkin melko isot megatavukoon tiedostot. En oikein usko, että johtuu pelkästään levystä, ellei siinä ole jotain vikaa.
No juu. Tuo itse asiassa kyllä kuulostaa liian hitaalta. Omassa isossa terojen kopioinnissa keskiarvona noin 70mt/s, vaikka se on varmaankin jonkin verran kyllä yläkanttiin, koska kirjoitus keskeytyi pari kertaa ja levy on silloinkin "elvyttänyt" itseään.
-
Oma mutuni oli, että se dekryptaus kestää, mutta on toki vain mutu vailla mitään varsinaista näyttöä asiasta. Sama LUKS toimii ok toisessa koneessa.
Dekryptaus ei voi olla noin hidasta. Se hidastaisi kaikkea normaalia käyttöä niin, että vaikkapa sovellusten käynnistäminen kestäisi minuutteja.
Voisiko se vaikuttaa, että kyseinen data on eräänlainen tietoarkisto, jota ei käytetä kovin paljoa tai kovin usein? Hakuja sinne ehkä muutaman kuukauden välein tai max muutama viikossa.
En minä ainakaan Veracryptillä ja edes ulkoisella asemalla huomaa käytännössä mitään eroa normaaliin paikalliseen tiedostojen käyttöön X250:llä, joka on varmaan suorituskyvyltään hyvin lähellä sinun tapausta. En ainakaan tiedä, että tuossa välissä olisi CPU:n tullut mitään kryptauksiin merkittävästi vaikuttavaa tukea.
En kyllä varsinaisesti ole mitään benchmarkkia koskaan kokeillutkaan sisäisille asemille. Eli en usko lainkaan tuohon.
-
Voi myös johtua ulkoisen tallentimen ylikuumenemisesta, mikä hidastaa vauhtia. Jos on hyvin koteloitu, eikä pääse jäähtymään, niin voi hyvinkin johtua tuosta. Alumiinikuorinen USB tikkukin saattaa joskus kuumentua niin, että sormia polttaa.
-
Voi myös johtua ulkoisen tallentimen ylikuumenemisesta, mikä hidastaa vauhtia. Jos on hyvin koteloitu, eikä pääse jäähtymään, niin voi hyvinkin johtua tuosta. Alumiinikuorinen USB tikkukin saattaa joskus kuumentua niin, että sormia polttaa.
Tällainen edullinen peruskovo
(https://cf-images.dustin.eu/cdn-cgi/image/fit=contain,format=auto,quality=75,width=828,fit=contain/image/d200001001532966/seagate-basic-portable-5tb-external-hdd-hopea.jpg)
-
Aloin tuossa miettimään sellaista, että voisiko kyseessä olla ihan jonkinlainen bugi, että garbage collection on jotenkin liiallista. Toinen artikkeli oli jostain SMR ongelmista, jossa käyttäjä oli joutunut poistamaan välimuistin kokonaan asemien käytöstä ja tuolloin kirjoitusnopeus oli tipajtanut alle 8mb/s.
Tuossa nimittäin oirekuva tukisi aika hyvin jotain tuollaista jos asema tosiaan toimii parhaiten hetken aikaa ja jos kirjoitusmäärä rajataan johonkin. Voisi olla, että levy vain kerkeää palautua tuossa hetkellisesti.
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
Tuossa aiemmin linkatussa videossa oli siinäkin mainittu, että Toshiban asemilla oli joutunut odottamaan yli 8h gc suoriutumista, että oli saanut luotettavia/vertailtavia testituloksia. Toki edelleen tuossakin testivideossa oli saatu asema kyykäämään noin 2,5Mt/s nopeuteen kun oli kirjoitettu putkeen 20% levytilavuudesta ja asema oli alkanut lukeen/kirjoittaan välimuistiin cg:n takia. Kuten videollakin mainitaan, niin yli 20% tilavuuden kirjoitus on harvinainen tapahtuma. Mutta näinhän se oli omassa pitkässäkin kopioinnissa. Se oli katkennut pariin kertaan verkkovirheen takia, varmaankin useammaksi tunniksi parhaillaan ja levy vaikutti olevan aktiivinen silti koko ajan, vaikka kopiointi oli keskeytynnyt.
Tuo asema on varmaankin hyvin lähellä samaa kuin omani, joka on 4teran versio. Samannäköinen Seagate.
-
Be aware though, if you want to encrypt them, that it takes a very long time on smr drives.
I once encrypted an 8 TB seagate smr drive with luks.
It took 14 days nonstop.
A 8 TB cmr drive takes ~ 26 hours.
14 päivää on aika pitkä aika 8 teran aseman kryptaukseen ja ei siinäkään enää nopeus päätä huimaa. Toki olisi kait tuokin vielä luokkaa 7mt/s.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Jotenkin sellainen kutina, että kannattaa ehkä jossain vaiheessa antaa olla aseman liitettynä vain "joutokäynnillä" kun tekee jotain. Se voi olla, että se vain kaipaa muutaman tunning GC-sessiota. Onko asemasta tuo yli 20% tilavuudesta nykyään käytettynä? Jos on, niin varsinkin siinä tapauksessa.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Jotenkin sellainen kutina, että kannattaa ehkä jossain vaiheessa antaa olla aseman liitettynä vain "joutokäynnillä" kun tekee jotain. Se voi olla, että se vain kaipaa muutaman tunning GC-sessiota. Onko asemasta tuo yli 20% tilavuudesta nykyään käytettynä? Jos on, niin varsinkin siinä tapauksessa.
Saattaa olla tuota luokkaa, että 20% käytössä. En nyt muista ulkoa, enkä ole nyt ko. kovon ääressä. Pitääpä kokeilla pitää sitä enemmän koneessa kiinni.
Mulla on tällainen hieman diy-varakopionti, että läppärien kovot -> ulkoinen kovo A -> ulkoinen kovo B, joka sitten pääsin eri paikassa. Eli jos talo palaa, niin aina jää sitten jotain talteen. :)
Hankalaa, kun pitää varautua teknisiin ongelmiin, varkauteen ja tulipaloon. Pilviinkään en oikein luota.
-
Mulla on tällainen hieman diy-varakopionti, että läppärien kovot -> ulkoinen kovo A -> ulkoinen kovo B, joka sitten pääsin eri paikassa. Eli jos talo palaa, niin aina jää sitten jotain talteen. :)
Hankalaa, kun pitää varautua teknisiin ongelmiin, varkauteen ja tulipaloon. Pilviinkään en oikein luota.
Jeps. Itsellä on 24/7 päällä oleva pieni 1L Proxmox serveri, jossa on sitten myös tiedostopalvelin. Tuon tiedostot on nyt sitten tarkoitus puolen vuoden välein synkronoida vastaavalle kryptatulle Seagate USB asemalle, joka on töissä pukukaapissa jemiksessä.
Proxmox palvelin on kyllä varmuuskopioitu PSB-palvelimelle, mutta se ei taas paljoa hyödytä kun kyseinen kone on käytännössä samassa tilassa. Pitäisi kyllä tehdä palvelimen varmuuskopioista myös joku vastaava USB-varmuuskopio. On sen konfaamiseen kuitenkin sen verran aikaa mennyt. No onpa ainakin ne tärkeimmät kuitenkin nyt muualla jemiksessä. Serverin nyt saa aina tehtyä uudelleen. Toki nyt kun tuli puheeksi, niin pitääkin tässä välissä ottaa heti paikalliset Trilium muistiinpanot talteen. Niitä en kyllä halua hukata.
-
Jeps. Itsellä on 24/7 päällä oleva pieni 1L Proxmox serveri, jossa on sitten myös tiedostopalvelin. Tuon tiedostot on nyt sitten tarkoitus puolen vuoden välein synkronoida vastaavalle kryptatulle Seagate USB asemalle, joka on töissä pukukaapissa jemiksessä.
Proxmox palvelin on kyllä varmuuskopioitu PSB-palvelimelle, mutta se ei taas paljoa hyödytä kun kyseinen kone on käytännössä samassa tilassa. Pitäisi kyllä tehdä palvelimen varmuuskopioista myös joku vastaava USB-varmuuskopio. On sen konfaamiseen kuitenkin sen verran aikaa mennyt. No onpa ainakin ne tärkeimmät kuitenkin nyt muualla jemiksessä. Serverin nyt saa aina tehtyä uudelleen. Toki nyt kun tuli puheeksi, niin pitääkin tässä välissä ottaa heti paikalliset Trilium muistiinpanot talteen. Niitä en kyllä halua hukata.
Itsellä myös Proxmox tutkinta ja kokeilut alkusuoralla. Mikä on tuo PSB-palvelin jonka mainitsit? Miten olet toteuttanut tiedostonjaon proxmox kanssa? Sellainen olisi myös itselle tarkoitus saada mutta en vielä päässyt selvyytteen mikä on paras tapa: truenas tms vai suoraan proxmox hostissa vai jotain muuta?
-
Jeps. Itsellä on 24/7 päällä oleva pieni 1L Proxmox serveri, jossa on sitten myös tiedostopalvelin. Tuon tiedostot on nyt sitten tarkoitus puolen vuoden välein synkronoida vastaavalle kryptatulle Seagate USB asemalle, joka on töissä pukukaapissa jemiksessä.
Proxmox palvelin on kyllä varmuuskopioitu PSB-palvelimelle, mutta se ei taas paljoa hyödytä kun kyseinen kone on käytännössä samassa tilassa. Pitäisi kyllä tehdä palvelimen varmuuskopioista myös joku vastaava USB-varmuuskopio. On sen konfaamiseen kuitenkin sen verran aikaa mennyt. No onpa ainakin ne tärkeimmät kuitenkin nyt muualla jemiksessä. Serverin nyt saa aina tehtyä uudelleen. Toki nyt kun tuli puheeksi, niin pitääkin tässä välissä ottaa heti paikalliset Trilium muistiinpanot talteen. Niitä en kyllä halua hukata.
Itsellä myös Proxmox tutkinta ja kokeilut alkusuoralla. Mikä on tuo PSB-palvelin jonka mainitsit? Miten olet toteuttanut tiedostonjaon proxmox kanssa? Sellainen olisi myös itselle tarkoitus saada mutta en vielä päässyt selvyytteen mikä on paras tapa: truenas tms vai suoraan proxmox hostissa vai jotain muuta?
Se on ihan Proxmoxin virallinen varmuuskopiointipalvelin
https://www.proxmox.com/en/products/proxmox-backup-server/overview
Se on hyvinkin helppo laittaa toimintaan. Itsellä on ikivanha todella tehoton Intel NUC, johon laitoin 8gt muistia ja siihen on itse asiassa asennettu Proxmox palvelin ja yhdeksi VM koneeksi sitten tuo PBS. Natiivi asennus toki olisi varmaan paras, mutta oli ajatuksena, että jos tuohon muistimäärään saa vielä mahdutettua vielä jonkin, vaikka UrBackup palvelimen erilliseksi palveluksi.
Jonkin aikaa ajattelin tuon olevan ihan ylilyöty ratkaisu pieneen kotiserveriin, mutta sitten tajusin, että se on oikeastaan ainoa oikea ratkaisu, koska se tukee niin hyvin deduplikaatiota, eli itselläkin on tällä hetkellä deduplikation factor arvossa 10,57. Eli 6kpl virtuaalikoneita, joista varmuuskopiona 66 snapshottia ja 4kpl kontainereita joista tällä hetkellä 49 snapshottia, niin näiden varmuuskopiot veisi tavalliselle verkkoasemalle kopioituna tuon 10,57 kertaa isomman tilan. Itsellä on 730Gt varattu PSB:lle varmuuskopiotilaa, josta käytössä 598G ja silti jos koneiden koot ei muutu, niin PBS näyttää nyt automaattisesti, että varmuuskopiointi tila tulee täyteen 201 päivän päästä nykyisellä käytöllä. Muutenkin tuo on oikein kiva, kun se toimii käytännössä saumattomasti Proxmoxin kanssa. Periaatteessa kun on samassa verkossa, niin PBS:tä otetaan avain ja syötetään se Proxmoxiin, niin homma toimii melkeinpä automaattisesti sen jälkeen. Itsellä on varmuuskopiot kerran viikossa sunnuntai öisin ja tuosta nyt kun katsoo backup listaa kyseisen kontainerin kohdalta, niin voisin palauttaa sen 2024 elokuuhun saakka kuukauden välein. Eli kahden viikon varmuuskopiot on itsellä säilytyksessä ja sitten karsitaan varmuuskopiot niin, että jätetään kuukausittainen varmuuskopio. Sitten tietysti se tärkein, että nuo varmuuskopioiden palautukset on ainakin toistaiseksi toiminut itsellä ihan älyttömän hyvin. Juuri pari viikkoa sitten huomasin, että OpenMediaVault, joka pyörii Proxmoxin VM:nä, oli pahasti jäänyt itsellä päivittämättä. Katsoin, että datat sen osalta on hyvin varmuuskopioituna ja yritin päivittää tuon VM:n ja jotain meni pahasti pieleen. Napsuttelin muutaman kuukauden takaisen varmuuskopion, joka parin napin painalluksen jälkeen ja ehkä minuutin latauksen jälkeen palautettu, kokeilin päivittää hiukan erilailla ja taas on OpenMediaVault kunnossa. Samoin kun satunnaisesti kikkaillut HomeAssistantin kanssa, jonka saan ainakin itse rikottua, niin ihan mahtava vain painaa "backup now" ja jos jotain ryssii, niin palautus onnistuu ihan älyttömän nopeasti tuohon tilaan. Muutenkin tuossa voi tehdä todella helposti jonkin palautuspisteen ja vaikka kiinnittää sen niin, että sitä ei koskaan poisteta, vaikkapa esim. joku ajantasalle päivitetty Windows VM tms. voisi olla hyvä kohde tuollaiseen. Yhtenä mukanavana mielenrauhaa lisäävänä toimintona tuo vielä tekee varmuuskopioiden varmistustestit halutulla ajanjaksolla ja ilmoittaa jos varmuuskopiot alkaa korruptoitumaan tms. Itsellä tuo vanha tehoton NUC tekee siis kerran kuukaudessa varmuuskopioiden tarkistukset. Kestää pari tuntia tuollaisella todella tehottomalla koneella (2013 vuoden tuplaydin Celeron, joka käyttökelvoton nykyään melkein kaikkeen)
Eli ei mitään negatiivista sanottavaa. No se nyt tietysti, että ollut juttua, että siihen olisi ehkä jossain vaiheessa tulossa tukea muidenkin järjestelmien varmuuskopiointiin, niin sehän olisi vielä bonusta. Mutta jos Proxmox ja siihen on jo käyttänyt aikaa konffailuun ja varmuuskopiointi alkaa olla ajankohtaista, niin ihan ehdottomasti PBS käyttöön.
Kannattaa tsekata ElectronicsWizardyn Proxmox jutut. Ehkä YouTuben paras lähde moniin juttuihin. Tuossa on linkki hänen PBS videoon.
https://www.youtube.com/watch?v=Px5eHcUKbbQ
Tuon PBS avulla itse asiassa siirsin koko Proxmox serverin ihan eri raudalle parissa tunnissa. Varmuuskopiot vain kaikista. Uuteen koneeseen nopea Proxmox asennus ja datan palautus PBS:tä. Eli siinäkin mielessä varsin näppärä siirtää noita VM/CT asennuksia eri koneisiin.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Mikä tiedostojärjestelmä? Fat ainakin on tuhottoman hidas jos hakemistossa on paljon tiedostoja. Itsellä on valokuville 4T Seagate varmuuskäyttöön ja toimii kivasti kun kopioitavat koot suhteellisen pieniä - noin 30G kerrallaan. Tiedostojärjestelmä jostain syystä xfs
-
Mikä tiedostojärjestelmä? Fat ainakin on tuhottoman hidas jos hakemistossa on paljon tiedostoja. Itsellä on valokuville 4T Seagate varmuuskäyttöön ja toimii kivasti kun kopioitavat koot suhteellisen pieniä - noin 30G kerrallaan. Tiedostojärjestelmä jostain syystä xfs
En nyt muista, mutta ei pitäisi olla siitä kiinni, koska kopiointi aluksi nopeaa.
-
En nyt muista, mutta ei pitäisi olla siitä kiinni, koska kopiointi aluksi nopeaa.
Alun nopea kopioiminen voi johtua Linuxin levyvälimuistista, eli tiedostot kopioidaan RAM-muistiin odottamaan varsinaista kirjoitusta levylle. Kirjoitusprosessi etenee taustalla omaan tahtiinsa, mutta aluksi voi tosiaan vaikuttaa siltä, että kopiointi etenee vauhdikkaasti. Levyvälimuistin koko riippuu vapaan muistin määrästä. Yleensä sitä on ainakin gigatavun verran, ellei muisti ole vähissä.
-
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?
On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Mikä tiedostojärjestelmä? Fat ainakin on tuhottoman hidas jos hakemistossa on paljon tiedostoja. Itsellä on valokuville 4T Seagate varmuuskäyttöön ja toimii kivasti kun kopioitavat koot suhteellisen pieniä - noin 30G kerrallaan. Tiedostojärjestelmä jostain syystä xfs
Ei sillä ollut oikeastaan mitään merkitystä. Taitaa olla nyt exFAT että toimii varmasti kaikissa koneissa. Niin kuin jo aiemmin mainitsin, niin se joku 10-30Gt menee kivasti ja sitten jäätyy.
-
Mikä tiedostojärjestelmä? Fat ainakin on tuhottoman hidas jos hakemistossa on paljon tiedostoja. Itsellä on valokuville 4T Seagate varmuuskäyttöön ja toimii kivasti kun kopioitavat koot suhteellisen pieniä - noin 30G kerrallaan. Tiedostojärjestelmä jostain syystä xfs
Ei sillä ollut oikeastaan mitään merkitystä. Taitaa olla nyt exFAT että toimii varmasti kaikissa koneissa. Niin kuin jo aiemmin mainitsin, niin se joku 10-30Gt menee kivasti ja sitten jäätyy.
[/quote]
FAT-levy on hidas jos paljon pieniä tiedostoja. Se käyttää listaa joka luetaan aina alusta loppuun. Toki koneen välimuisti auttaa, mutta kun se täyttyy nopeus romahtaa. Binääripuu on listaan verrattuna paljon nopeampi. exFAT tukea ei taida olla vanhemmissa koneissa. Toki sen voi yleensä asentaa. Voit testata huviksesi tikulla.
-
Mikä tiedostojärjestelmä? Fat ainakin on tuhottoman hidas jos hakemistossa on paljon tiedostoja. Itsellä on valokuville 4T Seagate varmuuskäyttöön ja toimii kivasti kun kopioitavat koot suhteellisen pieniä - noin 30G kerrallaan. Tiedostojärjestelmä jostain syystä xfs
Ei sillä ollut oikeastaan mitään merkitystä. Taitaa olla nyt exFAT että toimii varmasti kaikissa koneissa. Niin kuin jo aiemmin mainitsin, niin se joku 10-30Gt menee kivasti ja sitten jäätyy.
FAT-levy on hidas jos paljon pieniä tiedostoja. Se käyttää listaa joka luetaan aina alusta loppuun. Toki koneen välimuisti auttaa, mutta kun se täyttyy nopeus romahtaa. Binääripuu on listaan verrattuna paljon nopeampi. exFAT tukea ei taida olla vanhemmissa koneissa. Toki sen voi yleensä asentaa. Voit testata huviksesi tikulla.
[/quote]En oikein usko tuohon, kun omassa kopioinnissa oli myös kymmenien gigatavujen yksittäisiä järjestelmäpalautustiedostoja. Toki myös iso nippu pienempiä. Mutta kuitenkin ihan yhtä hidasta näytti olevan oli sitten kyseessä isot tai pienet tiedostot. Kävi kyllä mielessä, että yksi vaihtoehto olisi ehkä ollut vain tehdä salasanapakattu tiedosto ensin jollekin muulle asemalle ja sitten kokeilla kopioida se kerralla tuolle asemalle. Mutta nyt kun kopiointi on viimein tehty, niin freefilesyncillä ei pitäisi hirveän kauaa enää mennä päivitellä tyyliin joitain gigatavuja sitten puolivuosittain asemalle. Johonkin pakattuun tiedostoon tuo olisi varsin ärsyttävä muutos jatkossa.
-
Uusi kokeilu ja sama vanha ongelma. Ensimmäinen 2G meni nyt suhteellisen nopeasti koneen omalta kovolta ulkoiselle usb-portin kautta, mutta sitten homma hidastui merkittävästi.
Nyt katkaisin siirron ja aloitin uudelleen niin, että se skippaa jo olemassa olevat. Edelleen tolkuttoman hidas.
Lähde on 500G HDD ja kohde 1T Seagete HDD
-
Seuraava yritys 4,G kuormalla hyytyi (hidastui merkittävästi) 500M kohdalla. :(
Tuollainen ohjelma kuin thumblerd, joka jonkinlainen Thunarin apulainen tuntuu haukkaavan kovasti prosessoriaikaa. Pitääpä kokeilla jotain muuta tiedosto-ohjelmaa. Tuon thumblerin ongelmista on juttua netissä kyllä. Edit: haukkaa enimmillään 38% prosessoriajasta.
-
Eipä se olekaan vika Thunarissa. Kokeilen toisella ohjelmalla (Krusader) ja sama hitaus alkoi noin 2GB kohdalla, eikä tuo thumlerd käynnistynyt tällä ohjelmalla.
Vian etsintä jatkuu...
-
Kuten aiemmin totesin, levyvälimuisti vaikuttaa nopeuteen siirron alussa. Käytännössä lähdelevyn lukunopeus määrää silloin siirtonopeuden, mutta data siirtyy vain keskusmuistissa sijaitsevaan kernelin levyvälimuistiin. Varsinainen kirjoitus on tässä sinun tapauksessasi todennäköisesti koko ajan yhtä hidasta.
-
Kuten aiemmin totesin, levyvälimuisti vaikuttaa nopeuteen siirron alussa. Käytännössä lähdelevyn lukunopeus määrää silloin siirtonopeuden, mutta data siirtyy vain keskusmuistissa sijaitsevaan kernelin levyvälimuistiin. Varsinainen kirjoitus on tässä sinun tapauksessasi todennäköisesti koko ajan yhtä hidasta.
Voiko tuohon välimuistin kokoon vaikuttaa? Onko se sama kuin tuo SWAP? Minulla on se 2G, mutta oli tuolloin hidastuessa vain noin 50% käytössä. Keskusmuistia on 12G.
Onko olemassa jotain tapaa mitata noita luku ja kirjoitusnopeuksia per levy?
-
Voiko tuohon välimuistin kokoon vaikuttaa? Onko se sama kuin tuo SWAP?
Ei ole sama asia. Tuo välimuisti toteutuu ihan kernelin ohjaamana kuten nm mainitsi. Eli luetaan tai kirjoitetaan keskusmuistiin ensin tai oikeastaan voi sanoa, että sinne aletaan puskuroida kun levytoimminnot ei pysy enää mukana. Swap on taas keskusmuistin jatke. Eli jos keskusmuisti loppuisi, niin muistin puutos korvataan levylle kirjoittamalla, joka on aina ei toivottu tapahtuma, mutta swappia on hyvä yleensä varmuuden vuoksi olla pieni määrä jos muisti täyttyy, niin järjestelmä ei välttämättä sitten kaadu kokonaan.
Onko olemassa jotain tapaa mitata noita luku ja kirjoitusnopeuksia per levy?
On paljonkin. Jossain määrin näet ihan sieltä käyttiksestä, riippuen vähän mikä UI on käytössä, mutta esim. Gnomessa järjestelmämonitorilla jos nyt nimen muistan oikein. Toki vain hetkellisesti. Sieltä muuten muistista näkee myös tuon välimuistin määrään jos se sattuu kiinnostamaan. Sitä kun seuraa kun on toimintoja päällä, niin se elää aika paljon.
Gnomessa taitaa sillä oletuslevytyökalulla pystyä muuten testaamaan asemia. Sitten on vaikka KDiskMarkilla voi oikein testata tarkemmin asemia Flathubissa jne.
https://flathub.org/en/apps/io.github.jonmagon.kdiskmark
Vaihtoehtoja kyllä löytyy.
-
Levyn sisäisessä kopioinnissa (kansiosta toiseen) tätä ilmiötä ei tapahdu. Juuri siisrin 3,9G melko nopeasti
-
Levyn sisäisessä kopioinnissa (kansiosta toiseen) tätä ilmiötä ei tapahdu. Juuri siisrin 3,9G melko nopeasti
Joo, vika tuntuu liittyvän jotenkin ulkoisen levyn ja koneen USB-kontrollerin toimintaan laitetasolla. Siirtonopeus jää jostain syystä USB 1.1-standardin mukaiseksi eli n. 1 Mt/s.
Mitä muuten lsusb:n tarkempi listaus kertoo ulkoisen levyn kytkennästä:
lsusb --tree
-
Mitä muuten lsusb:n tarkempi listaus kertoo ulkoisen levyn kytkennästä:
lsusb --tree
$ lsusb --tree
/: Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
|__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas, 5000M
/: Bus 03.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/14p, 480M
|__ Port 5: Dev 2, If 0, Class=Hub, Driver=hub/4p, 12M
|__ Port 2: Dev 4, If 0, Class=Chip/SmartCard, Driver=, 12M
|__ Port 8: Dev 3, If 0, Class=Wireless, Driver=btusb, 12M
|__ Port 8: Dev 3, If 1, Class=Wireless, Driver=btusb, 12M
|__ Port 11: Dev 6, If 13, Class=CDC Data, Driver=cdc_mbim, 480M
|__ Port 11: Dev 6, If 12, Class=Communications, Driver=cdc_mbim, 480M
|__ Port 12: Dev 7, If 1, Class=Video, Driver=uvcvideo, 480M
|__ Port 12: Dev 7, If 0, Class=Video, Driver=uvcvideo, 480M
/: Bus 02.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
|__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/8p, 480M
/: Bus 01.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
|__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/6p, 480M
|__ Port 2: Dev 3, If 0, Class=Hub, Driver=hub/4p, 480M
|__ Port 3: Dev 4, If 0, Class=Human Interface Device, Driver=usbhid, 12M
|__ Port 3: Dev 4, If 1, Class=Human Interface Device, Driver=usbhid, 12M
|__ Port 3: Dev 4, If 2, Class=Human Interface Device, Driver=usbhid, 12M
|__ Port 4: Dev 5, If 0, Class=Human Interface Device, Driver=usbhid, 1.5M
-
Mitä muuten lsusb:n tarkempi listaus kertoo ulkoisen levyn kytkennästä:
lsusb --tree
$ lsusb --tree
/: Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
|__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas, 5000M
/: Bus 03.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/14p, 480M
|__ Port 5: Dev 2, If 0, Class=Hub, Driver=hub/4p, 12M
|__ Port 2: Dev 4, If 0, Class=Chip/SmartCard, Driver=, 12M
|__ Port 8: Dev 3, If 0, Class=Wireless, Driver=btusb, 12M
|__ Port 8: Dev 3, If 1, Class=Wireless, Driver=btusb, 12M
|__ Port 11: Dev 6, If 13, Class=CDC Data, Driver=cdc_mbim, 480M
|__ Port 11: Dev 6, If 12, Class=Communications, Driver=cdc_mbim, 480M
|__ Port 12: Dev 7, If 1, Class=Video, Driver=uvcvideo, 480M
|__ Port 12: Dev 7, If 0, Class=Video, Driver=uvcvideo, 480M
/: Bus 02.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
|__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/8p, 480M
/: Bus 01.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
|__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/6p, 480M
|__ Port 2: Dev 3, If 0, Class=Hub, Driver=hub/4p, 480M
|__ Port 3: Dev 4, If 0, Class=Human Interface Device, Driver=usbhid, 12M
|__ Port 3: Dev 4, If 1, Class=Human Interface Device, Driver=usbhid, 12M
|__ Port 3: Dev 4, If 2, Class=Human Interface Device, Driver=usbhid, 12M
|__ Port 4: Dev 5, If 0, Class=Human Interface Device, Driver=usbhid, 1.5M
Sulla on liian vanhanaikainen USB-hubi siellä välissä.
Eipäs mitään, katsoin väärin.
-
Ei ole mitään välissä. Kone on kyllä vanha
-
Ei ole mitään välissä. Kone on kyllä vanha
Juu ei mitään, katsoin ihan väärin.
-
Spekseistä
Interfaces
USB 3.0 total 3 (1 with Anytime USB Charge functionality)
USB 2.0 total 1
Yksi museohubi on systeemissä, jakaa hiiren ja näppäimistön KVM-kytkimen kautta, mutta ei pitäisi kyllä vaikuttaa tuon kovon toimintaan.
-
$ lsusb --tree
/: Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
|__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas,
Levy näyttää kytkeytyvän nopeana USB 3 -laitteena, eli ei näytä ainakaan tunnistusongelmalta. Yksi mahdollinen syy voisi olla siirron aikana syntyvät virheet, joiden korjaaminen vaatii siirtopakettien uudelleenlähetyksen. Sellainen voisi hyvinkin hidastaa siirtoa megatavuluokkaan.
Kokeilitko levyä jo kaikissa koneen USB-porteissa? Pystytkö kokeilemaan toisella USB-johdolla?
-
Spekseistä
Interfaces
USB 3.0 total 3 (1 with Anytime USB Charge functionality)
USB 2.0 total 1
Yksi museohubi on systeemissä, jakaa hiiren ja näppäimistön KVM-kytkimen kautta, mutta ei pitäisi kyllä vaikuttaa tuon kovon toimintaan.
Kokeile ilman sitä. Kyllä ne voi joskus sekoittaa järjestelmää ja pakottaa jotain taaksepäinyhteensopivuustilaan, eli hitaampaan tilaan. Mitä vanhempi laite, sitä todennäköisempää.
Onhan sinulla se asema vasemmalla puolella näyttöliittimien välissä kiinni?
-
$ lsusb --tree
/: Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
|__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas,
Levy näyttää kytkeytyvän nopeana USB 3 -laitteena, eli ei näytä ainakaan tunnistusongelmalta. Yksi mahdollinen syy voisi olla siirron aikana syntyvät virheet, joiden korjaaminen vaatii siirtopakettien uudelleenlähetyksen. Sellainen voisi hyvinkin hidastaa siirtoa megatavuluokkaan.
Kokeilitko levyä jo kaikissa koneen USB-porteissa? Pystytkö kokeilemaan toisella USB-johdolla?
Mä otan nää työn alle, en pysty nyt testaamaan kun muu työ kesken. Mulla on kaksi samanlaista Seagatea ja pitää kokeilla myös tuo johto. Toisaalta nopea alku (1-2G) viittaa siihen, ettei vika ole laitepuolella.
-
Mä otan nää työn alle, en pysty nyt testaamaan kun muu työ kesken. Mulla on kaksi samanlaista Seagatea ja pitää kokeilla myös tuo johto. Toisaalta nopea alku (1-2G) viittaa siihen, ettei vika ole laitepuolella.
Tuohon saa luottaa vain jos se on "benchmark" luotettavaa tietoa. Muuten se levyvälimuisti voi hämätä todella rajusti. Näet sen jo siitä, että jos kopioit tuon 1-2gt dataa asemalle ja heti kun se kopiointimerkki lähtee näkyvistä, niin napsauta aseman irroitusta. Käytännössä varmasti menee aika pitkään, että järjestelmä antaa oikeasti ilmoituksen aseman turvallisesta irroittamisesta, eli asema vielä kopioi dataa vaikka näennäisesti tapahtuman pitäisi olla loppunut.
-
Levyn sisäisessä kopioinnissa (kansiosta toiseen) tätä ilmiötä ei tapahdu. Juuri siisrin 3,9G melko nopeasti
Siinä ei välttämättä tarvi kummemmin dataa liikutella, kun lähinnä muutellaan datan kirjauksia, ts. miten mihinkin fyysiseen kohtaan linkitetään.
-
Levyn sisäisessä kopioinnissa (kansiosta toiseen) tätä ilmiötä ei tapahdu. Juuri siisrin 3,9G melko nopeasti
Siinä ei välttämättä tarvi kummemmin dataa liikutella, kun lähinnä muutellaan datan kirjauksia, ts. miten mihinkin fyysiseen kohtaan linkitetään.
Kyllähän kopionnissa kaikki data liikkuu, kun siitä luodaan uusi kopio.
-
Kyllähän kopionnissa kaikki data liikkuu, kun siitä luodaan uusi kopio.
Ei ole enää nykyään itsestään selvyys. Deduplikaatio on nykyään yleistä aika monissa tapauksissa.
-
Komentorivillä cp -a lähde kohde ihan tehokas. Rync -av myös kiva. Muistaakseni teran kopioiminen kesti jotain 6h USB 2 portin kautta. Pitää vaan odotella. Tutustu rsync ohjelman vipuihin.