Kirjoittaja Aihe: Levykopioinnin hitaus  (Luettu 728 kertaa)

qwertyy

  • Käyttäjä
  • Viestejä: 5966
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #20 : 18.08.25 - klo:21.18 »
Lainaus
Be aware though, if you want to encrypt them, that it takes a very long time on smr drives.

I once encrypted an 8 TB seagate smr drive with luks.
It took 14 days nonstop.

A 8 TB cmr drive takes ~ 26 hours.
14 päivää on aika pitkä aika 8 teran aseman kryptaukseen ja ei siinäkään enää nopeus päätä huimaa. Toki olisi kait tuokin vielä luokkaa 7mt/s.

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #21 : 18.08.25 - klo:21.22 »
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?

On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 5966
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #22 : 18.08.25 - klo:21.27 »
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?

On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Jotenkin sellainen kutina, että kannattaa ehkä jossain vaiheessa antaa olla aseman liitettynä vain "joutokäynnillä" kun tekee jotain. Se voi olla, että se vain kaipaa muutaman tunning GC-sessiota. Onko asemasta tuo yli 20% tilavuudesta nykyään käytettynä? Jos on, niin varsinkin siinä tapauksessa.

Snufkin

  • Käyttäjä
  • Viestejä: 497
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #23 : 18.08.25 - klo:21.52 »
Onko asema kuinka karkeasti kuinka täynnä ja onko sen käyttö ollut aina sellaista "paikoilleen, kopiointi ja irroitus" tyyppistä, vai onko asema ollut jossain vaiheessa pitempiä aikoja koneessa kiinni?

On melko uusi levy ja oikeastaan aina irti. Teen sille vain satunnaisesti varakopioita läppäri-katastrofin varalle. Tällöin kiinni ja tiedostojen kopiointi ja sitten irti.
Jotenkin sellainen kutina, että kannattaa ehkä jossain vaiheessa antaa olla aseman liitettynä vain "joutokäynnillä" kun tekee jotain. Se voi olla, että se vain kaipaa muutaman tunning GC-sessiota. Onko asemasta tuo yli 20% tilavuudesta nykyään käytettynä? Jos on, niin varsinkin siinä tapauksessa.

Saattaa olla tuota luokkaa, että 20% käytössä. En nyt muista ulkoa, enkä ole nyt ko. kovon ääressä. Pitääpä kokeilla pitää sitä enemmän koneessa kiinni.

Mulla on tällainen hieman diy-varakopionti, että läppärien kovot -> ulkoinen kovo A -> ulkoinen kovo B, joka sitten pääsin eri paikassa. Eli jos talo palaa, niin aina jää sitten jotain talteen. :)

Hankalaa, kun pitää varautua teknisiin ongelmiin, varkauteen ja tulipaloon. Pilviinkään en oikein luota.

Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 5966
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #24 : 18.08.25 - klo:22.10 »
Mulla on tällainen hieman diy-varakopionti, että läppärien kovot -> ulkoinen kovo A -> ulkoinen kovo B, joka sitten pääsin eri paikassa. Eli jos talo palaa, niin aina jää sitten jotain talteen. :)

Hankalaa, kun pitää varautua teknisiin ongelmiin, varkauteen ja tulipaloon. Pilviinkään en oikein luota.
Jeps. Itsellä on 24/7 päällä oleva pieni 1L Proxmox serveri, jossa on sitten myös tiedostopalvelin. Tuon tiedostot on nyt sitten tarkoitus puolen vuoden välein synkronoida vastaavalle kryptatulle Seagate USB asemalle, joka on töissä pukukaapissa jemiksessä.

Proxmox palvelin on kyllä varmuuskopioitu PSB-palvelimelle, mutta se ei taas paljoa hyödytä kun kyseinen kone on käytännössä samassa tilassa. Pitäisi kyllä tehdä palvelimen varmuuskopioista myös joku vastaava USB-varmuuskopio. On sen konfaamiseen kuitenkin sen verran aikaa mennyt. No onpa ainakin ne tärkeimmät kuitenkin nyt muualla jemiksessä. Serverin nyt saa aina tehtyä uudelleen. Toki nyt kun tuli puheeksi, niin pitääkin tässä välissä ottaa heti paikalliset Trilium muistiinpanot talteen. Niitä en kyllä halua hukata.

_Pete_

  • Käyttäjä
  • Viestejä: 1849
  • Fufufuuffuuu
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #25 : 20.08.25 - klo:08.57 »
Jeps. Itsellä on 24/7 päällä oleva pieni 1L Proxmox serveri, jossa on sitten myös tiedostopalvelin. Tuon tiedostot on nyt sitten tarkoitus puolen vuoden välein synkronoida vastaavalle kryptatulle Seagate USB asemalle, joka on töissä pukukaapissa jemiksessä.

Proxmox palvelin on kyllä varmuuskopioitu PSB-palvelimelle, mutta se ei taas paljoa hyödytä kun kyseinen kone on käytännössä samassa tilassa. Pitäisi kyllä tehdä palvelimen varmuuskopioista myös joku vastaava USB-varmuuskopio. On sen konfaamiseen kuitenkin sen verran aikaa mennyt. No onpa ainakin ne tärkeimmät kuitenkin nyt muualla jemiksessä. Serverin nyt saa aina tehtyä uudelleen. Toki nyt kun tuli puheeksi, niin pitääkin tässä välissä ottaa heti paikalliset Trilium muistiinpanot talteen. Niitä en kyllä halua hukata.

Itsellä myös Proxmox tutkinta ja kokeilut alkusuoralla. Mikä on tuo PSB-palvelin jonka mainitsit? Miten olet toteuttanut tiedostonjaon proxmox kanssa? Sellainen olisi myös itselle tarkoitus saada mutta en vielä päässyt selvyytteen mikä on paras tapa: truenas tms vai suoraan proxmox hostissa vai jotain muuta?


qwertyy

  • Käyttäjä
  • Viestejä: 5966
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #26 : 20.08.25 - klo:16.27 »
Jeps. Itsellä on 24/7 päällä oleva pieni 1L Proxmox serveri, jossa on sitten myös tiedostopalvelin. Tuon tiedostot on nyt sitten tarkoitus puolen vuoden välein synkronoida vastaavalle kryptatulle Seagate USB asemalle, joka on töissä pukukaapissa jemiksessä.

Proxmox palvelin on kyllä varmuuskopioitu PSB-palvelimelle, mutta se ei taas paljoa hyödytä kun kyseinen kone on käytännössä samassa tilassa. Pitäisi kyllä tehdä palvelimen varmuuskopioista myös joku vastaava USB-varmuuskopio. On sen konfaamiseen kuitenkin sen verran aikaa mennyt. No onpa ainakin ne tärkeimmät kuitenkin nyt muualla jemiksessä. Serverin nyt saa aina tehtyä uudelleen. Toki nyt kun tuli puheeksi, niin pitääkin tässä välissä ottaa heti paikalliset Trilium muistiinpanot talteen. Niitä en kyllä halua hukata.

Itsellä myös Proxmox tutkinta ja kokeilut alkusuoralla. Mikä on tuo PSB-palvelin jonka mainitsit? Miten olet toteuttanut tiedostonjaon proxmox kanssa? Sellainen olisi myös itselle tarkoitus saada mutta en vielä päässyt selvyytteen mikä on paras tapa: truenas tms vai suoraan proxmox hostissa vai jotain muuta?
Se on ihan Proxmoxin virallinen varmuuskopiointipalvelin
https://www.proxmox.com/en/products/proxmox-backup-server/overview

Se on hyvinkin helppo laittaa toimintaan. Itsellä on ikivanha todella tehoton Intel NUC, johon laitoin 8gt muistia ja siihen on itse asiassa asennettu Proxmox palvelin ja yhdeksi VM koneeksi sitten tuo PBS. Natiivi asennus toki olisi varmaan paras, mutta oli ajatuksena, että jos tuohon muistimäärään saa vielä mahdutettua vielä jonkin, vaikka UrBackup palvelimen erilliseksi palveluksi.

Jonkin aikaa ajattelin tuon olevan ihan ylilyöty ratkaisu pieneen kotiserveriin, mutta sitten tajusin, että se on oikeastaan ainoa oikea ratkaisu, koska se tukee niin hyvin deduplikaatiota, eli itselläkin on tällä hetkellä deduplikation factor arvossa 10,57. Eli 6kpl virtuaalikoneita, joista varmuuskopiona 66 snapshottia ja 4kpl kontainereita joista tällä hetkellä 49 snapshottia, niin näiden varmuuskopiot veisi tavalliselle verkkoasemalle kopioituna tuon 10,57 kertaa isomman tilan. Itsellä on 730Gt varattu PSB:lle varmuuskopiotilaa, josta käytössä 598G ja silti jos koneiden koot ei muutu, niin PBS näyttää nyt automaattisesti, että varmuuskopiointi tila tulee täyteen 201 päivän päästä nykyisellä käytöllä. Muutenkin tuo on oikein kiva, kun se toimii käytännössä saumattomasti Proxmoxin kanssa. Periaatteessa kun on samassa verkossa, niin PBS:tä otetaan avain ja syötetään se Proxmoxiin, niin homma toimii melkeinpä automaattisesti sen jälkeen. Itsellä on varmuuskopiot kerran viikossa sunnuntai öisin ja tuosta nyt kun katsoo backup listaa kyseisen kontainerin kohdalta, niin voisin palauttaa sen 2024 elokuuhun saakka kuukauden välein. Eli kahden viikon varmuuskopiot on itsellä säilytyksessä ja sitten karsitaan varmuuskopiot niin, että jätetään kuukausittainen varmuuskopio. Sitten tietysti se tärkein, että nuo varmuuskopioiden palautukset on ainakin toistaiseksi toiminut itsellä ihan älyttömän hyvin. Juuri pari viikkoa sitten huomasin, että OpenMediaVault, joka pyörii Proxmoxin VM:nä, oli pahasti jäänyt itsellä päivittämättä. Katsoin, että datat sen osalta on hyvin varmuuskopioituna ja yritin päivittää tuon VM:n ja jotain meni pahasti pieleen. Napsuttelin muutaman kuukauden takaisen varmuuskopion, joka parin napin painalluksen jälkeen ja ehkä minuutin latauksen jälkeen palautettu, kokeilin päivittää hiukan erilailla ja taas on OpenMediaVault kunnossa. Samoin kun satunnaisesti kikkaillut HomeAssistantin kanssa, jonka saan ainakin itse rikottua, niin ihan mahtava vain painaa "backup now" ja jos jotain ryssii, niin palautus onnistuu ihan älyttömän nopeasti tuohon tilaan. Muutenkin tuossa voi tehdä todella helposti jonkin palautuspisteen ja vaikka kiinnittää sen niin, että sitä ei koskaan poisteta, vaikkapa esim. joku ajantasalle päivitetty Windows VM tms. voisi olla hyvä kohde tuollaiseen. Yhtenä mukanavana mielenrauhaa lisäävänä toimintona tuo vielä tekee varmuuskopioiden varmistustestit halutulla ajanjaksolla ja ilmoittaa jos varmuuskopiot alkaa korruptoitumaan tms. Itsellä tuo vanha tehoton NUC tekee siis kerran kuukaudessa varmuuskopioiden tarkistukset. Kestää pari tuntia tuollaisella todella tehottomalla koneella (2013 vuoden tuplaydin Celeron, joka käyttökelvoton nykyään melkein kaikkeen)

Eli ei mitään negatiivista sanottavaa. No se nyt tietysti, että ollut juttua, että siihen olisi ehkä jossain vaiheessa tulossa tukea muidenkin järjestelmien varmuuskopiointiin, niin sehän olisi vielä bonusta. Mutta jos Proxmox ja siihen on jo käyttänyt aikaa konffailuun ja varmuuskopiointi alkaa olla ajankohtaista, niin ihan ehdottomasti PBS käyttöön.

Kannattaa tsekata ElectronicsWizardyn Proxmox jutut. Ehkä YouTuben paras lähde moniin juttuihin. Tuossa on linkki hänen PBS videoon.
https://www.youtube.com/watch?v=Px5eHcUKbbQ

Tuon PBS avulla itse asiassa siirsin koko Proxmox serverin ihan eri raudalle parissa tunnissa. Varmuuskopiot vain kaikista. Uuteen koneeseen nopea Proxmox asennus ja datan palautus PBS:tä. Eli siinäkin mielessä varsin näppärä siirtää noita VM/CT asennuksia eri koneisiin.
« Viimeksi muokattu: 20.08.25 - klo:16.34 kirjoittanut qwertyy »