Kotipalvelimen tiedostojärjestelmä?

[qwertyy]

Siirsin kotipalvelimen ja ylläolevista pitäisi valita sopiva Raid5 pakkaan jossa kolme kiintolevyä. En vain suoraan sanottuna oikein tiedä mikä näistä on paras noin 6 teran kokonaistilalle. Käytössä ei kyllä ole kuin muutama sata giga, mutta huono tuota jälkikäteen on helposti alkaa muuttamaan. Niin joo ja tiedostokoot kait vaikuttavat jonkin verran valintaan? Aika vähän varmasti tulee olemaan oikein pieniä tiedostoja. Suurin osa varmasti tulee tilasta ennen pitkään menemään 100Mt - 200Gt pakattuihin varmuuskopiotiedostoihin. Toki jonkin verran myös ihan perus dokumentteja ja Mp3:sia jne. pienempiä tiedostoja.

*edit*
Ext4 on ainakin ollut pitkään varmaan yleisin tiedostojärjestelmä?

*edit2*
Niin ja sanomattakin lienee selvää, että tiedostojärjestelmän varmuus sähkökatkoissa jne. on ehdoton prioriteetti 1.

[kamara]

Miksi btrfs (eikä zfs) ei ole listassa ?

Eikös se ala olla jo varsin vakaa ?

Eikös joku jakelu taitaa käyttää sitä jo oletuksena ?

Ilmeisesti muistelin oikein.
http://www.linuxbsdos.com/2014/12/02/with-btrfs-the-default-on-opensuse-when-will-other-distros-follow-suit/

[qwertyy]

Olisin laittanut, mutta kun OpenMediaVault ei hyväksy kuin yllämainitut. Samoin olisi esim. ZFS jos raudassa olisi ruutia pyörittämään esim. FreeNAS:a tms. Olen kuitenkin päätynyt toistaiseksi OpenMediaVaultiin. Se pohjautuu vielä Debian Wheezyyn.

[Tomin]

Eikös joku jakelu taitaa käyttää sitä jo oletuksena ?

OpenSuse ja Sailfish OS ainakin. Jollassa tuo aiheuttaa joskus vähän ongelmia ainakin levyn täyttyessä. Itselleni ei ole aiheuttanut mitään, mutta niistä saa aina välillä lueskella.

Itse kysymykseen: XFS:n varmaankin itse laitan kunhan uusin kotipalvelimen levyt. Sinne olisi tarkoitus laittaa isohko RAID5, johon laitetaan ainakin MythTV:n tallenteet (isoja videotiedostoja ja jokaista sellaista kohti pieni tiedosto tai pari) sekä mahdollisesti valokuvat riippuen siitä minkä kokoisia muut levyt ovat. Muuten laitan pelkkää ext4:sta.

[qwertyy]

Oletko Tomin selvitellyt jo siis itsellesi varmaksi tuon valinnan? Tässä yrittänyt lukea sieltä täältä tietoa, mutta löytyy varsin ristiriitaisia juttuja. Jossain oli haukuttu XFS:ää jostain bugista ja toinen korjasi heti perään "se on korjattu jo kaksi vuotta sitten" jne.

Henk.kohtaisesti JFS:ää en ole kokeillut missään asennuksessa. Toistaiseksi mitä lueskellut niin ilmeisesti kyllä tuo XFS on aika suosittu? Se lieneekin aika vanha järjestelmä jos oikein olen ymmärtänyt.

[nm]

Henk.kohtaisesti JFS:ää en ole kokeillut missään asennuksessa. Toistaiseksi mitä lueskellut niin ilmeisesti kyllä tuo XFS on aika suosittu? Se lieneekin aika vanha järjestelmä jos oikein olen ymmärtänyt.

XFS on varmaan toiseksi yleisin tiedostojärjestelmä Linux-asennuksissa, jos ext2/3/4 niputetaan yhteen. Ext4 lienee kuitenkin vähintään kymmenen kertaa yleisempi, ottaen huomioon oletusstatuksen suurimmassa osassa Linux-jakeluista. Toisaalta Red Hat Enterprise Linux käyttää nykyisin XFS:ää oletuksena, joten eiköhän se kelpaa kodin tiedostopalvelimeenkin.

Suurin osa varmasti tulee tilasta ennen pitkään menemään 100Mt - 200Gt pakattuihin varmuuskopiotiedostoihin.

Varmuuskopioita pakatessa kannattaa sitten varmistaa, että paketin saa purettua, vaikka tiedosto olisi paikoitellen korruptoitunut. Monet pakkausformaatit ja ohjelmat eivät oikein sovellu arkistointiin, kun purku epäonnistuu kokonaan, jos yksikin bitti on vinossa paketin alun tai lopun headerissa. Vaihtoehtoisesti voisi harkita pakkaamista pienemmissä osissa, etteivät kaikki munat ole samassa korissa.

[qwertyy]

Kiitos nm muistutuksesta. Totta tosiaan kaikkea ei kannata alkaa kyllä pakkailemaan.

Hiukan aihetta viistäen, onko kellään antaa vinkkiä mitä pitäisi tutkiskella kun ottaa palvelimesta satunnaisia varmuuskopioita yksittäiselle ulkoiselle asemalle. Ajattelin että saisi jonkinlaisena "synkronointina" täsmäytettyä tiedostot ja se ei varmaankaan tule ongelmaksi, netti on varmasti täynnä tietoa aiheesta, mutta ajattelin että saisi sovellettua tuossa kun tekee tuon varmuuskopion samalla MD5SUM tyyppisen tiedostotarkistuksen. Tuossa vaiheessa aihe meneekin jo sellaiseksi että jos jollekin aihe edes lähellekään tuttu, niin olisi kiva tietää vinkkejä.

[Tomin]

Oletko Tomin selvitellyt jo siis itsellesi varmaksi tuon valinnan? Tässä yrittänyt lukea sieltä täältä tietoa, mutta löytyy varsin ristiriitaisia juttuja. Jossain oli haukuttu XFS:ää jostain bugista ja toinen korjasi heti perään "se on korjattu jo kaksi vuotta sitten" jne.

Käytännössä joo. Nykyiselläänkin tuossa palvelimessa MythTV:n tallenteet ovat XFS-osiolla. Tarkoitus vaan on myöhemmin päivittää isompaan. Tiedostojärjestelmä ei kyllä ole koskaan (palvelin on ollut käytössä yli puolenkymmentä vuotta) aiheuttanut mitään ongelmia, mutta levyt toisinaan.

[Postimies]

Käytännössä joo. Nykyiselläänkin tuossa palvelimessa MythTV:n tallenteet ovat XFS-osiolla. Tarkoitus vaan on myöhemmin päivittää isompaan. Tiedostojärjestelmä ei kyllä ole koskaan (palvelin on ollut käytössä yli puolenkymmentä vuotta) aiheuttanut mitään ongelmia, mutta levyt toisinaan.

Itsellä myös ollut XFS-käytössä siitä asti kun digilähetykset alkoivat ja ostin kaapelikortin. Ei ikinä ongelmia. Ext levyn tiedostojärjestelmän tarkistus voi kestää kauan isolla levyllä. XFS on ollut kauemmin vakaa kuin Ext4. Tästä olen joskus kinnannut. XFS-levyä voi suurentaa, mutta ei pienentää. Siirtämisestä en ole varma.

[nm]

Ext levyn tiedostojärjestelmän tarkistus voi kestää kauan isolla levyllä.

Kauanko XFS:n tarkistus kestää esim. parin teran levyllä, jos pakotat sen ajettavaksi?

Oletuksenahan XFS ei tarkistele levyä säännöllisin väliajoin toisin kuin ext2/3/4, mutta se ei tarkoita, että tiedostojärjestelmä pysyisi itsestään paremmin ehjänä. Yhtä hyvin ext4:n levytarkistuksen voi itse kytkeä pois, niin eipä mene siihenkään aikaa.

[Postimies]

Kauanko XFS:n tarkistus kestää esim. parin teran levyllä, jos pakotat sen ajettavaksi?

Oletuksenahan XFS ei tarkistele levyä säännöllisin väliajoin toisin kuin ext2/3/4, mutta se ei tarkoita, että tiedostojärjestelmä pysyisi itsestään paremmin ehjänä. Yhtä hyvin ext4:n levytarkistuksen voi itse kytkeä pois, niin eipä mene siihenkään aikaa.

Enpä muista aikaa.. Hävettää kun htpc:n uudemmalle levylle en ole tainnut ikinä ajaa sitä. Muistaakseni Ext tarkastetaan aina jos konetta ei ole suljettu oikein. Samoin jos koneen kello on siirtynyt "tulevaisuuteen". XFS-levyä ei tarkasteta edes virtakatkon jälkeen. HTPC:ssä vihaan sitä jos kone ei käynnisty vaan pysähtyy levyntarkistukseen, etsimään nettiä, käynnistää updatedb:n tai alkaa ilmoitella päivityksistä. Monia asioita voi ajaa myös sammutuksen yhteydessä. Ext levyn tarkistus voi kestää kauan jos hidas levy (mahdollisesti quiet ym tilassa) ja paljon tiedostoja. Jo pöytäkoneeni 30G home osion tarkistus kestää useamman minuutin. Johtunee lukemattomista pienistä tiedostoista joita on kertynyt noihin pisteellä alkaviin hakemistoihin. Moni ohjelma kirjoittelee tuhansia tiedostoja levylle. Ikävä suuntaus...

[juyli]

Jo pöytäkoneeni 30G home osion tarkistus kestää useamman minuutin.

Mikä mahtaa olla tiedostojärjestelmä exr4, jota itse äänestin?
Tiedostojärjestelmän tarkistus on hyvä varmistus, että ongelmia ei ole tulossa, jos tiedostojärjestelmässä olisi virheitä.
Olen joskus kokeillut XFS:ää (muistaakseni Slackware/Zenwalk), mutta tuolloin ei ollut vielä tarjolla sellaisia korjausohjelmia, joilla tiedostojärjestelmän saisi kuntoon ongelmatilanteissa (Ehkä eri Linux-jakeissa ei ollut vielä riittävää tukea ko. tiedostojärjestelmälle).
Ehkä nykyään olisi XFS-työkaluja, mutta koska ext4 on yleisimmin tarjollaoleva tiedostojärjestelmä, lienee se luotettavin.

[Postimies]

Ext4 on ihan hyvä. Paras systeemille kun grub ym. lataajat osaavat käyttää sitä. Historiallisista syistä
käytän vielä vanhempaa Grubbia. Yhdessä koneessa niin vanha asennus, että Grub2 ei ollut vielä
olemassa. Ext3 löytyy vielä vanhimmasta USB-kovalevystä. Enpä muista koska olisin sen tarkistanut.
Kestäisi varmaan ikuisuuden. XFS on vanhempi kuin Ext4 ja ollut vakaa jo silloin kun Ext4 systeemiä
vielä kehitettiin. XFS on alusta lähtien ollut 64-bittinen. RHEL 7.0 käyttää sitä oletuksena. Wikin mukaan
NASA Advanced Supercomputing Division käyttää sitä ja niiden käytössä levykoot ovat melkoisia.
Onhan niillä näyttökin "The hyperwall" jossa liki 400 G muistia .

Ext4 pakollinen tiedostojen tarkistys ei kyllä ole tätä päivää. Jos koneen käynnistys
kestää jopa kymmeniä minuutteja moisen takia ei ole kivaa.

[mrl586]

XFS on alusta lähtien ollut 64-bittinen.

Voiko XFS:ää käyttää 32-bittisillä koneilla?

[retu]

^ Voi!

Siinä siis tiedostojärjestelmän sisäiset osoitteet ovat 64-bittiset. Ei niinkään että olisi sidottu tiettyyn määrään bittejä cpu:ssa. Onpahan vaan laitettu vähän kasvunvaraa (max. tiedostokoko 8 EiB).

[Postimies]

Onpahan vaan laitettu vähän kasvunvaraa (max. tiedostokoko 8 EiB).

Kuinkahan paljon tuo 8 EiB mahtaa olla?

[kamara]

Onpahan vaan laitettu vähän kasvunvaraa (max. tiedostokoko 8 EiB).

Kuinkahan paljon tuo 8 EiB mahtaa olla?

8x1024x1024TiB

Jos oikein lukaisin wikipediasta.

Edit - Korjaus.

[Tomin]

Onpahan vaan laitettu vähän kasvunvaraa (max. tiedostokoko 8 EiB).

Kuinkahan paljon tuo 8 EiB mahtaa olla?

8192 PiB eli 8388608 TiB.
http://en.wikipedia.org/wiki/Binary_prefix

[Postimies]

8192 PiB eli 8388608 TiB.
http://en.wikipedia.org/wiki/Binary_prefix

Aika iso luku. Mihin tuon nyt suhteuttaisi.
DNA pystyy säilömään melkoisen määrän dataa.
Mahtaisiko kokoluokka olla lähelläkään samaa?

[Tomin]

8192 PiB eli 8388608 TiB.
http://en.wikipedia.org/wiki/Binary_prefix

Aika iso luku. Mihin tuon nyt suhteuttaisi.
DNA pystyy säilömään melkoisen määrän dataa.
Mahtaisiko kokoluokka olla lähelläkään samaa?

En usko, että DNA:lla on niin paljoa tietoa, mutta olisiko tuosta jotain hyötyä:
http://wikibon.org/blog/big-data-statistics/
Harmi etten löytänyt tietoja esimerkiksi siitä paljon Youtubessa on tavaraa. Se voisi olla samaa luokkaa.

Tuossa jotain muita lukuja:
http://paulwallbank.com/2012/08/23/how-much-server-space-do-internet-companies-need-to-run-their-sites/

In 2009 it was reported Google was planning to have ten million servers and an exabyte of information.

Eli 2009 Googlella olisi ollut suunnitelmissa yhden eksatavun tallennustila, mutta sekin on vain noin kymmenesosa tuosta. Saman artikkelin mukaan Facebookilla ja Microsoftilla oli vain sadoissa petatavuissa oleva tila. Eli tuo on ihan järkyttävän iso luku.