Kirjoittaja Aihe: Mikä tiedostojärjestemä ulkoiselle  (Luettu 426 kertaa)

Postimies

  • Käyttäjä
  • Viestejä: 2156
    • Profiili
Mikä tiedostojärjestemä ulkoiselle
« : 14.10.18 - klo:11.18 »
Olen miettinyt ison ulkoisen hankkimista valokuville ja muulle medialle.
Nyt mietin vähän xfs ja etx4 välillä. Molemmissa tietysti se ongelma että
Windows ei lue levyä. Ajattelin pistää ihan yhdeksi osioksi. Valokuvien
Kylkiäisenä tulee myös paljon xmp tiedostoja jotka pakkautuisivat hyvin,
muuten pakkailu turhaa.

kamara

  • Käyttäjä
  • Viestejä: 1914
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #1 : 14.10.18 - klo:12.32 »
Ei taida paljoa väliä kumpi, mutta itselläni on suurissa datamäärissä xfs, ja ne on toimineet moitteetta kymmenisen vuotta varastolevyinä.

Postimies

  • Käyttäjä
  • Viestejä: 2156
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #2 : 14.10.18 - klo:21.37 »
Ei taida paljoa väliä kumpi, mutta itselläni on suurissa datamäärissä xfs, ja ne on toimineet moitteetta kymmenisen vuotta varastolevyinä.

TV-tallenteet itsellä olleet pitkään xfs levyllä ja ongelmia ei ole ollut. Huonona puolena voi pitää sitä, että levyä ei voi pienentää. etx4 pirstaloituu helpommin - mutua. Btrfs tulee korvaamaan sen. xfs tuki tuskin loppuu 10 vuoden sisällä, muuta tulevaisuutta vaikea ennustaa. xfsprogs on ainakin puuttunut Ubuntun vanhemmista asennusmedioista. Sellaista ylläriä ei saisi tulla, että tuki tiedostojärjestelmälle loppuisi tai katoaisi kun joskus asentaa uuden systeemin. Nykyiset ulkoiset ext3 tai ext4. Olihan minulla joskus ReiserFS levykin, mutta sen tuki lienee loppunut Ubuntussa.

Tomin

  • Palvelimen ylläpitäjä
  • Käyttäjä / moderaattori+
  • Viestejä: 10430
    • Profiili
    • Tomin kotisivut
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #3 : 14.10.18 - klo:22.16 »
Red Hat panostaa xfs:ään. En näe syytä, miksi se yhtäkkiä katoaisi. Itse ehkä valitsisin tähän käyttöön sen, mutta myös ext4 on hyvä vaihtoehto, joten kumpikaan tuskin menee vikaan.
Automaattinen allekirjoitus:
Lisäisitkö [RATKAISTU] ketjun ensimmäisen viestin aiheeseen ongelman ratkettua, kiitos.

jekku

  • Käyttäjä
  • Viestejä: 1765
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #4 : 15.10.18 - klo:07.14 »
...
TV-tallenteet itsellä olleet pitkään xfs levyllä ja ongelmia ei ole ollut. Huonona puolena voi pitää sitä, että levyä ei voi pienentää. etx4 pirstaloituu helpommin - mutua. Btrfs tulee korvaamaan sen.
...

Kumpi tullee korvautumaan, xfs vai ext4?

Muistaakseni tuo btrsf oli työpaikalla joissain palvelimissa käytössä ja joku siinä tökki, en edes kokeillut kotikoneissa. (ja kerroin kollegoille että en koske em. palvelimen levysysteemeihin.)

Tarjoaako nykyinen xfs jotain erinomaista etua ext4:ään verrattuna?

SuperOscar

  • Käyttäjä
  • Viestejä: 3305
  • Tänään täällä, huomenna poissa
    • Profiili
    • Legisign.org
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #5 : 15.10.18 - klo:12.01 »
Kumpi tullee korvautumaan, xfs vai ext4?

ext4. Epävarmaa on lähinnä, millä se korvautuu.

Lainaus
Muistaakseni tuo btrsf oli työpaikalla joissain palvelimissa käytössä ja joku siinä tökki, en edes kokeillut kotikoneissa.

Tiedostotasolla yksikään tiedostojärjestelmä ei ole aiheuttanut minulle ongelmia, ja niitä on käytössä ehtinyt olla aika monta (ext2/3/4, reiserfs, xfs, btrfs ja taisinpa joskus kokeilla jfs:ääkin). btrfs on kuitenkin ainoa, josta on ollut jotain ongelmia. Se nimittäin tuntuu ajavan erilaisia siivous- ja järjestelyrutiineja aina silloin tällöin, yleensä aina hankalimpaan aikaan. Kone menee yhtäkkiä aivan polvilleen, kun yhden suorittimen tehoista otetaan 100 % tiedostojärjestelmätyöhön.

Muutenkin Linuxin vanhana ja nähtävästi ikuisena riesana on se, että I/O voi panna koneen täysin jumiin. Ei tarvitse kuin vähän isompaa tiedostoa kopioida NFS:n yli, ja mikä tahansa supermylly on yhtäkkiä seis.

Lainaus
Tarjoaako nykyinen xfs jotain erinomaista etua ext4:ään verrattuna?

Käsittääkseni lähinnä ”uskottavamman” vakauden. xfs on jo vanha veteraani siinä missä ext4 vielä nuori poikanen.
openSUSE Leap 15.0 (pöytäkone 1, kannettavat 1 & 2), Lubuntu 18.04 (HTPC), Linux Mint 19 (pöytäkone 2), Trisquel GNU/Linux 8.0 (kannettava 3), Raspbian GNU/Linux 9 (nimipalvelin)

nm

  • Käyttäjä
  • Viestejä: 12471
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #6 : 15.10.18 - klo:16.59 »
Muutenkin Linuxin vanhana ja nähtävästi ikuisena riesana on se, että I/O voi panna koneen täysin jumiin. Ei tarvitse kuin vähän isompaa tiedostoa kopioida NFS:n yli, ja mikä tahansa supermylly on yhtäkkiä seis.

Ei kyllä kuulosta ihan normaalilta. NFS:ssä verkko on normaalisti pullonkaulana levy-I/O:n sijaan isoja tiedostoja siirtäessä, ellei käytössä ole 10 gigabitin Ethernet. Itse en huomaa siirron vaikutusta koneen toimintaan lainkaan NFSv4:llä ja gigabitin Ethernetillä.

Ilmeneekö sama ongelma lokaalissa siirrossa levyltä toiselle, vai koskeeko tuo nimenomaan NFS:ää?

SuperOscar

  • Käyttäjä
  • Viestejä: 3305
  • Tänään täällä, huomenna poissa
    • Profiili
    • Legisign.org
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #7 : 15.10.18 - klo:17.00 »
Ilmeneekö sama ongelma lokaalissa siirrossa levyltä toiselle, vai koskeeko tuo nimenomaan NFS:ää?

Ei, kyllähän saman saa ilmenemään vaikka siirtämällä tavaraa USB:lle. Ongelma ei ole verkon nopeudessa eikä NFS:ssä, vaan siinä, että Linux antaa levykäytön saattaa koneen polvilleen.
openSUSE Leap 15.0 (pöytäkone 1, kannettavat 1 & 2), Lubuntu 18.04 (HTPC), Linux Mint 19 (pöytäkone 2), Trisquel GNU/Linux 8.0 (kannettava 3), Raspbian GNU/Linux 9 (nimipalvelin)

nm

  • Käyttäjä
  • Viestejä: 12471
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #8 : 15.10.18 - klo:17.13 »
Ei, kyllähän saman saa ilmenemään vaikka siirtämällä tavaraa USB:lle. Ongelma ei ole verkon nopeudessa eikä NFS:ssä, vaan siinä, että Linux antaa levykäytön saattaa koneen polvilleen.

Ei vastaa omaa kokemustani. Mikä I/O-scheduler järjestelmässä on käytössä?

Koodia: [Valitse]
cat /sys/block/sda/queue/scheduler
Minulla deadline on aina toiminut hyvin Ubuntun vakiosäädöillä.

SuperOscar

  • Käyttäjä
  • Viestejä: 3305
  • Tänään täällä, huomenna poissa
    • Profiili
    • Legisign.org
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #9 : 15.10.18 - klo:20.48 »
Mikä I/O-scheduler järjestelmässä on käytössä?

openSUSEssa näkyy olevan:

Koodia: [Valitse]
tn@aquinas% cat /sys/block/sda/queue/scheduler
noop [deadline] cfq

mutta saman tuloksen olen saanut kaikilla käyttämilläni koneilla kaikissa kokeilemissani järjestelmissä. NFS on tietysti tavallisin pullonkaula, koska USB:n yli ei gigatavuja niin usein siirrä. Lähinnä tökkimisen huomaa, kun kirjoittaa dd:llä levykuvaa tikulle.
openSUSE Leap 15.0 (pöytäkone 1, kannettavat 1 & 2), Lubuntu 18.04 (HTPC), Linux Mint 19 (pöytäkone 2), Trisquel GNU/Linux 8.0 (kannettava 3), Raspbian GNU/Linux 9 (nimipalvelin)

nm

  • Käyttäjä
  • Viestejä: 12471
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #10 : 15.10.18 - klo:22.40 »
mutta saman tuloksen olen saanut kaikilla käyttämilläni koneilla kaikissa kokeilemissani järjestelmissä. NFS on tietysti tavallisin pullonkaula, koska USB:n yli ei gigatavuja niin usein siirrä. Lähinnä tökkimisen huomaa, kun kirjoittaa dd:llä levykuvaa tikulle.

Okei, eli kyseessä on kirjoitusten puskurointi ja hitaan massamuistin aiheuttama pysähtyminen: https://lwn.net/Articles/572911/

En muista itse kohdanneeni tuota vuosiin, mutta /proc/sys/vm/dirty_background_ratio ja dirty_ratio -säätöjen vaikutusta kannattanee kokeilla. Ubuntussa oletusarvot ovat 5 ja 10, mutta 2 ja 3 voivat olla sopivammat. Swapilla voi olla myös vaikutusta asiaan: https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1267648