Kirjoittaja Aihe: Mikä tiedostojärjestemä ulkoiselle  (Luettu 16903 kertaa)

Postimies

  • Käyttäjä
  • Viestejä: 2619
    • Profiili
Mikä tiedostojärjestemä ulkoiselle
« : 14.10.18 - klo:11.18 »
Olen miettinyt ison ulkoisen hankkimista valokuville ja muulle medialle.
Nyt mietin vähän xfs ja etx4 välillä. Molemmissa tietysti se ongelma että
Windows ei lue levyä. Ajattelin pistää ihan yhdeksi osioksi. Valokuvien
Kylkiäisenä tulee myös paljon xmp tiedostoja jotka pakkautuisivat hyvin,
muuten pakkailu turhaa.

kamara

  • Käyttäjä
  • Viestejä: 2944
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #1 : 14.10.18 - klo:12.32 »
Ei taida paljoa väliä kumpi, mutta itselläni on suurissa datamäärissä xfs, ja ne on toimineet moitteetta kymmenisen vuotta varastolevyinä.

Postimies

  • Käyttäjä
  • Viestejä: 2619
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #2 : 14.10.18 - klo:21.37 »
Ei taida paljoa väliä kumpi, mutta itselläni on suurissa datamäärissä xfs, ja ne on toimineet moitteetta kymmenisen vuotta varastolevyinä.

TV-tallenteet itsellä olleet pitkään xfs levyllä ja ongelmia ei ole ollut. Huonona puolena voi pitää sitä, että levyä ei voi pienentää. etx4 pirstaloituu helpommin - mutua. Btrfs tulee korvaamaan sen. xfs tuki tuskin loppuu 10 vuoden sisällä, muuta tulevaisuutta vaikea ennustaa. xfsprogs on ainakin puuttunut Ubuntun vanhemmista asennusmedioista. Sellaista ylläriä ei saisi tulla, että tuki tiedostojärjestelmälle loppuisi tai katoaisi kun joskus asentaa uuden systeemin. Nykyiset ulkoiset ext3 tai ext4. Olihan minulla joskus ReiserFS levykin, mutta sen tuki lienee loppunut Ubuntussa.

Tomin

  • Palvelimen ylläpitäjä
  • Käyttäjä / moderaattori+
  • Viestejä: 11433
    • Profiili
    • Tomin kotisivut
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #3 : 14.10.18 - klo:22.16 »
Red Hat panostaa xfs:ään. En näe syytä, miksi se yhtäkkiä katoaisi. Itse ehkä valitsisin tähän käyttöön sen, mutta myös ext4 on hyvä vaihtoehto, joten kumpikaan tuskin menee vikaan.
Automaattinen allekirjoitus:
Lisäisitkö [RATKAISTU] ketjun ensimmäisen viestin aiheeseen ongelman ratkettua, kiitos.

jekku

  • Käyttäjä
  • Viestejä: 2624
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #4 : 15.10.18 - klo:07.14 »
...
TV-tallenteet itsellä olleet pitkään xfs levyllä ja ongelmia ei ole ollut. Huonona puolena voi pitää sitä, että levyä ei voi pienentää. etx4 pirstaloituu helpommin - mutua. Btrfs tulee korvaamaan sen.
...

Kumpi tullee korvautumaan, xfs vai ext4?

Muistaakseni tuo btrsf oli työpaikalla joissain palvelimissa käytössä ja joku siinä tökki, en edes kokeillut kotikoneissa. (ja kerroin kollegoille että en koske em. palvelimen levysysteemeihin.)

Tarjoaako nykyinen xfs jotain erinomaista etua ext4:ään verrattuna?

SuperOscar

  • Käyttäjä
  • Viestejä: 3993
  • Ocatarinetabellatsumtsum!
    • Profiili
    • Legisign.org
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #5 : 15.10.18 - klo:12.01 »
Kumpi tullee korvautumaan, xfs vai ext4?

ext4. Epävarmaa on lähinnä, millä se korvautuu.

Lainaus
Muistaakseni tuo btrsf oli työpaikalla joissain palvelimissa käytössä ja joku siinä tökki, en edes kokeillut kotikoneissa.

Tiedostotasolla yksikään tiedostojärjestelmä ei ole aiheuttanut minulle ongelmia, ja niitä on käytössä ehtinyt olla aika monta (ext2/3/4, reiserfs, xfs, btrfs ja taisinpa joskus kokeilla jfs:ääkin). btrfs on kuitenkin ainoa, josta on ollut jotain ongelmia. Se nimittäin tuntuu ajavan erilaisia siivous- ja järjestelyrutiineja aina silloin tällöin, yleensä aina hankalimpaan aikaan. Kone menee yhtäkkiä aivan polvilleen, kun yhden suorittimen tehoista otetaan 100 % tiedostojärjestelmätyöhön.

Muutenkin Linuxin vanhana ja nähtävästi ikuisena riesana on se, että I/O voi panna koneen täysin jumiin. Ei tarvitse kuin vähän isompaa tiedostoa kopioida NFS:n yli, ja mikä tahansa supermylly on yhtäkkiä seis.

Lainaus
Tarjoaako nykyinen xfs jotain erinomaista etua ext4:ään verrattuna?

Käsittääkseni lähinnä ”uskottavamman” vakauden. xfs on jo vanha veteraani siinä missä ext4 vielä nuori poikanen.
pöytäkone 1, kannettavat 1–3: Debian GNU/Linux 12; pöytäkone 2: openSUSE Tumbleweed; NUC: openSUSE Leap 15.5; RPi 1: FreeBSD 13.2-RELEASE; RPi 2: LibreELEC 11

nm

  • Käyttäjä
  • Viestejä: 16232
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #6 : 15.10.18 - klo:16.59 »
Muutenkin Linuxin vanhana ja nähtävästi ikuisena riesana on se, että I/O voi panna koneen täysin jumiin. Ei tarvitse kuin vähän isompaa tiedostoa kopioida NFS:n yli, ja mikä tahansa supermylly on yhtäkkiä seis.

Ei kyllä kuulosta ihan normaalilta. NFS:ssä verkko on normaalisti pullonkaulana levy-I/O:n sijaan isoja tiedostoja siirtäessä, ellei käytössä ole 10 gigabitin Ethernet. Itse en huomaa siirron vaikutusta koneen toimintaan lainkaan NFSv4:llä ja gigabitin Ethernetillä.

Ilmeneekö sama ongelma lokaalissa siirrossa levyltä toiselle, vai koskeeko tuo nimenomaan NFS:ää?

SuperOscar

  • Käyttäjä
  • Viestejä: 3993
  • Ocatarinetabellatsumtsum!
    • Profiili
    • Legisign.org
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #7 : 15.10.18 - klo:17.00 »
Ilmeneekö sama ongelma lokaalissa siirrossa levyltä toiselle, vai koskeeko tuo nimenomaan NFS:ää?

Ei, kyllähän saman saa ilmenemään vaikka siirtämällä tavaraa USB:lle. Ongelma ei ole verkon nopeudessa eikä NFS:ssä, vaan siinä, että Linux antaa levykäytön saattaa koneen polvilleen.
pöytäkone 1, kannettavat 1–3: Debian GNU/Linux 12; pöytäkone 2: openSUSE Tumbleweed; NUC: openSUSE Leap 15.5; RPi 1: FreeBSD 13.2-RELEASE; RPi 2: LibreELEC 11

nm

  • Käyttäjä
  • Viestejä: 16232
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #8 : 15.10.18 - klo:17.13 »
Ei, kyllähän saman saa ilmenemään vaikka siirtämällä tavaraa USB:lle. Ongelma ei ole verkon nopeudessa eikä NFS:ssä, vaan siinä, että Linux antaa levykäytön saattaa koneen polvilleen.

Ei vastaa omaa kokemustani. Mikä I/O-scheduler järjestelmässä on käytössä?

Koodia: [Valitse]
cat /sys/block/sda/queue/scheduler
Minulla deadline on aina toiminut hyvin Ubuntun vakiosäädöillä.

SuperOscar

  • Käyttäjä
  • Viestejä: 3993
  • Ocatarinetabellatsumtsum!
    • Profiili
    • Legisign.org
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #9 : 15.10.18 - klo:20.48 »
Mikä I/O-scheduler järjestelmässä on käytössä?

openSUSEssa näkyy olevan:

Koodia: [Valitse]
tn@aquinas% cat /sys/block/sda/queue/scheduler
noop [deadline] cfq

mutta saman tuloksen olen saanut kaikilla käyttämilläni koneilla kaikissa kokeilemissani järjestelmissä. NFS on tietysti tavallisin pullonkaula, koska USB:n yli ei gigatavuja niin usein siirrä. Lähinnä tökkimisen huomaa, kun kirjoittaa dd:llä levykuvaa tikulle.
pöytäkone 1, kannettavat 1–3: Debian GNU/Linux 12; pöytäkone 2: openSUSE Tumbleweed; NUC: openSUSE Leap 15.5; RPi 1: FreeBSD 13.2-RELEASE; RPi 2: LibreELEC 11

nm

  • Käyttäjä
  • Viestejä: 16232
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #10 : 15.10.18 - klo:22.40 »
mutta saman tuloksen olen saanut kaikilla käyttämilläni koneilla kaikissa kokeilemissani järjestelmissä. NFS on tietysti tavallisin pullonkaula, koska USB:n yli ei gigatavuja niin usein siirrä. Lähinnä tökkimisen huomaa, kun kirjoittaa dd:llä levykuvaa tikulle.

Okei, eli kyseessä on kirjoitusten puskurointi ja hitaan massamuistin aiheuttama pysähtyminen: https://lwn.net/Articles/572911/

En muista itse kohdanneeni tuota vuosiin, mutta /proc/sys/vm/dirty_background_ratio ja dirty_ratio -säätöjen vaikutusta kannattanee kokeilla. Ubuntussa oletusarvot ovat 5 ja 10, mutta 2 ja 3 voivat olla sopivammat. Swapilla voi olla myös vaikutusta asiaan: https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1267648

JaniAlander

  • Käyttäjä / moderaattori+
  • Viestejä: 3319
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #11 : 16.10.18 - klo:13.44 »
Minulla on ulkoisilla kovalevyillä aina ollut NTFS. Linuxin ja FreeBSD:n ajurit lukevat ja kirjoittavat sitä suht. kiltisti ja jos tarvitsee jotain dataa kuljetella vaikka kaverien Windows koneille, niin ei ole ongelmia.
Core i5-9400F 2.9ghz 32GB Ram, Nvidia RTX2060 Kubuntu 22.04-64bit, Windows 10 Pro 64-bit Samsung Series 5, AMD A-6 2.1 GHz 4 Gt Ram, Ubuntu 18.04 64-bit.
Lenovo T60 Core2Duo 2GB Ram Ati Mobility Radeon 128 MB Ubuntu Mate 16.04-64bit
Commodore Amiga 500 1MB Ram.

SuperOscar

  • Käyttäjä
  • Viestejä: 3993
  • Ocatarinetabellatsumtsum!
    • Profiili
    • Legisign.org
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #12 : 16.10.18 - klo:14.50 »
En muista itse kohdanneeni tuota vuosiin, mutta /proc/sys/vm/dirty_background_ratio ja dirty_ratio -säätöjen vaikutusta kannattanee kokeilla. Ubuntussa oletusarvot ovat 5 ja 10, mutta 2 ja 3 voivat olla sopivammat.

Näkyvät olevan 10 (dirty_background_ratio) ja 20 (dirty_ratio). Teenpä kokeen arvoilla ensin 2 ja 5 (jotka poimin tuolta linkistäsi).

Lainaus
Swapilla voi olla myös vaikutusta asiaan: https://bugs.launchpad.net/ubuntu/+source/linux/+bug/1267648

En ole käyttänyt sitä pöytäkoneessa ollenkaan, kun koneessa on kuitenkin 32 gigaa muistia.

Muoks: Muistinkäytöstä (KDE Plasma siis työpöytänä, auki Vivaldi-selain muutamalla välilehdellä ja Kontact).

Koodia: [Valitse]
tn@aquinas% free -m
              total        used        free      shared  buff/cache   available
Mem:          32102        2221       23419          47        6462       29387
Swap:             0           0           0
« Viimeksi muokattu: 16.10.18 - klo:14.55 kirjoittanut SuperOscar »
pöytäkone 1, kannettavat 1–3: Debian GNU/Linux 12; pöytäkone 2: openSUSE Tumbleweed; NUC: openSUSE Leap 15.5; RPi 1: FreeBSD 13.2-RELEASE; RPi 2: LibreELEC 11

fossiili

  • Käyttäjä
  • Viestejä: 785
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #13 : 30.10.18 - klo:12.08 »
Olen miettinyt ison ulkoisen hankkimista valokuville ja muulle medialle.
Nyt mietin vähän xfs ja etx4 välillä. ...
Hyvä keskustelun aihe :)

Jos kerran Red Hat suosii xfs-tiedostojärjestelmää niin kai sen pitäisi muillekin kelvata.

Mutta minulla on eri ongelma  :-[

Minulla on vanhoja pc-laatikoita, joihin tarvitsisi mieluummin nopeasti toimivaa "kovalevyä".- Ostin aikanaan kai edullisesti Samsung SSD 750 EVO sd-levyn 250 GB ja tein sinne 2 osiota, toinen ext4 ja toinen fat32 tiedostojärjestelmälle. Levyn lättäsin usb3 liitännäiseen SATA III telakkaan. Systeemi on kevyt ja kätevä siirtää mikrosta toiseen.

Muuten kuin että ext4-osiota ei saakkaan ilman muuta käyttöön, kuten fat32-osion.
Koodia: [Valitse]
Työpöytä$ cp Koo3bee2 /media/ukki/Linukka
cp: tavallisen tiedoston '/media/ukki/Linukka/Koo3bee2' luominen ei onnistu: Lupa evätty
$ ls /media/ukki/Linukka
lost+found

Olettaisin että terminaalissa oikeanlainen sudo-komento tyyliin +rw vapauttaisi kirouksesta?

Postimies

  • Käyttäjä
  • Viestejä: 2619
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #14 : 30.10.18 - klo:19.30 »
/media on kansio jonne liitetään automaattisesti löydetyt levyt. Tyyliin /media/käyttäjä/levy
Tuohon on Ubuntussa udev sääntö.

Siirrettävässä levyssä varmaan myös /home ja ainakin yksi käyttäjä oletusoikeuksin.

Tikut joissa fat eivät sisällä käyttäjän oikeuksia. Ext4 taas sisältää käyttäjäoikeudet.

Itse olen noita oikeuksia muutellut mc:llä (midnight commander) - merkkipohjainen
näppärä työkalu jota olen käyttänyt rootoikeuksin. Helpompi kuin chmod komentorivillä.
Ongelma poistunee palauttamalla oikeudet. esim chmod -R ug+rwX  /media/ukki/Linukka

nm

  • Käyttäjä
  • Viestejä: 16232
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #15 : 30.10.18 - klo:19.37 »
Ongelma poistunee palauttamalla oikeudet. esim chmod -R ug+rwX  /media/ukki/Linukka

Ennemmin asettamalla omistajaksi käyttäjän oma tunnus rootin sijaan:

Koodia: [Valitse]
sudo chown -R $USER: /media/ukki/Linukka
Tämän jälkeen sama ongelma saattaa kuitenkin olla vastassa jossain toisessa koneessa, jos käyttäjätunnuksen UID ei täsmää järjestelmien välillä. Yhden käyttäjätunnuksen tapauksessa hankaluuksia ei kuitenkaan välttämättä ilmene, ellei käytössä ole muita kuin Debian/Ubuntu-pohjaisia Linux-jakeluita. Muussa tapauksessa UID:t eivät välttämättä täsmää eri järjestelmissä, ja tilanteen korjaaminen voi olla suhteellisen hankalaa. Silloin suosittelen ennemmin verkkolevyjakoa tai NAS-palvelinta tiedostojen jakamiseen ja säilömiseen.
« Viimeksi muokattu: 30.10.18 - klo:19.45 kirjoittanut nm »

fossiili

  • Käyttäjä
  • Viestejä: 785
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #16 : 31.10.18 - klo:12.02 »
Kiitokset hyvistä neuvoista! Luultavasti toimin vastaisuudessa niin että formatoin "kovalevyn" FAT36 muotoon. Pääsen vähimmällä  ::)

Olen napsinut melkoisen määrän digikuvia. Haluan jättää ne jälkipolville. Ehkä xfs-järjestelmällä tallennettuna.

jekku

  • Käyttäjä
  • Viestejä: 2624
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #17 : 31.10.18 - klo:13.30 »
....
Olen napsinut melkoisen määrän digikuvia. Haluan jättää ne jälkipolville. Ehkä xfs-järjestelmällä tallennettuna.

Kuinkas laajalti tuo xfs on käytettävissä? Jos oikein muistan niin tenavilla on vain noita Applen systeemejä.
Vai pitäisiköhän tehdä yksi kone jossa julkinen salasana perikuntaa varten.

juylii

  • Käyttäjä
  • Viestejä: 92
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #18 : 31.10.18 - klo:21.45 »
Kuinkas laajalti tuo xfs on käytettävissä? Jos oikein muistan niin tenavilla on vain noita Applen systeemejä.
XFS-tiedostojärjestelmä lienee vain vapaiden järjestelmien Linux/Unix:ia  käytettävissä. Luullakseni vfat/fat32 toimivat lähes kaikissa järjestelmissä. NTFS-tiedostojärjestelmä toimii nykyaikaisissa Window-järjestelmissä, ja useimmissa Linux/Unix -järjestelmissä niille on tuki.
Lisäinfoa tiedostojärjestelmistä: https://www.linux.fi/wiki/Tiedostoj%C3%A4rjestelm%C3%A4

Lainaus
  Vai pitäisiköhän tehdä yksi kone jossa julkinen salasana perikuntaa varten.
Linux/Unix -tiedostojärjestemissä voi myös ulkoisillekin laitteilla olevilla tiedostoille ja hakemistoille antaa sopivasti erilaisia oikeuksia omistajuuteen, ryhmään, lukuun, kirjoittamiseen tai ns. ajo-oikeuksiin (rwx).
https://www.linux.fi/wiki/Tiedoston_oikeudet

kx

  • Käyttäjä
  • Viestejä: 701
    • Profiili
Vs: Mikä tiedostojärjestemä ulkoiselle
« Vastaus #19 : 01.11.18 - klo:12.52 »
Olen napsinut melkoisen määrän digikuvia. Haluan jättää ne jälkipolville. Ehkä xfs-järjestelmällä tallennettuna.

Olen kohdannut saman vaatimuksen, että otathan sitten nämä minun kuvaamani hienot valokuvat ja kansiot, kun aika minusta jättää. Tarjolla oli siis monenlaista maisemakuvaa ja samaa henkilöä edestä ja takaa. Sanoin, etten vältttämättä halua perehtyä muiden ottamiin valokuviin. Vastaus ei tietenkään tuntunut kuulijasta mukavalta. Mutta näin se vaan on. Jokaisen kannattaa tyhjentää oma pöytänsä ja tiedostonsa riittävän tyhjäksi niin kauan kuin siihen kykenee.  :D
HP Pro Intel i5-3470 core 4  3,2,Hz RAM 8 Gb+Kingston 240Gt SSD+ nVidia Gt730+Ubuntu 22.04 lts + W10Pro64-bit ja Samsung ML-2165 sekä CanoScan Lide300