Kirjoittaja Aihe: Btrfs - Uusi tiedostojärjestelmä  (Luettu 5375 kertaa)

Ux64

  • Käyttäjä
  • Viestejä: 586
    • Profiili
Btrfs - Uusi tiedostojärjestelmä
« : 04.08.09 - klo:07.34 »
Eli tämä on tulossa, mutta ei vielä käytössä. Korvaa ext3 ja ext4 järjestelmät. Tässä lyhyt mutta ytimekäs artikkeli aiheesta:
http://lwn.net/Articles/342892/

Jatketaan tähän sitten kun asiasta tulee keskustelua tai asia tulee ajankohtaisemmaksi.

Vanhempi ext4:sta käsittelevä ketju täällä:
http://forum.ubuntu-fi.org/index.php?topic=13776.0

Hyvältähän tuo näyttää ainakin teoriassa.

gdm

  • Sitä saa mitä tilaa...
  • Käyttäjä
  • Viestejä: 4363
    • Profiili
    • Keskustelualueiden säännöt
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #1 : 04.08.09 - klo:08.25 »
Eli tämä on tulossa, mutta ei vielä käytössä. Korvaa ext3 ja ext4 järjestelmät.

Ei pitäisi "korvata" vaan tarjoaa vaihtoehdon.
mutta odotellaan, miten kehittyy niin voisi kokeilla.
Lisää [Ratkaistu] aloitusviestiin jos ongelmasi selviää!
Saamasi tuki on ilmaista, joten älä vaadi tai uhkaile saadaksesi apua!

Lasse.

  • Käyttäjä
  • Viestejä: 1668
  • Techjunkie.
    • Profiili
    • Liquid Flower Games
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #2 : 04.08.09 - klo:08.26 »
Joop, mielenkiintoseltahan tuo vaikuttaa. Saapa vaan nähdä, että miten paljon noista ominaisuuksista peruskäyttäjä hyötyy, esimerkkinä nyt nuo snapshotit.
Itsellä sattui tuo pitkästä aikaa silmään, kun kääntelin tuossa itselleni tähän Archiin kernel 2.6.31-rc5:n, ja asetuksia tehdessä näytti olevan filesystems-valikossa tuokin olevan, tosin sielläkin varoitettiin info-tekstissä isoin kirjaimin, ettei sovellu käyttöön vielä.
Kone 1: Intel Core i5 2500K, 8GB DDR3, nVidia GTX 560 Ti 1GB, 2x1TB & 1x 250GB HDD, Windows 7 & Arch
Kone 2: Lenovo Ideapad Z370 (i5-2410M, 4GB RAM & GeForce 410M) Chakra
Google LG Nexus 4 (ParanoidAndroid)
Linuxia noin vuodesta 2004.

Ux64

  • Käyttäjä
  • Viestejä: 586
    • Profiili
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #3 : 04.08.09 - klo:09.09 »
Ei pitäisi "korvata" vaan tarjoaa vaihtoehdon.
mutta odotellaan, miten kehittyy niin voisi kokeilla.

Oikeassa olet. Mä olen ehkä liian uppoitunut yritysmaailmaan, tehokkuuteen ja sitä myöten myös asioiden yksinkertaistamiseen. Periaateena on se, että kun joku ratkaisu on hyväksi havaittu sitä pyritään käyttämään kaikkialla. Vaikka muita legacy ratkaisuita olisikin tarjolla. Usein tuntuu että Linux/Unix mailman monimuotoisuus tuottaa lähinnä päänvaivaa. Silloin kun olisi tarve yhdelle, toimivalle ja yksinkertaiselle tehokkaalle ratkaisulle.

Näin ollen oma ajatusmallini perustui siihen, että kun on uusi (ja parempi / tehokkaampi ?) tiedostojärjestelmä joka on mahdollisesti distrojen oletuksena, niin oikeastaan kukaan ei vaivautuisi pääsääntöisesit käyttämään vanhempaa vaihtoehtoa.

Offtopic block alkaa
Toisaalta todettakoon sellainenkin järkytyksen aihe, että mm. Acerin läppärit XP:llä lähtivät aina niin että tiedostojärjestlemänä on fat32 ja jos sen konvertoi NTFS:ksi, niin jotkut koneen ominaisuudet eivät enää toimeet. Että siinä sitä järkyttävää legacy systemiä pakkosyötettiin ihmisille. En ole tarkistanut onko uudemmissa Vista Acereissa NTFS oletuksena, mutta luulisin että Vistaa ei edes fat32:lla saa (onneksi) asennettua.

Toisaalta sitten kun itse satun olemaan sillä tuulella että haluan nälviä toisia, niin kaivan aina jotain kuriositeetti mäisiä mahdollisuuksia soveltaa jotain asiaa. Joku väittää että tcp/ip, dhcp tms palvelu toimii jollain tavalla. Unohtaen sen, että speksit antavat mahdollisuuden käyttää sitä monella muullakin tavalla. Mitä sitten jos 99.99% maailman asennuksista toimii jollain tavalla? Ei se tarkoita sitä, että konfiguraatio joka ei vastaa mitään noista use caseja olisi speksien mukaan virheellinen. (Kuten se, millaista allokaattoria fatin kanssa käytetään, se ei vakuita datan struktuuriin levyllä -> se on edelleen fat yhteensopiva)

Juuri em ongelmien kanssa tappeli IPSECin kanssa. Kuinka moni käyttää esim agressiivisia one to many IPSEC tunneleita siten että kaikki IP-osoitteet ratkaisussa on dynaamisia. Johan alkoi löytymään merkkilaitteistakin bugeja. Konfiguraatio ei ole speksin vastainen, mutta oikeastaan kukaan ei koskaan käytä sitä. -> Ongelmia pulppusi esiin ja korjattiin pitkään ja hartaasti. Sanoisin että suurimmassa osassa palomuureja jopa IPSEC on rikki noilta osin varsinkin jos perustuvat linuxiin. State machine hajosi todella usein, tunnelit olivat auki tai kiinni riippumatta siitä mikä niiden oikea tila oli jne.  Rikki mm. watchguard (ei jos käytetään pelkästään watchguardeja), zyxel (zywakk 5-35), telewell (ei enää 515 mallista alkaen), StoneGate (jos käytetään geneeristä ipsec clienttiä heidän oman sijasta) ja pari muutakin merkkiä joita testasin. Vielä kun ongelmaa monimutkaisti käyttämällä useita eri PSK avaimia noiden tunneleiden kanssa, niin osa laiteista sekosi täysin. Kaikissa laitteeseen tulevissa tunneleissa piti ehdottomasti käyttää samaa PSK:ta, tai muuten mikään ei toiminut. Ilmeisesti IKE ja SA kättelyillä oli joku korrellaatio. Niin että järjestelmä ei tunnistanut, että voi tulla useita eri salausavaimella varustettuja IKE kättelyitä. Mutta nämäkin saatiin korjattua pitkän sotimisen jälkeen. Kumma kyllä, valmistajat aina väitti ettei heidän tuotteessaan ole mitään vikaa, ennen kuin toimitti täydellisen konfiguraation jolla ne eivät vaan kertakaikkiaan toimi, jossa ei ole mitään väärin. Monesti valmistajien tarjoamat selitykset siihen miksei systeemi toimi olivat niin huonoja, että hävetti ihan toimittajien puolesta. Toivoisin että selitys ongelman syystä olisi edes jollain tavalla looginen ja liittyisi ongelmaan. Mainittakoon mm. että DNA:n asiakaspalvelu kuuluu tähän ryhmään. Hienoa kun ei edes ymmärretä mistä ongelmassa on oikeasti ja teknisesti kyse ja sitten annetaan jotain vakio selityksiä siihen miksei (muka) toimi.

Yleensä valtavirrasta poikkeaminen tietää aina verenkaivamista nenästä. Olisi kiva katsoa mitä ongelmia ilmenee pelkästään sen takia että NTFS levyllä käyttäisi jotain outoa klusterikokoa, ihan salettiin tulisi jotain hämäriä ongelmia jonkun soveluksen kanssa jossain vaiheessa. Vaikka modulit kuten levyjärjestelmä pitäisi olla itseniäsiä, niin ettei ne vaikuta muihin järjestelmiin. Niin mistähän mahtaa ne firefoxin jumitumiset johtua ext4:lla, onko vika firefoxissa vai ext4:ssa. Siitä saa sitten tapella pitkään ja hartaasti. Yhden torrent clientin kanssa tappelin ikuisuuden parin trackerin kanssa. Molemmat vakuutti ettei ole mitään vikaa, ei ole clientissä, eikä träkkerissä. Homma vaan ei toimi. Ei kai siinä auta muu kuin todeta, että ei toimi ja sillä selvä. Kun kumpikaan osapuoli ei voi edes keskustella siitä, että olisi jotain vikaa. Ehkä tietysti ylläpidon asenteessakin on silloin jotain vikaa, mutta se nyt on ihan normaalia.

Omiin paheisiini kuuluu permutoida kaikki jonkun järjestelmä asetukset ja erityisesti kaivaa sellaisia ritsiriitaisia asetuksia joita varmasti kehittäjät eivät ole koskaan ajatelleet. Mutta ovat silti jostain syystä jättäneet sallituksi. Ja tällä tavalla on kyllä bongattu vuosien saatossa tuhansia bugeja.

Älkää kiitos vastatko tähän offtopic osuuteen, koska se ei tähän ketjuun kuulu. - Kiitos - Offtopic block loppuu
« Viimeksi muokattu: 04.08.09 - klo:09.37 kirjoittanut Ux64 »

SuperOscar

  • Käyttäjä
  • Viestejä: 4047
  • Ocatarinetabellatsumtsum!
    • Profiili
    • Legisign.org
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #4 : 04.08.09 - klo:12.47 »
Tuohon korvaa/tarjoaa vaihtoehdon -kysymykseen:

Btrfs ”tarjoaa vaihtoehdon” ext3/4:lle varmaan samassa mielessä kuin ext3 ”tarjosi vaihtoehdon” ext2:lle: kunhan uudempi tiedostojärjestelmä on saanut riittävästi testejä alleen, kukaan ei käytä vanhempaa ellei siihen ole erityistä syytä.

Saa nähdä. Itselläni juurihakemistoa lukuun ottamatta on nykyisin vain XFS-osioita, koska niiden avulla välttyy ext3:n vähän väliä buuttivaiheessa käynnistämältä levyntarkistusistunnolta. XFS voisi olla luonnollista korvata ext4:lla tai btrfs:llä, kunhan aika saa.
pöytäkone 1, NUC: openSUSE Leap 15.6, kannettavat 1–3: Debian GNU/Linux 12; pöytäkone 2: openSUSE Tumbleweed; RPi 1: FreeBSD 14-RELEASE; RPi 2: LibreELEC 11

Stargazers

  • Käyttäjä
  • Viestejä: 549
    • Profiili
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #5 : 04.08.09 - klo:18.30 »
Voisiko joku ystävällisesti tiivistää suomeksi mitä etuja tuossa on? En oikein saanut irti sitä pointtia että mitä tuossa nyt on parempaa/hienompaa?

Lasse.

  • Käyttäjä
  • Viestejä: 1668
  • Techjunkie.
    • Profiili
    • Liquid Flower Games
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #6 : 04.08.09 - klo:19.51 »
Selkeämpi listaus ominaisuuksista täältä. Käsittääkseni ainakin dynaaminen inodejen jakaminen joka mahdollistaa, ettei tiedostojärjestelmä ole kokorajoituksia, vaan se skaalautuu minkäkokoiselle järjestelmälle tahansa, sekä snapshottien luonti joiden avulla tiedostoja voidaan katsella ajan mukaan, vastaava ominaisuus on Solariksen ZFS-tiedostojärjestelmässä ja Macissa tämä ominaisuus taitaa olla nimellä Timemachine. En itsekkään niin paljon noin teknisistä termeistä ymmärrä, joten jos jotain sanoin väärin niin korjatkaa ihmeessä, ja osaavat mielellään selittäkää muitakin puolia.
Kone 1: Intel Core i5 2500K, 8GB DDR3, nVidia GTX 560 Ti 1GB, 2x1TB & 1x 250GB HDD, Windows 7 & Arch
Kone 2: Lenovo Ideapad Z370 (i5-2410M, 4GB RAM & GeForce 410M) Chakra
Google LG Nexus 4 (ParanoidAndroid)
Linuxia noin vuodesta 2004.

Ux64

  • Käyttäjä
  • Viestejä: 586
    • Profiili
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #7 : 17.08.09 - klo:10.55 »
Snapshottien tarve voi jäädä kotikäytössä aika vähäiseksi. Mutta ainahan toi on loisto ominaisuus esim distribution upgrade yhteydessä tai jos palvelimella tekee jotain ratkaisevia päivityksiä / muutoksia.

Säästyy siis datan kopioimiselta talteen, ennen päivitystä. Joka voi olla ongelma jos on aivan hirvittävästi dataa. Toisaalta, pitäisihän se data aina olla backupeilla.

Lasse.

  • Käyttäjä
  • Viestejä: 1668
  • Techjunkie.
    • Profiili
    • Liquid Flower Games
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #8 : 26.08.10 - klo:20.26 »
Nostetaanpas tämä ylös. Asensinpa tänään Archbootin avulla Archin uusiksi ja otin btrfs:n käyttöön. Saapa nähdä miten kauan toimii, kaikki data on kyllä tallessa, että jos hajoaa käsiin niin ei ole kuolemaksi. Kernelinä toimii 2.6.35.
Kone 1: Intel Core i5 2500K, 8GB DDR3, nVidia GTX 560 Ti 1GB, 2x1TB & 1x 250GB HDD, Windows 7 & Arch
Kone 2: Lenovo Ideapad Z370 (i5-2410M, 4GB RAM & GeForce 410M) Chakra
Google LG Nexus 4 (ParanoidAndroid)
Linuxia noin vuodesta 2004.

Fri13

  • Käyttäjä
  • Viestejä: 465
    • Profiili
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #9 : 27.08.10 - klo:10.19 »
Saa nähdä. Itselläni juurihakemistoa lukuun ottamatta on nykyisin vain XFS-osioita, koska niiden avulla välttyy ext3:n vähän väliä buuttivaiheessa käynnistämältä levyntarkistusistunnolta. XFS voisi olla luonnollista korvata ext4:lla tai btrfs:llä, kunhan aika saa.

Ehkä olisi kannattanut laittaa asetuksista se tarkistusaika pidemmäksi tai peräti poistaa käytöstä? ;)
Mutta silloin täytyy muistaa aina tietyin aikavälein suorittaa tarkistus ihan vain varmuuden vuoksi.

sekä snapshottien luonti joiden avulla tiedostoja voidaan katsella ajan mukaan, vastaava ominaisuus on Solariksen ZFS-tiedostojärjestelmässä ja Macissa tämä ominaisuus taitaa olla nimellä Timemachine.

TimeMachine ei käytä snapshotteja vaan se on rdiff toteutus kauniilla graafisella käyttöliittymällä.
Snapshotit on kelvollisia vain tiedostojen versiointiin mutta ei mitenkään varmuuskopiointiin. Jos kiintolevy poksahtaa tai kone varastetaan niin tiedot ovat mennyttä, eli eivät ole mitenkään varmistettu. Aivan sama asia on että jotkut kuvittelee että RAID pakat olisi varmuuskopioita. Että vaikka olisi RAID 1 tai 1+0 niin se suojaa kyllä peilatun levyn hajoamiselta mutta ei suojaa poistovirheiltä, muilta kirjoitusvirheiltä tai varkauksilta. Tiedostot häviää.

Snapshotit on ihan kiva vekkuli extra mutta tavalliselle käyttäjälle turha jos ei ole varmuuskopiointia ja etenkin jos ei ole helppoa tapaa saada katsoa vanhempia versioita tiedostoista ja että versiot tehtäisiin vain tietyistä tiedostoista automaattisesti. Muuten syö melko turhaan kiintolevytilaa. Mutta työtiedostoja nyt mahtuu reippaasti mutta jos lähtee videot snapshotteihin niin tilan tarve nopeutuu.

Ganymedes

  • Käyttäjä
  • Viestejä: 3915
    • Profiili
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #10 : 27.08.10 - klo:11.15 »
En tiedä yhtään miten btfrs hoitaa snapshotteja mutta yllä esitetyn perusteella, ehkä on samanlainen kuin VMware vakiotekniikka.

En kyllä haavoittuvalle fyysiselle koneelle ihan ensimmäiseksi laittaisi (VMwaren kaltaisia) snapshotteja päälle. Haavoittuva siinä mielessä, että virtuaalikoneestahan saa triviaalilla tavalla milloin hyvänsä 1:1 varmuus/rinnakkaiskopion. Nimittäin sitten kun snapshotin laittaa päälle, ei levyn tilantarve voi koskaan pienentyä, se vain suurenee koko ajan - eli mitäänhän ei koskaan oikeasti tuhota levyltä sen jälkeen kun ensimmäinen snapshot on tehty, tiedostot vain merkitään tuhotuiksi. Virtuaalikoneella on helppoa palata vanhaan tilanteeseen kun sen edellisen tilanteenkin voi varmistaa koska hyvänsä.

E.m. syistä johtuen snapshot-kone on myös paljon hitaampi kuin tavallinen kone - hyvin oleellista koneilla joissa on hitaat levyt = läppärit. Jos snapshottia käyttää levyllä jossa käsitellään suuria datamääriä, niin tilantarve karkaa käsistä melko nopeasti.

Olen samaa mieltä, että RAIDia ihan turhaan sekoitetaan varmuuskopiointiin. RAIDin käyttöidea on aivan muualla kuin varmuuskopioinnissa. Snapshotin käyttö nyt ei ainakaan ole mitään varmuuskopiointia.

... toisaalta voi olla, että tämä tiedostojärjestelmän snapshot on jotain aivan muuta ...

Lasse.

  • Käyttäjä
  • Viestejä: 1668
  • Techjunkie.
    • Profiili
    • Liquid Flower Games
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #11 : 27.08.10 - klo:12.29 »
Hmmh, mitenhän minulle oli jäänyt kuva, että Timemachine olisi toiminut vastaavalla tavalla. No hyvä, että korjasit, jossei asia näin ole.
Kone 1: Intel Core i5 2500K, 8GB DDR3, nVidia GTX 560 Ti 1GB, 2x1TB & 1x 250GB HDD, Windows 7 & Arch
Kone 2: Lenovo Ideapad Z370 (i5-2410M, 4GB RAM & GeForce 410M) Chakra
Google LG Nexus 4 (ParanoidAndroid)
Linuxia noin vuodesta 2004.

retu

  • Käyttäjä
  • Viestejä: 949
    • Profiili
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #12 : 27.08.10 - klo:13.56 »
Snapshot voi varmaan tarkoittaa montaa asiaa, mutta eikö tuossa ole tarkoitus toteuttaa zfs vastaava ominaisuus (copy-on-write)? Snapshotin teko ei siis kopioi mitään, vaan merkkaa vain hetken josta eteenpäin muutokset tallennetaan uuteen kohtaan.

Periaatteessa kuten versiohallinta, mutta muutokset varausyksiköittäin. Jos ison tiedoston loppuun lisätään pari riviä, koko tiedostoa ei kopioida. Tilaa kuluu vain yhden varausyksikön verran enemmän.

Toisaalta, jos 2Gt videosta leikataan mainokset pois, tilaa ei välttämättä kulu paljon enemmän. Esim. 8 leikkauskohtaa -> 8 uutta varausyksikköä.

Ganymedes

  • Käyttäjä
  • Viestejä: 3915
    • Profiili
Vs: Btrfs - Uusi tiedostojärjestelmä
« Vastaus #13 : 27.08.10 - klo:14.19 »
Tuolla edellä tarkoitin sitä, että jos meillä on Snapshot, johon voi palata - en tiedä voiko btfrs systeemissä palata vanhaan tilanteeseen vai ei, mutta jos voi - niin, ajatellaanpa esim. 2 GB:n videotiedostoa joka konvertoidaan toiseen muotoon joka lopputulos jää käyttäjälle talteen. Käyttäjä tuhoaa alkuperäisen tiedoston, mutta oikeasti sitä ei voi järjestelmästä tuhota, koska tällöin vanhaan tilanteeseen ei voisi koskaan palata. Jos siis järjestelmässä käsitellään paljon isoja tiedostoja, jokainen ymmärtää, että Snapshot päällä työskentelyssä tilantarve pompsahtaa. Eli jos meillä on Snapshot päällä, niin tässä systeemissä mitään ei voi koskaan oikeasti tuhota. Näin tietysti on asianlaita kaikenlaisissa järjestelmissä, joissa säilytetään historiaa (esim. tietokannoissa joissa on tallessa jokaisen attribuutin historia). Tällaiset järjestelmät ovat myös ymmärrettävästi hitaampia.

Se, että millä tasolla mikäkin toimii, attribuutti, dokumentti, varausyksikkö, tiedosto vai mikä, riippuu järjestelmästä ja sen luonteesta - käsittääkseni eivät ole aivan yksinkertaisia toteuttaa.

Muutostilanteissa varmaan noin kuin kirjoitit.