Bcache: SSD & HDD hybridi softalla

[Sami Lehtinen]

Bcache is a Linux kernel block layer cache. It allows one or more fast disk drives such as flash-based solid state drives (SSDs) to act as a cache for one or more slower hard disk drives.

Monella on varmaan tilanne jossa vanha SSD on käynyt pieneksi? Nyt on mitä mainioin mahdollisuus hyödyntää se tehokkaasti.  Ratkaisussa SSD levystä tehdään cache, joka säilyttää eniten käytetyt tiedot ja tallentaa kirjoitukset (haluttaessa) SSDlle ensin.

60 gigan SSD levy esimerkiksi 2-3 teran levyn parina on loistava ratkaisu. Päivittäistä levykäyttöä tulee ns. koti/toimiston peruskäytössä tuskin koskaan niin paljon etteikö SSD:n tila riittäisi. Monesti kuulee puheita siitä, että 60 giganen olisi liian vähän. Mä melkein löisin vetoa sen puolesta että useimmille käyttäjille riittäisi 8 giganen SSD. Kun sinne laitetaan vain ne tiedot, joita oikeasti päivittäin tarvitaan.

Ajattelin tuota testailla tässä lähipäivinä ihan huvikseni, mutta voisi kuulua seuraavan koneen vakio kokoonpanoon.

Tässä linkki vanhempiin hybridikeskusteluihin.

Olisi kiva kuulla kokemuksia näistä ratkaisuista. Isommissa kuvioissahan nää on ihan vakkaria, samoin kuin mm. RAID-ohjainten massiiviset välimuistit varmennuksineen. Mutta kotikäytössä ei ole tullut vielä tuunattua. Monet käyttää myös SSD / HDD yhdistelmiä SANeissaan, joissa edut tulee ihan varmasti ja selkeästi esille parempana suorituskykynä ja suurempana / edullisempana tallennustilana.

Kustannussäästö virittelijöille myös vinkkinä se, että 'liian pieniä' SSD levyjä löytyy halvalla reilusti jälkimarkkinoilta, kun ihmiset eivät osaa hyödyntää niitä tällä tavalla.

Vielä pari asiaan kuuluvaa linkkiä:
dm-cache vähän toisenlainen ratkaisu, sama tavoite.
flashcache vielä yksi ratkaisu lisää.

Sekä vielä yleistä infoa SSD levyistä, tiedostojärjestelmistä ja niihin liittyvistä haasteista:
Flash memory has come a long way. Now it's time for software to catch up.

Windows käyttäjiä voi kiinnostaa Intel SRT-tekniikka, joka toistaiseksi käsittääkseni toimii vain Windowssin kanssa ja vaatii myös emolevyltä tuen.

KW: ssd, filesystem, tiedostojärjestelmä, optimointi, cache, välimuisti, ntfs, ext4, btrfs, tietoa, mikä, paras, parhaiten, nopea, nopeampi, nopein, nopeasti, käynnistyy, i/o, luku, kirjoitus, raid, tallennusjärjestemä, menetelmä, software, ohjelmisto, pohjainen, linux, linuxille, linuxiin.

[Storck]

Toinen viesti poistettu, ei tuplana.

[Sami Lehtinen]

Toinen viesti poistettu, ei tuplana.

Täysin off-topic jupinat vaan tähän väliin, kun postasit kerran tuon ei tuplana publiccina, etkä privana.

Sori. Mä kelasin että cross-postaamisesta ja linkittämisestä ristiin olisi hyötyä. Koska jos löytää toisen keskustelun, on todennäköisesti kiinostunut siitä toisestakin. Siksi halusin siis linkata vanhasta hybridilevy-keskustelusta tähän keskusteluun, jotta sen löytäneet löytäisivät myös tämän keskustelun. Mutta ehkä se on sitten sääntöjen vastaista. Henkilökohtaisesti ainakin arvostaisin tämän kaltaisia linkityksiä, silloin kun tietoa olen etsimässä. Jos vaan joku on niin ystävällinen, että viitsii samaan aihealueeseen liittyvät keskustelut niputtaa yhteen linkeillä.

Ehkä tästä pitäisi avata oma keskustelunsa johonkin. Mutta ehh, sittenhän se olisi taas tuplana. Okei, ei väkisin.

[Postimies]

Mieleenkiintoista. Pieni Atom Ion tarvitsisi isomman levyn. Vain yksi 2,5" levy-paikka. Nopeudella merkitystä vain käynnistyksessä ja ehkä ohjelmien kääntämisessä. Tärkeintä olisi hiljaisuus ja pieni lämmöntuotto. Olen ajatellut jotain 750G tai Teran levyä jossa kierroksia olisi vain 5400.  Tuollainen hybridi voisi olla hyvä vaihtoehto. Pöytäkoneessa on SSD + 2 kpl isompia limppuja

[meizirkki]

Tää on oikein fiksun kuuloinen juttu. Mulla on tilanne sellanen että käytettävissä olis nopea muistikortti, mutta kone ei osaa buutata sieltä. Jos saisi käyttiksen sinne, niin hakuajat nopeutuisi huomattavasti.

[Sami Lehtinen]

Tuollainen hybridi voisi olla hyvä vaihtoehto. Pöytäkoneessa on SSD + 2 kpl isompia limppuja

Niin siis perinteinen hybridi jossa tuossa toisessa kesksutelussa oli juttua. Jos haluaa käyttää softapohjaista ratkaisua, silloin voi käyttää nopeaa muistikorttia tai mm. PCI (PC Card) paikkaan laitettavaa SSDtä lisänä.

[Sami Lehtinen]

Tää on oikein fiksun kuuloinen juttu. Mulla on tilanne sellanen että käytettävissä olis nopea muistikortti, mutta kone ei osaa buutata sieltä. Jos saisi käyttiksen sinne, niin hakuajat nopeutuisi huomattavasti.

Ei osaa bootata? Boottaus on Linuxin kanssa varsin monivaiheinen prosessi. Joten se ainoa oikea alkuperäinen MBR ja siihen liittyvä bootloaderi, eli esim. grub2 voi olla ihan muualla kuin kerneli, rootti, cachet ja muut datat, tms.

Mulla on ollut usein niin että käyttislevy ei ole boottaava levy. Tästä on tietty se haitta, että jos tuo boottaava levy hajoaa, joka ei ole käyttislevy niin sitten tulee säätämistä. Mutta se on sen ajan murhe se. Samoin FDE (Full Disk Encryption) harjoitukset / leikit tekee oikein hyvää oppimisprosessin ja asioiden sisäistämisen kannalta.

Kannattaa joskus leikkiä vaikka verkkobootin (PXE) ja TFTP:n tms kanssa, niin tulee tutuksi noi vaiheet. Eli vähintään viidessä vaiheessa mennään (mbr, stage 1, stage 2, kernel, init) joka tapauksessa käyttiksen latauksen kanssa.

[meizirkki]

Tää on oikein fiksun kuuloinen juttu. Mulla on tilanne sellanen että käytettävissä olis nopea muistikortti, mutta kone ei osaa buutata sieltä. Jos saisi käyttiksen sinne, niin hakuajat nopeutuisi huomattavasti.

Ei osaa bootata? Boottaus on Linuxin kanssa varsin monivaiheinen prosessi. Joten se ainoa oikea alkuperäinen MBR ja siihen liittyvä bootloaderi, eli esim. grub2 voi olla ihan muualla kuin kerneli, rootti, cachet ja muut datat, tms.

Mulla on ollut usein niin että käyttislevy ei ole boottaava levy. Tästä on tietty se haitta, että jos tuo boottaava levy hajoaa, joka ei ole käyttislevy niin sitten tulee säätämistä. Mutta se on sen ajan murhe se. Samoin FDE (Full Disk Encryption) harjoitukset / leikit tekee oikein hyvää oppimisprosessin ja asioiden sisäistämisen kannalta.

Kannattaa joskus leikkiä vaikka verkkobootin (PXE) ja TFTP:n tms kanssa, niin tulee tutuksi noi vaiheet. Eli vähintään viidessä vaiheessa mennään (mbr, stage 1, stage 2, kernel, init) joka tapauksessa käyttiksen latauksen kanssa.

Joo, yritin jo paria kikkaa, kuten grubin first stagen tuuppaamista muistitikulle. Ei onnistunut, sillä grub ei löydä muistikorttia laisinkaan. Vasta kun kerneli on käynnissä niin muistikortinlukija alkaa näkyä. Sittemmin kokeilin laittaa myös bootti-osion muistitikulle, mutta ehdin siitä hätäkässä poistamaan kernelin ja initrdn, ja tätä tajuamatta heitin hanskat tiskiin ja hankin oikean kiintolevyn 

Bcache voisi jeesata juuri haluamallani tavalla eli nopeuttaa hakuaikoja.

[Postimies]

Tää on oikein fiksun kuuloinen juttu. Mulla on tilanne sellanen että käytettävissä olis nopea muistikortti, mutta kone ei osaa buutata sieltä. Jos saisi käyttiksen sinne, niin hakuajat nopeutuisi huomattavasti.

Kun kokeilin muistikorttia osioin sen ja kopioin systeemin sinne & muutin fstab-tiedostoa (asennus medialla tikulla). Kun starttasin 'e'-kirjaimella muutin grubin käynnistystä siten, että kovalevyn sijasta käynnistetään muistikortilta. Lähti käyntiin. Näin sai systeemistä varmuuskopion. Koneena oli EeeBox jossa muistikortinlukija. Tikulta suostuu käynnistymään, mutta ei oikein muistikortinlukijalta. Onneksi minulla grub (se vanha!!) näkee myös muistikortinlukijan. Jos se ei näy niin ei se starttikaan onnistu. Vanhempi Grub on nopeampi ja helpompi. Joku vanha tikku jossa on tuollainen voi olla iso ilo. Itsellä auttaa kun editoi käynnistysrivin tyyliin kernel (hd1,1)/boot/kerneli...  root=/dev/sdb1  Tämä on vain esimerkki. Tuo (hd1,1) kertoo Grubille mistä se hakee kernelin. Systeemin saa kopioitua ihan sudo cp -a lähde kohde.

[meizirkki]

Systeemin saa kopioitua ihan sudo cp -a lähde kohde.

Kuulostaa riskiltä.. cp -a ei käsittääkseni säilytä oikeuksia, jolloin kaikki kotikansionkin tiedostot muuttuvat rootin omistukseen. Mahdollisesti jotain muutakin menee pilalle. Itse käytän mielummin komentoa "rsync -x -a" joka jättää koskematta tiedostojen oikeuksiin. Rsync osaa myös jättää kopioimatta tiedostot jotka ovat jo valmiiksi paikallaan, ja täsmälleen samanlaisia. Säästyy aikaa jos vaikka päivittää varmuuskopiota.

EDIT: Mutta itse aiheesta vielä. Ajattelin jossainkohtaa testailla tuota Bcachea jos ja kun saan taas puuhastelukohtauksen. Kerron sitten tuleeko siitä mitään

[Postimies]

Systeemin saa kopioitua ihan sudo cp -a lähde kohde.

Kuulostaa riskiltä.. cp -a ei käsittääkseni säilytä oikeuksia, jolloin kaikki kotikansionkin tiedostot muuttuvat rootin omistukseen. Mahdollisesti jotain muutakin menee pilalle. Itse käytän mielummin komentoa "rsync -x -a" joka jättää koskematta tiedostojen oikeuksiin. Rsync osaa myös jättää kopioimatta tiedostot jotka ovat jo valmiiksi paikallaan, ja täsmälleen samanlaisia. Säästyy aikaa jos vaikka päivittää varmuuskopiota.

EDIT: Mutta itse aiheesta vielä. Ajattelin jossainkohtaa testailla tuota Bcachea jos ja kun saan taas puuhastelukohtauksen. Kerron sitten tuleeko siitä mitään

 cp -a kopioi juuri säilyttäen oikeudet ym... on lyhennys aika monesta optiosta.. Mahdollinen rekursio pitää muistaa.. rsync on hyvä ja turvallinen. -x muistaakseni jättää liitetyt levyt pois. Joka tapauksessa on parempi katsoa ettei mikään levy vaikka /media kansion alta tule mukaan. rsync tarkoitettu enempi verkon yli kopiontiin. Voi toki käyttää paikallisesti.