HOWTO: Software-RAID 5 + LVM 2 [siirretty wikiin]

[LittleLion]

Tietojen varmistaminen käyttäen software-raid 5:sta ja osiodenhallinta käyttäen LVM2:sta.

Minulle tuli tilanne, että tiedostopalvelimestani alkoi levytila loppua kesken, joten jouduin hankkimaan lisää levytilaa. Samalla halusin, että tuo tietomäärä olisi jotenkin varmistettua ja koska oikea rauta-RAID on todella arvokas päädyin software-RAIDiin.

RAID 5 pakan luomiseen tarvitaan vähintään kolme kiintolevyä, mutta siihen voidaan liittää maksimissaan 32 kiintolevyä ja levytilaa saadaan käyttöön: levyjenmäärä * pienimmän levynkoko - yhden levynkoko jolloin mikä vaan levyistä saa hajota ilman, että tietoja katoaa.

Suurin syy jonka takia päädyin software-RAID 5 + LVM2 yhdistelmään oli tämä: http://scotgate.org/?p=107 blogi kirjoitus jossa kerrotaan kuin Linuxin software-RAID pakkaan voidaan lisätä kiintolevyjä ja venyttää RAID pakka ja LVM osiot sisältämään tuo uusikin levy ilman, että tietoja häviää.

Tässä ohjeessa käytässä on siis kolme sata/scsi-kiintolevyä jotka ovat tyhjiä. (sda, sdb, ja sdc)

Software-RAID 5:n ja LVM2 yhdistelmä koostuu seuraavanlaisista osista:



Asennetaan tarvittavat ohjelmat:

Koodia: [Valitse]

apt-get install mdadm lvm2
mdadm pyytää asennettaessa sähköpostiosoitetta johon ilmoitukset levyjen hajomisista laitetaan. Tuota osoitetta voit jälkikäteen vaihtaa kommennolla:

Koodia: [Valitse]

dpkg-reconfigure mdadmtai muokkaamalla tiedostoa: /etc/mdadm/mdadm.conf


Software-RAID 5:n rakentaminen
1. Osioidaan levyt:

Koodia: [Valitse]

fdisk /dev/sda
fdisk /dev/sdb
fdisk /dev/sdc
Eli tehdään jokaiselle levylle yksi primary osioi joka on koko levyn kokoinen.
Tämä onnistuu fdiskissä painamalla: n
Sitten muutentaan osioin tyyppi painamalla: t ja annetaan tyypiksi: fd
Lopuksi tallennetaan muutokset painamalla: w


Tuon jälkeen fdisk -l komennon tuloste pitäisi näyttää jotakuinkin tältä:

Koodia: [Valitse]

Disk /dev/sda: 400.0 GB, 400088457216 bytes
255 heads, 63 sectors/track, 48641 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1   *           1       48641   390708801   fd  Linux raid autodetect

Disk /dev/sdb: 400.0 GB, 400088457216 bytes
255 heads, 63 sectors/track, 48641 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1   *           1       48641   390708801   fd  Linux raid autodetect

Disk /dev/sdc: 400.0 GB, 400088457216 bytes
255 heads, 63 sectors/track, 48641 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1   *           1       48641   390708801   fd  Linux raid autodetect

2. Rakennetaan RAID 5 "pakka"
Jos laite osoitetta: /dev/md0 ei ole olemassa luodaan se komennolla:

Koodia: [Valitse]

mknod /dev/md0 b 9 0
Luodaan RAID 5 pakka kommennolla:

Koodia: [Valitse]

mdadm --create /dev/md0 --level 5 --raid-devices=3 /dev/sda1 /dev/sdb1 /dev/sdc1
RAID-pakan rakentumista voit seurata komennolla:

Koodia: [Valitse]

mdadm --query --detail /dev/md0
Asetetaan RAID pakka käynnistymään Linuxin buutin yhteydessä:

Koodia: [Valitse]

mdadm --examine --scan >> /etc/mdadm/mdadm.conf
RAID pakan rakentumista voit seurata komennolla:

Koodia: [Valitse]

mdadm --detail /dev/md0RAID pakka on suhteellisen hidas RAIDin rakennusvaiheessa, mutta sitä voi käyttää jo silloin.


LVM2:n rakentaminen:

Joissakin Ubuntun versioissa on bugi josta johtuen pvcreate komento ei toimi vaan järjestelmä valittaa, että komento ei ole käytettävissä tässä järjestelmässä. Tämä korjataan komennolla:

Koodia: [Valitse]

sudo cp -r /lib/lvm-200/ /lib/lvm-0

1. Otetataan raid laite (/dev/md0) käyttöön LVM:n fyysiseksi levyksi

Koodia: [Valitse]

pvcreate /dev/md0
2. Tehdään osio ryhmä (volume group) RAID-laitteesta/laitteista

Koodia: [Valitse]

vgcreate oma_volume_grouppi /dev/md0
Joissakin Debianin versiossa tämän komennon antaminen tuottaa tällaista erroria:

Koodia: [Valitse]

/dev/nbd0: read failed after 0 of 4096 at 0: Input/output error
Tuon ongelman pystyy korjaamaan lisää tiedostoon /etc/lvm/lvm.conf filtteri:

Koodia: [Valitse]

filter = [ "r|/dev/cdrom|", "r/nbd*/" ]
3. Luodaan loogiset osiot (logical volumes)

Koodia: [Valitse]

lvcreate -L 20000 -n musiclv oma_volume_grouppi
lvcreate -L 20000 -n videoslv oma_volume_grouppi20000 on osion koko megatavuina.

4. Luodaan tiedostojärjestelmät osioille

Koodia: [Valitse]

mke2fs -j /dev/oma_volume_grouppi/musiclv
mkreiserfs /dev/oma_volume_grouppi/videoslv
Lisää software-RAIDista löytyy osoiteesta: http://tldp.org/HOWTO/Software-RAID-HOWTO.html
ja LVM:stä osoiteesta: http://tldp.org/HOWTO/LVM-HOWTO/

[Squirrel]

Koodia: [Valitse]

mdadm --query --detail /dev/md0
Tuon tilalla kannattaa mielummin käyttää komentoa:

Koodia: [Valitse]

cat /proc/mdstat
Mielummin kysytään asioita kernelistä suoraan kuin apuohjelmilta.

[AkuKalle]

tein raid 5 pakan ohjeen mukaisesti(en ole vielä tehnyt tuota lvm juttua) koneen kun buuttaa niin jämähtää kesken käynnistyksen (cannot start tty).
Kun repäisen 4 levyn pakastani 2 pois niin kone käynnistyy ok. Tosin raidia ei luonnollisesti pysty käyttämään. Mikä avuksi?

[LittleLion]

tein raid 5 pakan ohjeen mukaisesti(en ole vielä tehnyt tuota lvm juttua) koneen kun buuttaa niin jämähtää kesken käynnistyksen (cannot start tty).
Kun repäisen 4 levyn pakastani 2 pois niin kone käynnistyy ok. Tosin raidia ei luonnollisesti pysty käyttämään. Mikä avuksi?

Koitas ajaa:

Koodia: [Valitse]

sudo dpkg-reconfigure mdadm
ja jos tuolla raid pakallasi ei ole mitään käyttiksen lataamisen kannalta tärkeitä tietoja voit kertoa sen tuolla, jolloin käyttis ladataan ensin ja raid-pakka vasta sitten.


Jos tuo ei auta niin koita ottaa raid-pakan automaattinen käynnistys pois päältä ja käynnistää kone uudelleen sitten.

[AkuKalle]

voiko tuon reconfiguren tehdä vain tietylle md:lle? Kun minulla on raid1:senä root, swap ja home osiot

[LittleLion]

voiko tuon reconfiguren tehdä vain tietylle md:lle? Kun minulla on raid1:senä root, swap ja home osiot

Ei varmaankaan.

Mitäs kertoo: cat /etc/mdadm/mdadm.conf

[AkuKalle]

DEVICE partitions
ARRAY /dev/md0 level=raid1 num-devices=2 UUID=84dac5d6:4c0b31b8:94f4e2a2:f7ef70e1
ARRAY /dev/md1 level=raid1 num-devices=2 UUID=81bea885:5d3d87ef:fa0c736e:9aa7ddc1
ARRAY /dev/md2 level=raid1 num-devices=2 UUID=e9b93013:4d438137:56937f1c:618e7840
ARRAY /dev/md3 level=raid5 num-devices=4 UUID=c2f41178:08e9ff7b:5989e3cc:551d221d
   spares=1


Nyt epäilen että vika olisi biossin ominaisuudessa "prefetch ide" se oli päällä, menee tovi että saan testattua. Mutta jos oikein tulkitsen niin käynnistyksessä jostain käsittämästä syystä yrittää tehdä tuosta raid5:stä md0 levyä. Kommenttia jos olen hukassa:)

[AkuKalle]

nyt sain ongelman korjattua raid5 pakka muuttuu buutissa md0:ksi? No korjasin asian niin että conffasin kaiken sillä ajatuksella että raid5 on md0

Nyt kuitenkin käynnistys kestää noin 15min kun käyttis käynnistää raidia....
Onko tämä mitenkään korjattavissa?

[LittleLion]

nyt sain ongelman korjattua raid5 pakka muuttuu buutissa md0:ksi? No korjasin asian niin että conffasin kaiken sillä ajatuksella että raid5 on md0

Nyt kuitenkin käynnistys kestää noin 15min kun käyttis käynnistää raidia....
Onko tämä mitenkään korjattavissa?

Paha sanoa. Antaakos se jotain erroria syslogiin tai vastaavaan?

[Risto H. Kurppa]

Voisiko ohjeen kirjoittaja/täydentäjät kirjoittaa viestin jossa vahvistavat että     

a) ohje on edelleen käyttökelpoinen eli uudet ominaisuudet eivät ole poistaneet tarvetta ohjeelle tai että ohjeessa käytetyt työkalut jne ovat edelleen Hardyssä käytössä
b) antavat luvan ohjeen siirtämiseen Ubuntu Suomen wikiin (http://wiki.ubuntu-fi.org). Kts. Wikin lisenssistä jne lisätietoja täältä: http://wiki.ubuntu-fi.org/#head-867666147f48c6b667ec0f6be3f5f16852046770

Kiitos!

r

[LittleLion]

Voisiko ohjeen kirjoittaja/täydentäjät kirjoittaa viestin jossa vahvistavat että     

a) ohje on edelleen käyttökelpoinen eli uudet ominaisuudet eivät ole poistaneet tarvetta ohjeelle tai että ohjeessa käytetyt työkalut jne ovat edelleen Hardyssä käytössä
b) antavat luvan ohjeen siirtämiseen Ubuntu Suomen wikiin (http://wiki.ubuntu-fi.org). Kts. Wikin lisenssistä jne lisätietoja täältä: http://wiki.ubuntu-fi.org/#head-867666147f48c6b667ec0f6be3f5f16852046770

a) Valitettavasti en jouda testaamaan/tutkimaan asiaa

b) Saa siirtää.

[Risto H. Kurppa]

Saakos linux.fi -wikiin siirtää?

r

[LittleLion]

Toki

[Heikki Mäntysaari]

Kiitokset luvasta, siirretty Linux.fihin: http://linux.fi/wiki/Ohjelmistopohjainen_RAID_ja_LVM
Saa jatkokehittä.

Tekisi mieli joskus testata itsekin...

[Postipate]

Tein ohjeen mukaan, mutta mun_grouppi näkyy /dev/ :ssä mutta päällä ruksi ja sisään ei pääse? Mitäs nyt?

Entäs kuinka pakkaa voi lisätä uusia levyjä tai irroittaa vanhan ja laittaa tilalle suurempi?

Tämä suurempien vaihto toki niin että kun irroitetusta on pariteetit muodostettu uudelle isommalle niin vaihdetaan seuraava jne. Jolloin tila tuleee käyttöön vasta kun kaikki on vaihdettu.

[anttia]

Joo, nyt pääsin vähän eteenpäin, varmaan lähteekin toimimaan.

[karvanoppa]

Olen rakentanut tämän ohjeen mukaan raid1+lvm pakan, mutta aina kun boottaan koneen niin ilmeisesti raid1 pysyy nipussa mutta lvm ei ainakaan /dev/media/musiclv sekä videolv ei löydy ja mounttamaan /media/musiclv kansiota ei pysty. Miten saisin tuon asetettua kiinteäksi ettei aina tartteis bootin jälkeen ihmetellä miten sain sen taas rakennettua (viime käynnistyksestä 3kk niin ei pysty taas muistaa)