Viestit

1

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 06.03.15 - klo:11.50 »

Jahka tuo valmistuu, niin pitää nuo osiot vaihtaa FD00:ksi muihin levyihin, tuo vaihto on täysin ´vaaraton´ operaatio?
Toki pitää varmaan levy kerrallaan se tehdä..

En osaa varmuudella sanoa käyttääkö se tuota osiotyyppikoodia johonkin vai onko se informatiivista tietoa.

Okei. Olkoot toistaiseksi noin, kun en huomaa mitään ongelmaa enää.
Suuret kiitokset avusta ja vertaistuesta

Tämä homma lienee nyt taputeltu.

Aloittelin ihmettelemään hieman watchdogeja tuolle nassille, mutta se on toinen tarina se.
Munin - monitoroimaan yleisesti
mdadm monitor - heittämään meiliä ongelmista raidissa
NUT - Tarkkailemassa UPS:ia ja vetämään shutdownit pitkittyneessä sähkökatkoksessa ja nakkaamaan siitä meiliä.
Smartmontools tekemään SMART testejä ja ongelmissa nakkaamaan meiliä.

2

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 04.03.15 - klo:19.21 »

No, niin backupit otettu ja levy pistetty uusiksi

Hieman muistilappua

Koodia: [Valitse]

root@nassi:~# parted -a optimal /dev/sde
(parted) mklabel gpt
(parted) mklabel RAID5_HD3
(parted) mkpart primary 1 -1
(parted) set 1 raid on
(parted) quit


Koodia: [Valitse]


GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): A0B28D5C-D194-43C4-87CE-5EABF96919D7
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     FD00  primary



Bitmapin laitto päälle nopeutti uudelleen rakennusta noin 5 kertaisesti. Ilman sitä nopeus 25000K/sec ja kuluva aika 40h -> 7.5h.
(tai sitten tuolla bitmapilla ei tässä tilanteessa ole mitään vaikutusta, kun koko levy on tyhjä ja recovery lähtee nollista..)
En tiedä mitä muutakaan tapahtunut sitten viime kerran kun tuon saman levyn lisäsin... Liekkö tuo osioongelma vaikuttanut, vaikka normi käytössä nopeus olikin Ok.

Koodia: [Valitse]

root@nassi:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sde1[4] sdf1[3] sdd1[1] sdc1[0]
      11720655360 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]
      [>....................]  recovery =  0.3% (13882436/3906885120) finish=459.1min speed=141298K/sec
      bitmap: 0/30 pages [0KB], 65536KB chunk


Koodia: [Valitse]

root@nassi:~# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Feb  1 21:24:13 2014
     Raid Level : raid5
     Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Wed Mar  4 19:19:11 2015
          State : active, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

 Rebuild Status : 2% complete

           Name : nassi:0  (local to host nassi)
           UUID : 01a8d2b4:398d1cbb:e774320f:06550643
         Events : 14806

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       3       8       81        2      active sync   /dev/sdf1
       4       8       65        3      spare rebuilding   /dev/sde1

Jahka tuo valmistuu, niin pitää nuo osiot vaihtaa FD00:ksi muihin levyihin, tuo vaihto on täysin ´vaaraton´ operaatio?
Toki pitää varmaan levy kerrallaan se tehdä..

3

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 03.03.15 - klo:13.02 »

Verkon nopeus vaikuttaa olevan ihan Ok, tuleepahan tässä samalla nyt sitten duplikoitua kaikki data. Reilu vuorokausi taitaa vierähtää silti rsyncatessa..
Curr: 534.74 MBit/s
Avg: 488.11 MBit/s
Min: 16.33 kBit/s
Max: 922.67 MBit/s

Ei ongelmaa SMART:n mukaan eli levy gdisk/parted käsittelyyn on se seuraava steppi sitten.

Koodia: [Valitse]

smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-45-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%       470         -


Koodia: [Valitse]

smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-45-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD40EFRX-68WT0N0
Firmware Version: 82.00A82
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Tue Mar  3 13:00:06 2015 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (52380) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 524) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x703d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   100   253   021    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       4
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       470
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       4
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       0
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       400
194 Temperature_Celsius     0x0022   123   118   000    Old_age   Always       -       29
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%       470         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.


4

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 03.03.15 - klo:08.04 »

SMART testi menossa, pistelen tuloksia kun valmistuu.
Kaikki levyt on samassa ohjaimessa kiinni, Supermicro X7SPA-HF on pohjilla ja levytkin on noita samoja 4TB WD Redejä.
Tuo SDE on tuorein levy, lisäsin sen pakkaan parisen viikkoa sitten ja fdiskiä on tullut kyllä käytettyä, kun en näitä MBR/GPT juttuja ole osannut huomioida sitten yhtään, seurannut vain jotain internetin syövereistä löytynyttä ohjetta..

Ehkä se on helpoin vain ottaa tuo levy vaan pois pakasta, hoitaa formatoinnit ja lyödä takaisin. Täytyy nyt vain muistaa mm. Bitmap laittaa päälle, kun levyn lisää takaisin. Taisi mennä parikin vuorokautta synkkauksessa, kun tuon
levyn aluperin tuonne lisäsin. Nämä optimoinnit pitää käydä läpi.

Backupit nyt samalla menossa verkon yli, siinäkin menee oma aikansa..
Parhaiten backuppia saisin nopeutettua sillä, että tekisin pienen kevät siivouksen mm. digiboksin tallenteille, niitäkin se 4TB tuolla lojumassa ja suurintaosaa ei varmasti koskaan tule edes katsottua

5

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 02.03.15 - klo:16.30 »

ja muutos kävi kädenkäänteessä
Mutta nyt ihmetyttää vieläkin tuo sde levyn koko.. ja myös tietysti tuo corrupted GPT table

Koodia: [Valitse]

@nassi:~$ sudo parted /dev/sde p a o 1
Error: The primary GPT table is corrupt, but the backup appears OK, so that will be used.
parted: invalid token: a
OK/Cancel? O


Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sde: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name        Flags
 1      1049kB  2199GB  2199GB               Linux RAID  raid


Koodia: [Valitse]

@nassi:~$ sudo gdisk -l /dev/sde
GPT fdisk (gdisk) version 0.8.8

Caution! After loading partitions, the CRC doesn't check out!
Warning! Main partition table CRC mismatch! Loaded backup partition table
instead of main partition table!

Warning! One or more CRCs don't match. You should repair the disk!

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: damaged

****************************************************************************
Caution: Found protective or hybrid MBR and corrupt GPT. Using GPT, but disk
verification and recovery are STRONGLY recommended.
****************************************************************************
Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 49E2F82C-527A-4083-A11F-9BD7D4FA479E
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3519071854 sectors (1.6 TiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      4294967294   2.0 TiB     FD00  Linux RAID

Kaikki kuitenkin kunnossa, myös buutin jälkeen:

Koodia: [Valitse]

/dev/md0:
        Version : 1.2
  Creation Time : Sat Feb  1 21:24:13 2014
     Raid Level : raid5
     Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Mon Mar  2 16:22:30 2015
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : nassi:0  (local to host nassi)
           UUID : 01a8d2b4:398d1cbb:e774320f:06550643
         Events : 14631

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       3       8       81        2      active sync   /dev/sdf1
       4       8       64        3      active sync   /dev/sde



Koodia: [Valitse]

@nassi:~$ df -h
Filesystem                   Size  Used Avail Use% Mounted on
/dev/mapper/vg_raid-lv_raid   11T  7.4T  3.7T  67% /mnt/data


6

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 02.03.15 - klo:09.51 »

Hyvä hyvä, näin teen. Pitää backupit varmuuden vuoksi tuosta vetäistä ensin ja lähteä sitten levy kerrallaan muutos hommiin.
Ilmeisesti tuo MBR -> GPT käy näin helposti, senkuin käynnistää gdiskin ja nakkaa w:tä.
https://wiki.archlinux.org/index.php/GUID_Partition_Table#Convert_from_MBR_to_GPT

Convert from MBR to GPT

One of the best features of gdisk (and sgdisk and cgdisk too) is its ability to convert MBR and BSD disklabels to GPT without data loss. Upon conversion, all the MBR primary partitions and the logical partitions become GPT partitions with the correct partition type GUIDs and Unique partition GUIDs created for each partition.

Just open the MBR disk using gdisk and exit with "w" option to write the changes back to the disk (similar to fdisk) to convert the MBR disk to GPT. Watch out for any error and fix them before writing any change to disk because you may risk losing data. See http://www.rodsbooks.com/gdisk/mbr2gpt.html for more info. After conversion, the bootloaders will need to be reinstalled to configure them to boot from GPT.

Note:

    Remember that GPT stores a secondary table at the end of disk. This data structure consumes 33 512-byte sectors by default. MBR doesn't have a similar data structure at its end, which means that the last partition on an MBR disk sometimes extends to the very end of the disk and prevents complete conversion. If this happens to you, you must abandon the conversion, resize the final partition, or convert everything but the final partition.
    Keep in mind that if your Boot-Manager is GRUB, it needs a BIOS Boot Partition. If your MBR Partitioning Layout isn't too old, there is a good chance that the first partition starts at sector 2048 for alignment reasons. That means at the beginning will be 1007 KiB of empty space where this bios-boot partition can be created. To do this, first do the mbr->gpt conversion with gdisk as described above. Afterwards, create a new partition with gdisk and manually specify its position to be sectors 34 - 2047, and set the EF02 partition type.
    There are known corruption issues with the backup GPT table on laptops that are Intel chipset based, and run in RAID mode. The solution is to use AHCI instead of RAID, if possible.

Hetkinen...

Tässä vielä sde (MBR) vs. sdf (GPT).
Taisi olla niin että MBR tuki vain 2TB osioita ja tästä syystä gdisk näyttää kooksi vain tuon 2.0TiB, eikä 3,6TiB niin kuin pitäisi?
Toiminnan kannalta tuolla ei kuitenkaan ole merkitystä, koska tuo RAID5 pakkani kyllä antaa sen kooksi oikean 12TB?
ja se vielä kaikenlisäksi toimiikin.

Koodia: [Valitse]

Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
 

Koodia: [Valitse]

Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Total free space is 3519071854 sectors (1.6 TiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      4294967294   2.0 TiB     FD00  Linux RAID
       
 

Koodia: [Valitse]

Disk /dev/sdf: 7814037168 sectors, 3.6 TiB
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary
 

7

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 01.03.15 - klo:18.40 »

jes! Huoleni taisi olla turha
partedin mukaan näyttävät olevan ´linjassa´.
Nyt kun katsoo partedilla, niin sde ei ole muiden kanssa samaa pataa, onko tuolla jotain käytännön merkitystä?
Partition table on msdos, kun muissa gpt, flags kohdassakin eroa muihin.

Varmistelun varmistelut vielä, että kaikki näyttää olevan kuten pitääkin, tulosteita läjäpäin tuossa alla
Mitään vikaa ei systeemissä sinänsä ole ollut, paitsi että digiboksi pudottaa tallennuksen silloin tällöin pois todeten "Disk full" ja ajatuksissa on, että joku pieni tiedonsiirto katkos tulisi.

Koodia: [Valitse]

@nassi:~$ sudo parted /dev/sdc p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sdc: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  4001GB  4001GB               primary  msftdata

1 aligned


@nassi:~$ sudo parted /dev/sdd p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sdd: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  4001GB  4001GB               primary  msftdata

1 aligned


@nassi:~$ sudo parted /dev/sde p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sde: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: msdos

Number  Start   End     Size    Type     File system  Flags
 1      1049kB  2199GB  2199GB  primary               raid

1 aligned


@nassi:~$ sudo parted /dev/sdf p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sdf: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  4001GB  4001GB               primary  msftdata

1 aligned

Tässä vielä gdiskin tulosteet

Koodia: [Valitse]

@nassi:~$ sudo gdisk -l  /dev/sdc
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdc: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 51770703-8E22-4493-BBB5-CDE3BB7EFCF3
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary
   
   
@nassi:~$ sudo gdisk -l  /dev/sdd
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdd: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 29825E27-EED5-4316-A83E-B82566F512B1
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary
   
   
   
   
@nassi:~$ sudo gdisk -l  /dev/sde
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: MBR only
  BSD: not present
  APM: not present
  GPT: not present


***************************************************************
Found invalid GPT and valid MBR; converting MBR to GPT format
in memory.
***************************************************************

Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 8835D0C8-B657-4E73-B9C7-C707D31C95EE
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3519071854 sectors (1.6 TiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      4294967294   2.0 TiB     FD00  Linux RAID
   
   
@nassi:~$ sudo gdisk -l  /dev/sdf
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdf: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 20124AAD-B022-4CE4-AEC8-C1D722D271B6
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary

ja vielä mdadm:sta tiedot, tuo sde näyttää olevan koko devicenä(?) tuolla.

Koodia: [Valitse]

@nassi:~$ sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Feb  1 21:24:13 2014
     Raid Level : raid5
     Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Mar  1 18:05:57 2015
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : nassi:0  (local to host nassi)
           UUID : 01a8d2b4:398d1cbb:e774320f:06550643
         Events : 14631

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       3       8       81        2      active sync   /dev/sdf1
       4       8       64        3      active sync   /dev/sde


8

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

« : 01.03.15 - klo:12.51 »

Tuli todettua, että minullahan alkaa RAID5 pakan levyjen oisot ihan väärästä kohdasta ja tällä voi olla ilmeisesti suurikin(?) vaikutus
suorituskykyyn?

Onko muuta vaihtoehtoa lähteä noita "aligmenttejä" korjaamaan kuin nollista lähtö?
Ehkä poistamalla yhden levyn pakasta, formatoimalla sen oikein ja lisäämällä sen sitten takaisin?
Aikaahan tuossa menee, kun joutuu 1 kerrallaan ne poistamaan pakasta ja lisäämään takaisin.. Onko nopeampaa turvallista
vaihtoehtoa?
Dataa on noin 7TB tuossa pakassa tällä hetkellä.

Partition 1 does not start on physical sector boundary. antaa fdisk kolmelle levylle.


Ubuntu 14.04
RAID5 (mdadm)
LVM & XFS on systeeminä.
4x WD Red 4TB levyt pelkästään datalle, käyttis omalla levyllään.

fdisk kertoo seuraavaa, ensin /dev/sde, joka näyttääkin olevan ainoa  kunnossa oleva.

Koodia: [Valitse]

@nassi:~$ sudo fdisk -lu /dev/sde

Disk /dev/sde: 4000.8 GB, 4000787030016 bytes
90 heads, 3 sectors/track, 28940878 cylinders, total 7814037168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x4d9d9de8

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1            2048  4294967294  2147482623+  fd  Linux raid autodetect


Muut 3 levyä ovatkin sitten näin, alkavat sektorista 1... eikä 2048. Olen alkuperäisessä asennuksessa jotain
mokannut tietämättömyyttäni, että formatointi on tullut noin.

Koodia: [Valitse]

@nassi:~$ sudo fdisk -lu /dev/sdf

WARNING: GPT (GUID Partition Table) detected on '/dev/sdf'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdf: 4000.8 GB, 4000787030016 bytes
255 heads, 63 sectors/track, 486401 cylinders, total 7814037168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sdf1               1  4294967295  2147483647+  ee  GPT
Partition 1 does not start on physical sector boundary.

Tämän hetkinen suorituskyky, jonka sain tämä scriptin avulla:
http://ubuntuforums.org/showthread.php?t=1494846

Koodia: [Valitse]

@nas:/mnt/data/testi# sync; dd if=/dev/zero of=/mnt/data/testi/file.out bs=1M count=4096; sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 18.2101 s, 236 MB/s


Koodia: [Valitse]

@nas:/mnt/data/testi# dd if=/mnt/data/testi/file.out of=/dev/null bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 14.26 s, 317 MB/s
Asetuksien ollessa nämä:

Koodia: [Valitse]

echo 16384 > /sys/block/md0/md/stripe_cache_size
blockdev --setra 64 /dev/sd[cfde]
blockdev --setra 2048 /dev/md0
echo 512 > /sys/block/sdc/queue/max_sectors_kb
echo 512 > /sys/block/sdf/queue/max_sectors_kb
echo 512 > /sys/block/sdd/queue/max_sectors_kb
echo 512 > /sys/block/sde/queue/max_sectors_kb

Tuota ennen oli kirjoitus 123 MB/s ja luku 292 MB/s

PS. Rautalangan käyttö ehjäykseen on täysin sallittua

9

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 18.09.12 - klo:10.06 »

No, niin

sudo mdadm --stop /dev/md0
sudo mdadm --assemble --update=resync --force /dev/md0 /dev/sdb1 /dev/sde1 /dev/sdf1 /dev/sdc1 /dev/sdg1 /dev/sda1

Nyt lähti rakentumaan.

Koodia: [Valitse]

sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 0.90
  Creation Time : Mon Oct 25 13:14:47 2010
     Raid Level : raid5
     Array Size : 7325679680 (6986.31 GiB 7501.50 GB)
  Used Dev Size : 1465135936 (1397.26 GiB 1500.30 GB)
   Raid Devices : 6
  Total Devices : 6
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Tue Sep 18 10:03:17 2012
          State : clean, degraded, recovering
 Active Devices : 5
Working Devices : 6
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

 Rebuild Status : 0% complete

           UUID : 5163c5ad:04708065:cced5de7:ca715931 (local to host NAS)
         Events : 0.30658

    Number   Major   Minor   RaidDevice State
       6       8        1        0      spare rebuilding   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       65        2      active sync   /dev/sde1
       3       8       81        3      active sync   /dev/sdf1
       4       8       33        4      active sync   /dev/sdc1
       5       8       97        5      active sync   /dev/sdg1


Koodia: [Valitse]

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sdb1[1] sda1[6] sdg1[5] sdc1[4] sdf1[3] sde1[2]
      7325679680 blocks level 5, 64k chunk, algorithm 2 [6/5] [_UUUUU]
      [>....................]  recovery =  0.0% (1299080/1465135936) finish=810.5min speed=30097K/sec

unused devices: <none>


Nopeuksista epätieteellistä.
reshape ja resync oli maksimissaan 17000K/sec kun edellisen levyn lisäsin ja nyt noiden parin loitsun jälkeen recovery menee nopeudella 30000K/sec. En tiedä, että onko resync/reshape normaalistikkin hitaampaa, kuin tuo recovery.

10

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 18.09.12 - klo:09.41 »

Mitä cat /proc/mdstat sanoo ja teithän osioinnin? Ihme juttu kun tuon pakanhan pitäisi olla käynnissä että tuo levyn liittäminen ylipäätänsä edes onnistuu, eli ei pitäisi vaatia mitään erillistä käynnistämistä levyn liittämisen jälkeen.

Koodia: [Valitse]

cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : inactive sda1[6](S) sdg1[5] sdb1[1] sdf1[3] sde1[2] sdc1[4]
      8790820736 blocks

unused devices: <none>


Onko sulla jotain lähdettä tälle komennolle kun en äkkiseltään löytänyt tuosta mitään:

Koodia: [Valitse]

sudo mdadm -G /dev/md0 --bitmap=internal?

http://en.wikipedia.org/wiki/Mdadm#Increasing_RAID_ReSync_Performance


Tälläinen löyty dmesgillä

Koodia: [Valitse]

dmesg |tail
[ 1559.313797] md/raid:md0: cannot start dirty degraded array.
[ 1559.313875] RAID conf printout:
[ 1559.313882]  --- level:5 rd:6 wd:5
[ 1559.313891]  disk 1, o:1, dev:sdb1
[ 1559.313898]  disk 2, o:1, dev:sde1
[ 1559.313905]  disk 3, o:1, dev:sdf1
[ 1559.313911]  disk 4, o:1, dev:sdc1
[ 1559.313919]  disk 5, o:1, dev:sdg1
[ 1559.315004] md/raid:md0: failed to run raid set.
[ 1559.315014] md: pers->run() failed ...

ja jatkoa

Koodia: [Valitse]

sudo mdadm --stop /dev/md0
sudo mdadm --assemble --update=resync /dev/md0 /dev/sdb1 /dev/sde1 /dev/sdf1 /dev/sdc1 /dev/sdg1 /dev/sda1
mdadm: /dev/md0 assembled from 5 drives and 1 spare - not enough to start the array while not clean - consider --force.


11

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 18.09.12 - klo:07.50 »

Itse en viitsi alkaa testaamaan, amatöörillä menee sormi samantien suuhun kun jotain häikkä tapahtuu

Tähän asti pääsin, kun meni vaihteeksi sormisuuhun.

Koodia: [Valitse]

sudo mdadm --manage /dev/md0 --fail /dev/sda1
sudo mdadm --manage /dev/md0 --remove /dev/sda1
echo 500000 | sudo tee /proc/sys/dev/raid/speed_limit_max
echo 50000 | sudo tee /proc/sys/dev/raid/speed_limit_min
sudo mdadm -G /dev/md0 --bitmap=internal
sudo mdadm --manage /dev/md0 --add /dev/sda1


Koodia: [Valitse]

sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 0.90
  Creation Time : Mon Oct 25 13:14:47 2010
     Raid Level : raid5
  Used Dev Size : 1465135936 (1397.26 GiB 1500.30 GB)
   Raid Devices : 6
  Total Devices : 6
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Tue Sep 18 06:55:22 2012
          State : active, degraded, Not Started
 Active Devices : 5
Working Devices : 6
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 64K

           UUID : 5163c5ad:04708065:cced5de7:ca715931 (local to host NAS)
         Events : 0.30657

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       8       17        1      active sync   /dev/sdb1
       2       8       65        2      active sync   /dev/sde1
       3       8       81        3      active sync   /dev/sdf1
       4       8       33        4      active sync   /dev/sdc1
       5       8       97        5      active sync   /dev/sdg1

       6       8        1        -      spare   /dev/sda1

Näin yritän käynnistää pakkaa:

Koodia: [Valitse]

sudo mdadm --run /dev/md0
mdadm: failed to run array /dev/md0: Input/output error


12

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 17.09.12 - klo:20.39 »

Koodia: [Valitse]

echo 500000 | sudo tee /proc/sys/dev/raid/speed_limit_max
echo 10000 | sudo tee /proc/sys/dev/raid/speed_limit_min


Pistänpäs tämän vielä muistiin, resyncin nopeutus:
mdadm -G /dev/md0 --bitmap=internal

13

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 17.09.12 - klo:16.51 »

Juuri näin mutta tuo 1 on tuolla turha (siis sda, ei sda1) kun tässä käsitellään koko asemaa.

Ok ja hyvä homma. Itse olen noita partitionumeroita mielestäni aina käyttänyt, kun levyllä on aina ollut koko levyn kokoinen partitio siinä vaiheessa kun pakkaan lisäykset sun muut tehtävät on edessä.
ja nyt olen vaihtamassa levyä, joka on isompi kuin olemassa olevat 1.5TB -> 2TB eli sille tulee 1.5TB osio ja loppu jää sitten toistaiseksi tyhjän pantiksi (siksi aikaa, että saan mahdollisesti viallisen levyn testattua kunnolla ja vaihdettua sen sitten takuuseen)

Tuolla nopeutuksella en ole itse huomannut mitään eroa synkkauksen nopeuteen mutta itse olen koittanut tuota käskyä vain synkkauksen aika, joten pitäisiköhän tuo komento suorittaa ennen synkkausta?

Näin olen ymmärtänyt ja että tuo asetus katoaa aina myös buutissa, joten se on muistettava vaihtaa erikseen tai lisätä jo käynnistyksessä nuo suuremmat arvot tulemaan mukaan.

14

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 17.09.12 - klo:16.04 »

Jatketaan taas tähän. Viallisen tai mahdollisesti viallisen levyn vaihtaminen pakkaan.

Meneekö ihan näin?

Oletuksena, että /dev/sda1 on viallinen pakassa /dev/md0

Merkataan sda1 vialliseksi

Koodia: [Valitse]

mdadm --manage /dev/md0 --fail /dev/sda1

Poistetaan sda1 pakasta

Koodia: [Valitse]

mdadm --manage /dev/md0 --remove /dev/sdb1

Koneen ajaminen alas ja levyn fyysinen vaihto.

Kopioidaan toiselta levyltä partitiointi uudelle levylle

Koodia: [Valitse]

sfdisk -d /dev/sdc | sfdisk /dev/sda

Nopeutetaan pakan rakentumista

Koodia: [Valitse]

echo 500000 | sudo tee /proc/sys/dev/raid/speed_limit_max
echo 10000 | sudo tee /proc/sys/dev/raid/speed_limit_min

Lisätään levy pakkaan

Koodia: [Valitse]

mdadm --manage /dev/md0 --add /dev/sda1

Jos jostain syystä uusi levy sai eri levytunnuksen, niin päivitetään mdadm.conf

Koodia: [Valitse]

mdadm --detail --scan >> /etc/mdadm/mdadm.conf

Odotellaan taas, että pakka valmistuu?

15

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: vnc-viewer + windowsilla etäyhteys 10.4.3 ubuntuun

« : 03.09.12 - klo:14.14 »

Itse hylkäsin VNC:n täysin sen jälkeen kun tutustuin NoMachinen NX:ään


i386 asennus:
http://www.nomachine.com/download-package.php?Prod_Id=3773

Clientti Windowsille:
http://www.nomachine.com/download-package.php?Prod_Id=3835


Asennus menee täysin mutkattomasti ja etäyhteys kodin ulkopuoleltakin graafiseen sujuu nyt vaivattomasti, kun ei
tarvitse aukoa kuin SSH portti kotipalvelimeen.

16

Laitealue / SMART:n ilmoittaman Bad blockin ottaminen kiintolevyltä pois käytöstä?

« : 03.09.12 - klo:10.01 »

SMART testejä en saa menemään läpi, kun tulee tuo read failure vastaan. Kuinka saan reallocoitua tuon blockin?

Saisin vähän paremmin varmuutta, että onko levyllä vain yksittäinen bad block vai onko koko levy laukeamassa. Tietysti olisi myös kiva tietää, että mikä tiedosto tuolla sijaitsee.

Ubuntu 12.04
RAID5
LVM2
XFS

Koodia: [Valitse]

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       20%     17859         684609913
# 2  Extended offline    Completed: read failure       90%     17843         684609913
# 3  Short offline       Completed: read failure       20%     17843         684609913
# 4  Extended offline    Aborted by host               90%     17750         -
# 5  Extended offline    Aborted by host               90%     17750         -


Koodia: [Valitse]

Disk /dev/sda: 1500.3 GB, 1500301910016 bytes
255 heads, 63 sectors/track, 182401 cylinders, total 2930277168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1              63  2930272064  1465136001   fd  Linux raid autodetect

Kaikki SMART tiedot:

Koodia: [Valitse]

sudo smartctl -a /dev/sda
smartctl 5.41 2011-06-09 r3365 [i686-linux-3.2.0-24-generic-pae] (local build)
Copyright (C) 2002-11 by Bruce Allen, http://smartmontools.sourceforge.net

=== START OF INFORMATION SECTION ===
Model Family:     SAMSUNG SpinPoint F2 EG
Device Model:     SAMSUNG HD154UI
Firmware Version: 1AG01118
User Capacity:    1,500,301,910,016 bytes [1.50 TB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   8
ATA Standard is:  ATA-8-ACS revision 3b
Local Time is:    Mon Sep  3 09:49:05 2012 EEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      ( 114) The previous self-test completed having
                                        the read element of the test failed.
Total time to complete Offline
data collection:                (19602) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 255) minutes.
Conveyance self-test routine
recommended polling time:        (  34) minutes.
SCT capabilities:              (0x003f) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   100   096   051    Pre-fail  Always       -       192
  3 Spin_Up_Time            0x0007   072   072   011    Pre-fail  Always       -       9240
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       63
  5 Reallocated_Sector_Ct   0x0033   100   100   010    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   100   100   051    Pre-fail  Always       -       0
  8 Seek_Time_Performance   0x0025   100   100   015    Pre-fail  Offline      -       13510
  9 Power_On_Hours          0x0032   096   096   000    Old_age   Always       -       17861
 10 Spin_Retry_Count        0x0033   100   100   051    Pre-fail  Always       -       0
 11 Calibration_Retry_Count 0x0012   100   100   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       63
 13 Read_Soft_Error_Rate    0x000e   100   096   000    Old_age   Always       -       191
183 Runtime_Bad_Block       0x0032   100   100   000    Old_age   Always       -       2
184 End-to-End_Error        0x0033   100   100   000    Pre-fail  Always       -       0
187 Reported_Uncorrect      0x0032   100   100   000    Old_age   Always       -       1049
188 Command_Timeout         0x0032   100   100   000    Old_age   Always       -       0
190 Airflow_Temperature_Cel 0x0022   068   044   000    Old_age   Always       -       32 (Min/Max 28/32)
194 Temperature_Celsius     0x0022   067   043   000    Old_age   Always       -       33 (0 33 33 28)
195 Hardware_ECC_Recovered  0x001a   100   100   000    Old_age   Always       -       1595585
196 Reallocated_Event_Count 0x0032   100   100   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0012   100   099   000    Old_age   Always       -       20
198 Offline_Uncorrectable   0x0030   100   100   000    Old_age   Offline      -       1
199 UDMA_CRC_Error_Count    0x003e   100   100   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x000a   100   100   000    Old_age   Always       -       0
201 Soft_Read_Error_Rate    0x000a   253   253   000    Old_age   Always       -       0

SMART Error Log Version: 1
ATA Error Count: 11 (device log contains only the most recent five errors)
        CR = Command Register [HEX]
        FR = Features Register [HEX]
        SC = Sector Count Register [HEX]
        SN = Sector Number Register [HEX]
        CL = Cylinder Low Register [HEX]
        CH = Cylinder High Register [HEX]
        DH = Device/Head Register [HEX]
        DC = Device Command Register [HEX]
        ER = Error register [HEX]
        ST = Status register [HEX]
Powered_Up_Time is measured from power on, and printed as
DDd+hh:mm:SS.sss where DD=days, hh=hours, mm=minutes,
SS=sec, and sss=millisec. It "wraps" after 49.710 days.

Error 11 occurred at disk power-on lifetime: 0 hours (0 days + 0 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 0d 34 a5 e7  Error: UNC at LBA = 0x07a5340d = 128267277

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  c8 00 08 07 34 a5 e7 08   9d+10:50:03.600  READ DMA
  ec 00 00 00 00 00 a0 08   9d+10:50:03.570  IDENTIFY DEVICE
  ef 03 46 00 00 00 a0 08   9d+10:50:03.570  SET FEATURES [Set transfer mode]
  ec 00 00 00 00 00 a0 08   9d+10:50:03.570  IDENTIFY DEVICE

Error 10 occurred at disk power-on lifetime: 0 hours (0 days + 0 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 0d 34 a5 e7  Error: UNC at LBA = 0x07a5340d = 128267277

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  c8 00 08 07 34 a5 e7 08   9d+10:50:01.830  READ DMA
  c8 00 08 ff 33 a5 e7 08   9d+10:50:01.830  READ DMA
  c8 00 08 f7 33 a5 e7 08   9d+10:50:01.830  READ DMA
  c8 00 08 ef 33 a5 e7 08   9d+10:50:01.830  READ DMA

Error 9 occurred at disk power-on lifetime: 0 hours (0 days + 0 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 c1 e4 d9 e1  Error: UNC at LBA = 0x01d9e4c1 = 31057089

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  c8 00 08 bf e4 d9 e1 08   9d+09:42:19.080  READ DMA
  ec 00 00 00 00 00 a0 08   9d+09:42:19.060  IDENTIFY DEVICE
  ef 03 46 00 00 00 a0 08   9d+09:42:19.060  SET FEATURES [Set transfer mode]
  ec 00 00 00 00 00 a0 08   9d+09:42:19.050  IDENTIFY DEVICE

Error 8 occurred at disk power-on lifetime: 0 hours (0 days + 0 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 c1 e4 d9 e1  Error: UNC at LBA = 0x01d9e4c1 = 31057089

  Commands leading to the command that caused the error were:
CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  c8 00 08 bf e4 d9 e1 08   9d+09:42:16.020  READ DMA
  ec 00 00 00 00 00 a0 08   9d+09:42:16.000  IDENTIFY DEVICE
  ef 03 46 00 00 00 a0 08   9d+09:42:16.000  SET FEATURES [Set transfer mode]
  ec 00 00 00 00 00 a0 08   9d+09:42:15.970  IDENTIFY DEVICE

Error 7 occurred at disk power-on lifetime: 0 hours (0 days + 0 hours)
  When the command that caused the error occurred, the device was active or idle.

  After command completion occurred, registers were:
  ER ST SC SN CL CH DH
  -- -- -- -- -- -- --
  40 51 00 c5 e4 d9 e1  Error: UNC at LBA = 0x01d9e4c5 = 31057093

  Commands leading to the command that caused the error were:
  CR FR SC SN CL CH DH DC   Powered_Up_Time  Command/Feature_Name
  -- -- -- -- -- -- -- --  ----------------  --------------------
  c8 00 08 bf e4 d9 e1 08   9d+09:42:12.220  READ DMA
  c8 00 08 b7 e4 d9 e1 08   9d+09:42:12.220  READ DMA
  c8 00 08 af e4 d9 e1 08   9d+09:42:12.220  READ DMA
  c8 00 08 a7 e4 d9 e1 08   9d+09:42:12.220  READ DMA
  c8 00 08 9f e4 d9 e1 08   9d+09:42:12.220  READ DMA

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Short offline       Completed: read failure       20%     17859         684609913
# 2  Extended offline    Completed: read failure       90%     17843         684609913
# 3  Short offline       Completed: read failure       20%     17843         684609913
# 4  Extended offline    Aborted by host               90%     17750         -
# 5  Extended offline    Aborted by host               90%     17750         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.


17

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 29.08.12 - klo:20.31 »

Vaara ohi, kaikki toimii taas

18

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 28.08.12 - klo:16.04 »

Jatketaanpa seuraavalla mahdollisella paniikin aiheella. NFS ja Samba jaot katosivat NAS:lta ja seuraavaa selvisi kun purkista katselisi.

Koodia: [Valitse]

Every 1.0s: cat /proc/mdstat                                                                             Tue Aug 28 16:01:43 2012

Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdc1[4] sdf1[3] sdb1[1] sdg1[5] sda1[0] sde1[2]
      5860543744 blocks super 0.91 level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
      [============>........]  reshape = 64.9% (952273856/1465135936) finish=856.0min speed=9984K/sec

unused devices: <none>

dmesg

Koodia: [Valitse]

[83520.608901]  [<c1079620>] ? flush_kthread_worker+0x80/0x80
[83520.608915]  [<c15af8fe>] kernel_thread_helper+0x6/0x10
[83525.344072] XFS (dm-0): xfs_log_force: error 5 returned.
[83555.424070] XFS (dm-0): xfs_log_force: error 5 returned.
[83585.504065] XFS (dm-0): xfs_log_force: error 5 returned.
rassi@NAS:/mnt/video$ ls
ls: cannot open directory .: Input/output error


19

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 28.08.12 - klo:08.12 »

Rohkea sen rokan söi, buuttia kehiin ja nyt tuntuu jotain tapahtuvan

Lopuksi vielä ellet jo tehnyt kasvata tiedostojärjestelmät käyttämään uusi vapaa tila partitiossa:

xfs_growfs

jes, kiitos.

Näyttää hetki vierähtävän tuossa reshapessa..

Koodia: [Valitse]

Every 1.0s: cat /proc/mdstat                                                            Tue Aug 28 08:09:54 2012

Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdc1[4] sdf1[3] sdb1[1] sdg1[5] sda1[0] sde1[2]
      5860543744 blocks super 0.91 level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
      [=========>...........]  reshape = 46.2% (677058828/1465135936) finish=52450.6min speed=250K/sec

Alkuun oli kyllä 10000-17000K/sec, nyt hieman hiipunut.

Näitä temppuja kokeilin:

echo 500000 | sudo tee /proc/sys/dev/raid/speed_limit_max
echo 10000 | sudo tee /proc/sys/dev/raid/speed_limit_min

Jotta kaistaa saisi hieman enemmän käyttöön, mutta sitä ei ilmeisesti pystykkään tekemään "lennossa" vaan nuo olisi
pitänyt tehdä ennen rakentamisen aloittamista. Ei ainakaan mitään muutosta tapahtunut. Vakiona arvot taisi olla 1000 ja 100000

20

Ohjelmointi, palvelimet ja muu edistyneempi käyttö / Vs: raid-5 levyn lisääminen

« : 27.08.12 - klo:17.14 »

Rohkea sen rokan söi, buuttia kehiin ja nyt tuntuu jotain tapahtuvan

Koodia: [Valitse]

@NAS:/media$ cat /proc/mdstat
Personalities : [raid6] [raid5] [raid4] [linear] [multipath] [raid0] [raid1] [raid10]
md0 : active raid5 sdc1[4] sdf1[3] sdb1[1] sdg1[5] sda1[0] sde1[2]
      5860543744 blocks super 0.91 level 5, 64k chunk, algorithm 2 [6/6] [UUUUUU]
      [>....................]  reshape =  1.0% (16100480/1465135936) finish=1487.2min speed=16237K/sec

unused devices: <none>


Koodia: [Valitse]

@NAS:/media$ sudo vgdisplay data
  --- Volume group ---
  VG Name               data
  System ID
  Format                lvm2
  Metadata Areas        1
  Metadata Sequence No  8
  VG Access             read/write
  VG Status             resizable
  MAX LV                0
  Cur LV                1
  Open LV               1
  Max PV                0
  Cur PV                1
  Act PV                1
  VG Size               5.46 TiB
  PE Size               4.00 MiB
  Total PE              1430796
  Alloc PE / Size       1430796 / 5.46 TiB
  Free  PE / Size       0 / 0
  VG UUID               dyTTZJ-uTYZ-80aK-i06u-Cv21-pyME-FZkL7m

Meneeköhän kaikki nyt Ok?
Jahka reshape on valmis, niin jatkan alkuperäisen ohjeen mukaan?

ja vielä

Koodia: [Valitse]

@NAS:/media$ sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 0.91
  Creation Time : Mon Oct 25 13:14:47 2010
     Raid Level : raid5
     Array Size : 5860543744 (5589.05 GiB 6001.20 GB)
  Used Dev Size : 1465135936 (1397.26 GiB 1500.30 GB)
   Raid Devices : 6
  Total Devices : 6
Preferred Minor : 0
    Persistence : Superblock is persistent

    Update Time : Mon Aug 27 17:16:23 2012
          State : active, reshaping
 Active Devices : 6
Working Devices : 6
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 64K

 Reshape Status : 1% complete
  Delta Devices : 1, (5->6)

           UUID : 5163c5ad:04708065:cced5de7:ca715931 (local to host NAS)
         Events : 0.18901

    Number   Major   Minor   RaidDevice State
       0       8        1        0      active sync   /dev/sda1
       1       8       17        1      active sync   /dev/sdb1
       2       8       65        2      active sync   /dev/sde1
       3       8       81        3      active sync   /dev/sdf1
       4       8       33        4      active sync   /dev/sdc1
       5       8       97        5      active sync   /dev/sdg1