RAID5 pakan kiintolevyjen partitiot alkavat väärästä kohdasta (Misaligment)

[rassi]

Tuli todettua, että minullahan alkaa RAID5 pakan levyjen oisot ihan väärästä kohdasta ja tällä voi olla ilmeisesti suurikin(?) vaikutus
suorituskykyyn?

Onko muuta vaihtoehtoa lähteä noita "aligmenttejä" korjaamaan kuin nollista lähtö?
Ehkä poistamalla yhden levyn pakasta, formatoimalla sen oikein ja lisäämällä sen sitten takaisin?
Aikaahan tuossa menee, kun joutuu 1 kerrallaan ne poistamaan pakasta ja lisäämään takaisin.. Onko nopeampaa turvallista
vaihtoehtoa?
Dataa on noin 7TB tuossa pakassa tällä hetkellä.

Partition 1 does not start on physical sector boundary. antaa fdisk kolmelle levylle.


Ubuntu 14.04
RAID5 (mdadm)
LVM & XFS on systeeminä.
4x WD Red 4TB levyt pelkästään datalle, käyttis omalla levyllään.

fdisk kertoo seuraavaa, ensin /dev/sde, joka näyttääkin olevan ainoa  kunnossa oleva.

Koodia: [Valitse]

@nassi:~$ sudo fdisk -lu /dev/sde

Disk /dev/sde: 4000.8 GB, 4000787030016 bytes
90 heads, 3 sectors/track, 28940878 cylinders, total 7814037168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x4d9d9de8

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1            2048  4294967294  2147482623+  fd  Linux raid autodetect


Muut 3 levyä ovatkin sitten näin, alkavat sektorista 1... eikä 2048. Olen alkuperäisessä asennuksessa jotain
mokannut tietämättömyyttäni, että formatointi on tullut noin.

Koodia: [Valitse]

@nassi:~$ sudo fdisk -lu /dev/sdf

WARNING: GPT (GUID Partition Table) detected on '/dev/sdf'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdf: 4000.8 GB, 4000787030016 bytes
255 heads, 63 sectors/track, 486401 cylinders, total 7814037168 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sdf1               1  4294967295  2147483647+  ee  GPT
Partition 1 does not start on physical sector boundary.

Tämän hetkinen suorituskyky, jonka sain tämä scriptin avulla:
http://ubuntuforums.org/showthread.php?t=1494846

Koodia: [Valitse]

@nas:/mnt/data/testi# sync; dd if=/dev/zero of=/mnt/data/testi/file.out bs=1M count=4096; sync
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 18.2101 s, 236 MB/s


Koodia: [Valitse]

@nas:/mnt/data/testi# dd if=/mnt/data/testi/file.out of=/dev/null bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 14.26 s, 317 MB/s
Asetuksien ollessa nämä:

Koodia: [Valitse]

echo 16384 > /sys/block/md0/md/stripe_cache_size
blockdev --setra 64 /dev/sd[cfde]
blockdev --setra 2048 /dev/md0
echo 512 > /sys/block/sdc/queue/max_sectors_kb
echo 512 > /sys/block/sdf/queue/max_sectors_kb
echo 512 > /sys/block/sdd/queue/max_sectors_kb
echo 512 > /sys/block/sde/queue/max_sectors_kb

Tuota ennen oli kirjoitus 123 MB/s ja luku 292 MB/s

PS. Rautalangan käyttö ehjäykseen on täysin sallittua

[nm]

WARNING: GPT (GUID Partition Table) detected on '/dev/sdf'! The util fdisk doesn't support GPT. Use GNU Parted.

Levyillä on GUID-osiotaulu, jota perus-fdisk ei osaa lukea. Käytä gdiskiä tai (G)partedia levyjen tutkimiseen.

Suorituskyky näyttää ihan hyvältä, ja veikkaan, että osiot ovat oikeissa kohdissa.

[ajaaskel]

+1 "nm", lisäksi tästä voi olla hyötyä (erityisesti viimeinen komento joka näyttä alignment: in):

http://forum.ubuntu-fi.org/index.php?topic=48384.msg371028#msg371028

[rassi]

jes! Huoleni taisi olla turha
partedin mukaan näyttävät olevan ´linjassa´.
Nyt kun katsoo partedilla, niin sde ei ole muiden kanssa samaa pataa, onko tuolla jotain käytännön merkitystä?
Partition table on msdos, kun muissa gpt, flags kohdassakin eroa muihin.

Varmistelun varmistelut vielä, että kaikki näyttää olevan kuten pitääkin, tulosteita läjäpäin tuossa alla
Mitään vikaa ei systeemissä sinänsä ole ollut, paitsi että digiboksi pudottaa tallennuksen silloin tällöin pois todeten "Disk full" ja ajatuksissa on, että joku pieni tiedonsiirto katkos tulisi.

Koodia: [Valitse]

@nassi:~$ sudo parted /dev/sdc p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sdc: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  4001GB  4001GB               primary  msftdata

1 aligned


@nassi:~$ sudo parted /dev/sdd p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sdd: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  4001GB  4001GB               primary  msftdata

1 aligned


@nassi:~$ sudo parted /dev/sde p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sde: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: msdos

Number  Start   End     Size    Type     File system  Flags
 1      1049kB  2199GB  2199GB  primary               raid

1 aligned


@nassi:~$ sudo parted /dev/sdf p a o 1
Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sdf: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name     Flags
 1      1049kB  4001GB  4001GB               primary  msftdata

1 aligned

Tässä vielä gdiskin tulosteet

Koodia: [Valitse]

@nassi:~$ sudo gdisk -l  /dev/sdc
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdc: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 51770703-8E22-4493-BBB5-CDE3BB7EFCF3
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary
   
   
@nassi:~$ sudo gdisk -l  /dev/sdd
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdd: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 29825E27-EED5-4316-A83E-B82566F512B1
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary
   
   
   
   
@nassi:~$ sudo gdisk -l  /dev/sde
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: MBR only
  BSD: not present
  APM: not present
  GPT: not present


***************************************************************
Found invalid GPT and valid MBR; converting MBR to GPT format
in memory.
***************************************************************

Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 8835D0C8-B657-4E73-B9C7-C707D31C95EE
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3519071854 sectors (1.6 TiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      4294967294   2.0 TiB     FD00  Linux RAID
   
   
@nassi:~$ sudo gdisk -l  /dev/sdf
GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sdf: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 20124AAD-B022-4CE4-AEC8-C1D722D271B6
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary

ja vielä mdadm:sta tiedot, tuo sde näyttää olevan koko devicenä(?) tuolla.

Koodia: [Valitse]

@nassi:~$ sudo mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Feb  1 21:24:13 2014
     Raid Level : raid5
     Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Sun Mar  1 18:05:57 2015
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : nassi:0  (local to host nassi)
           UUID : 01a8d2b4:398d1cbb:e774320f:06550643
         Events : 14631

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       3       8       81        2      active sync   /dev/sdf1
       4       8       64        3      active sync   /dev/sde


[ajaaskel]

Itse muuttaisin sen yhden levyn GPT: ksi.  Sen lisäksi nimeäisin nuo pakan levyt jollakin kuvaavalla tavalla ja laittaisin "raid" flagin (osion tyyppi FD00) kaikkiin, (nyt vain yhdessä) eli kuten täällä:

http://www.homelinuxpc.com/download/software_raid.html

Ehdotan kuitenkin varoiksi tekemään muutokset yksi levy kerrallaan ja välitarkastus uudelleenkäynnistyksen kanssa yllätysten välttämiseksi.

[rassi]

Hyvä hyvä, näin teen. Pitää backupit varmuuden vuoksi tuosta vetäistä ensin ja lähteä sitten levy kerrallaan muutos hommiin.
Ilmeisesti tuo MBR -> GPT käy näin helposti, senkuin käynnistää gdiskin ja nakkaa w:tä.
https://wiki.archlinux.org/index.php/GUID_Partition_Table#Convert_from_MBR_to_GPT

Convert from MBR to GPT

One of the best features of gdisk (and sgdisk and cgdisk too) is its ability to convert MBR and BSD disklabels to GPT without data loss. Upon conversion, all the MBR primary partitions and the logical partitions become GPT partitions with the correct partition type GUIDs and Unique partition GUIDs created for each partition.

Just open the MBR disk using gdisk and exit with "w" option to write the changes back to the disk (similar to fdisk) to convert the MBR disk to GPT. Watch out for any error and fix them before writing any change to disk because you may risk losing data. See http://www.rodsbooks.com/gdisk/mbr2gpt.html for more info. After conversion, the bootloaders will need to be reinstalled to configure them to boot from GPT.

Note:

    Remember that GPT stores a secondary table at the end of disk. This data structure consumes 33 512-byte sectors by default. MBR doesn't have a similar data structure at its end, which means that the last partition on an MBR disk sometimes extends to the very end of the disk and prevents complete conversion. If this happens to you, you must abandon the conversion, resize the final partition, or convert everything but the final partition.
    Keep in mind that if your Boot-Manager is GRUB, it needs a BIOS Boot Partition. If your MBR Partitioning Layout isn't too old, there is a good chance that the first partition starts at sector 2048 for alignment reasons. That means at the beginning will be 1007 KiB of empty space where this bios-boot partition can be created. To do this, first do the mbr->gpt conversion with gdisk as described above. Afterwards, create a new partition with gdisk and manually specify its position to be sectors 34 - 2047, and set the EF02 partition type.
    There are known corruption issues with the backup GPT table on laptops that are Intel chipset based, and run in RAID mode. The solution is to use AHCI instead of RAID, if possible.

Hetkinen...

Tässä vielä sde (MBR) vs. sdf (GPT).
Taisi olla niin että MBR tuki vain 2TB osioita ja tästä syystä gdisk näyttää kooksi vain tuon 2.0TiB, eikä 3,6TiB niin kuin pitäisi?
Toiminnan kannalta tuolla ei kuitenkaan ole merkitystä, koska tuo RAID5 pakkani kyllä antaa sen kooksi oikean 12TB?
ja se vielä kaikenlisäksi toimiikin.

Koodia: [Valitse]

Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
 

Koodia: [Valitse]

Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Total free space is 3519071854 sectors (1.6 TiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      4294967294   2.0 TiB     FD00  Linux RAID
       
 

Koodia: [Valitse]

Disk /dev/sdf: 7814037168 sectors, 3.6 TiB
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     0700  primary
 

[ajaaskel]

Joo, se muutos käy käden käänteessä juuri noin eli avaa ja tallentaa --- tehty.  Samoin se 2T kokorajoitus, isoille (2 TB+) levyille teen noilla uudemmilla työkaluilla osioinnin jolloin siitä tulee heti GPT.

[rassi]

ja muutos kävi kädenkäänteessä
Mutta nyt ihmetyttää vieläkin tuo sde levyn koko.. ja myös tietysti tuo corrupted GPT table

Koodia: [Valitse]

@nassi:~$ sudo parted /dev/sde p a o 1
Error: The primary GPT table is corrupt, but the backup appears OK, so that will be used.
parted: invalid token: a
OK/Cancel? O


Model: ATA WDC WD40EFRX-68W (scsi)
Disk /dev/sde: 4001GB
Sector size (logical/physical): 512B/4096B
Partition Table: gpt

Number  Start   End     Size    File system  Name        Flags
 1      1049kB  2199GB  2199GB               Linux RAID  raid


Koodia: [Valitse]

@nassi:~$ sudo gdisk -l /dev/sde
GPT fdisk (gdisk) version 0.8.8

Caution! After loading partitions, the CRC doesn't check out!
Warning! Main partition table CRC mismatch! Loaded backup partition table
instead of main partition table!

Warning! One or more CRCs don't match. You should repair the disk!

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: damaged

****************************************************************************
Caution: Found protective or hybrid MBR and corrupt GPT. Using GPT, but disk
verification and recovery are STRONGLY recommended.
****************************************************************************
Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): 49E2F82C-527A-4083-A11F-9BD7D4FA479E
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3519071854 sectors (1.6 TiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      4294967294   2.0 TiB     FD00  Linux RAID

Kaikki kuitenkin kunnossa, myös buutin jälkeen:

Koodia: [Valitse]

/dev/md0:
        Version : 1.2
  Creation Time : Sat Feb  1 21:24:13 2014
     Raid Level : raid5
     Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

    Update Time : Mon Mar  2 16:22:30 2015
          State : clean
 Active Devices : 4
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 0

         Layout : left-symmetric
     Chunk Size : 512K

           Name : nassi:0  (local to host nassi)
           UUID : 01a8d2b4:398d1cbb:e774320f:06550643
         Events : 14631

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       3       8       81        2      active sync   /dev/sdf1
       4       8       64        3      active sync   /dev/sde



Koodia: [Valitse]

@nassi:~$ df -h
Filesystem                   Size  Used Avail Use% Mounted on
/dev/mapper/vg_raid-lv_raid   11T  7.4T  3.7T  67% /mnt/data


[ajaaskel]

Siinä levyssä tai ohjaimessa voi olla jotain hämärää.  Vaikeaa arvata tuntematta koko historiaa mutta laittaa miettimään jo tuo alkuperäinen ero muihin levyihin nähden.  Onko tuo levy samanlaisessa ohjaimessa kiinni kuin muutkin levysi ?  Tai jotain muuta rautaeroa ? Näyttääkö SMART-tiedot normaalilta tuolle levylle ?

Ellei mitään erikoista tuolla puolella niin joudut varmaan irrottamaan pakasta tuon levyn, määrittämään uudestaan vain tuon levyn alkutekijöistä alkaen (=menee tyhjäksi ) ja synkkaamaan takaisin pakkaan mukaan _mutta_  itse ottaisin varmaan varmuuskopiot ensin ellei jo ole.   Ja tietty gdisk/parted, ei fdisk.

Ehkä tuo on seurausta alkuaan fdisk: in käytöstä osiointiin tuolle levylle... ?  Tuo koko viittaa siihen suuntaan.

[rassi]

SMART testi menossa, pistelen tuloksia kun valmistuu.
Kaikki levyt on samassa ohjaimessa kiinni, Supermicro X7SPA-HF on pohjilla ja levytkin on noita samoja 4TB WD Redejä.
Tuo SDE on tuorein levy, lisäsin sen pakkaan parisen viikkoa sitten ja fdiskiä on tullut kyllä käytettyä, kun en näitä MBR/GPT juttuja ole osannut huomioida sitten yhtään, seurannut vain jotain internetin syövereistä löytynyttä ohjetta..

Ehkä se on helpoin vain ottaa tuo levy vaan pois pakasta, hoitaa formatoinnit ja lyödä takaisin. Täytyy nyt vain muistaa mm. Bitmap laittaa päälle, kun levyn lisää takaisin. Taisi mennä parikin vuorokautta synkkauksessa, kun tuon
levyn aluperin tuonne lisäsin. Nämä optimoinnit pitää käydä läpi.

Backupit nyt samalla menossa verkon yli, siinäkin menee oma aikansa..
Parhaiten backuppia saisin nopeutettua sillä, että tekisin pienen kevät siivouksen mm. digiboksin tallenteille, niitäkin se 4TB tuolla lojumassa ja suurintaosaa ei varmasti koskaan tule edes katsottua

[rassi]

Verkon nopeus vaikuttaa olevan ihan Ok, tuleepahan tässä samalla nyt sitten duplikoitua kaikki data. Reilu vuorokausi taitaa vierähtää silti rsyncatessa..
Curr: 534.74 MBit/s
Avg: 488.11 MBit/s
Min: 16.33 kBit/s
Max: 922.67 MBit/s

Ei ongelmaa SMART:n mukaan eli levy gdisk/parted käsittelyyn on se seuraava steppi sitten.

Koodia: [Valitse]

smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-45-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF READ SMART DATA SECTION ===
SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%       470         -


Koodia: [Valitse]

smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.13.0-45-generic] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Device Model:     WDC WD40EFRX-68WT0N0
Firmware Version: 82.00A82
User Capacity:    4,000,787,030,016 bytes [4.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    5400 rpm
Device is:        Not in smartctl database [for details use: -P showall]
ATA Version is:   ACS-2 (minor revision not indicated)
SATA Version is:  SATA 3.0, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Tue Mar  3 13:00:06 2015 EET
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED

General SMART Values:
Offline data collection status:  (0x00) Offline data collection activity
                                        was never started.
                                        Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
                                        without error or no self-test has ever
                                        been run.
Total time to complete Offline
data collection:                (52380) seconds.
Offline data collection
capabilities:                    (0x7b) SMART execute Offline immediate.
                                        Auto Offline data collection on/off support.
                                        Suspend Offline collection upon new
                                        command.
                                        Offline surface scan supported.
                                        Self-test supported.
                                        Conveyance Self-test supported.
                                        Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
                                        power-saving mode.
                                        Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
                                        General Purpose Logging supported.
Short self-test routine
recommended polling time:        (   2) minutes.
Extended self-test routine
recommended polling time:        ( 524) minutes.
Conveyance self-test routine
recommended polling time:        (   5) minutes.
SCT capabilities:              (0x703d) SCT Status supported.
                                        SCT Error Recovery Control supported.
                                        SCT Feature Control supported.
                                        SCT Data Table supported.

SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x002f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0027   100   253   021    Pre-fail  Always       -       0
  4 Start_Stop_Count        0x0032   100   100   000    Old_age   Always       -       4
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x002e   200   200   000    Old_age   Always       -       0
  9 Power_On_Hours          0x0032   100   100   000    Old_age   Always       -       470
 10 Spin_Retry_Count        0x0032   100   253   000    Old_age   Always       -       0
 11 Calibration_Retry_Count 0x0032   100   253   000    Old_age   Always       -       0
 12 Power_Cycle_Count       0x0032   100   100   000    Old_age   Always       -       4
192 Power-Off_Retract_Count 0x0032   200   200   000    Old_age   Always       -       0
193 Load_Cycle_Count        0x0032   200   200   000    Old_age   Always       -       400
194 Temperature_Celsius     0x0022   123   118   000    Old_age   Always       -       29
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0032   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0030   100   253   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x0032   200   200   000    Old_age   Always       -       0
200 Multi_Zone_Error_Rate   0x0008   200   200   000    Old_age   Offline      -       0

SMART Error Log Version: 1
No Errors Logged

SMART Self-test log structure revision number 1
Num  Test_Description    Status                  Remaining  LifeTime(hours)  LBA_of_first_error
# 1  Extended offline    Completed without error       00%       470         -

SMART Selective self-test log data structure revision number 1
 SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.


[ajaaskel]

Joo, levy näkyy uskoisin ainakin oikean kokoisena sen jälkeen vaikka tuo CRC-asian tausta on hämärä .

Tuo levypakan synkkaus vie aina aikaa. Itse en ole yrittänyt mitään oikoteitä synkkauksessa olettaen että oletusarvot tuolle on jollain harkinnalla/tarkoituksella jo valittu (sekä mahdollisesti päivitettykin ajan saatossa) ja näissä "synkkaa 10x nopeammin" -jutuissa ei ole teknisiä perusteita eikä arviointeja siitä mikä voi mennä oikotien seurauksena pieleen tai mitä voi jatkossa yllättäen seurata.   Noiden pikakeinojen oikea testaaminen ja varmistaminen veisi aika tavalla aikaa. Jos aiot kokeilla oikopolut niin itse kokeilu kävisi paljon nopeammin pienillä levyillä/osioilla. Tuo myös ideana muillekin jos joku haluaa testata.

[rassi]

No, niin backupit otettu ja levy pistetty uusiksi

Hieman muistilappua

Koodia: [Valitse]

root@nassi:~# parted -a optimal /dev/sde
(parted) mklabel gpt
(parted) mklabel RAID5_HD3
(parted) mkpart primary 1 -1
(parted) set 1 raid on
(parted) quit


Koodia: [Valitse]


GPT fdisk (gdisk) version 0.8.8

Partition table scan:
  MBR: protective
  BSD: not present
  APM: not present
  GPT: present

Found valid GPT with protective MBR; using GPT.
Disk /dev/sde: 7814037168 sectors, 3.6 TiB
Logical sector size: 512 bytes
Disk identifier (GUID): A0B28D5C-D194-43C4-87CE-5EABF96919D7
Partition table holds up to 128 entries
First usable sector is 34, last usable sector is 7814037134
Partitions will be aligned on 2048-sector boundaries
Total free space is 3693 sectors (1.8 MiB)

Number  Start (sector)    End (sector)  Size       Code  Name
   1            2048      7814035455   3.6 TiB     FD00  primary



Bitmapin laitto päälle nopeutti uudelleen rakennusta noin 5 kertaisesti. Ilman sitä nopeus 25000K/sec ja kuluva aika 40h -> 7.5h.
(tai sitten tuolla bitmapilla ei tässä tilanteessa ole mitään vaikutusta, kun koko levy on tyhjä ja recovery lähtee nollista..)
En tiedä mitä muutakaan tapahtunut sitten viime kerran kun tuon saman levyn lisäsin... Liekkö tuo osioongelma vaikuttanut, vaikka normi käytössä nopeus olikin Ok.

Koodia: [Valitse]

root@nassi:~# cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md0 : active raid5 sde1[4] sdf1[3] sdd1[1] sdc1[0]
      11720655360 blocks super 1.2 level 5, 512k chunk, algorithm 2 [4/3] [UUU_]
      [>....................]  recovery =  0.3% (13882436/3906885120) finish=459.1min speed=141298K/sec
      bitmap: 0/30 pages [0KB], 65536KB chunk


Koodia: [Valitse]

root@nassi:~# mdadm --detail /dev/md0
/dev/md0:
        Version : 1.2
  Creation Time : Sat Feb  1 21:24:13 2014
     Raid Level : raid5
     Array Size : 11720655360 (11177.69 GiB 12001.95 GB)
  Used Dev Size : 3906885120 (3725.90 GiB 4000.65 GB)
   Raid Devices : 4
  Total Devices : 4
    Persistence : Superblock is persistent

  Intent Bitmap : Internal

    Update Time : Wed Mar  4 19:19:11 2015
          State : active, degraded, recovering
 Active Devices : 3
Working Devices : 4
 Failed Devices : 0
  Spare Devices : 1

         Layout : left-symmetric
     Chunk Size : 512K

 Rebuild Status : 2% complete

           Name : nassi:0  (local to host nassi)
           UUID : 01a8d2b4:398d1cbb:e774320f:06550643
         Events : 14806

    Number   Major   Minor   RaidDevice State
       0       8       33        0      active sync   /dev/sdc1
       1       8       49        1      active sync   /dev/sdd1
       3       8       81        2      active sync   /dev/sdf1
       4       8       65        3      spare rebuilding   /dev/sde1

Jahka tuo valmistuu, niin pitää nuo osiot vaihtaa FD00:ksi muihin levyihin, tuo vaihto on täysin ´vaaraton´ operaatio?
Toki pitää varmaan levy kerrallaan se tehdä..

[ajaaskel]

Jahka tuo valmistuu, niin pitää nuo osiot vaihtaa FD00:ksi muihin levyihin, tuo vaihto on täysin ´vaaraton´ operaatio?
Toki pitää varmaan levy kerrallaan se tehdä..

En osaa varmuudella sanoa käyttääkö se tuota osiotyyppikoodia johonkin vai onko se informatiivista tietoa.

[rassi]

Jahka tuo valmistuu, niin pitää nuo osiot vaihtaa FD00:ksi muihin levyihin, tuo vaihto on täysin ´vaaraton´ operaatio?
Toki pitää varmaan levy kerrallaan se tehdä..

En osaa varmuudella sanoa käyttääkö se tuota osiotyyppikoodia johonkin vai onko se informatiivista tietoa.

Okei. Olkoot toistaiseksi noin, kun en huomaa mitään ongelmaa enää.
Suuret kiitokset avusta ja vertaistuesta

Tämä homma lienee nyt taputeltu.

Aloittelin ihmettelemään hieman watchdogeja tuolle nassille, mutta se on toinen tarina se.
Munin - monitoroimaan yleisesti
mdadm monitor - heittämään meiliä ongelmista raidissa
NUT - Tarkkailemassa UPS:ia ja vetämään shutdownit pitkittyneessä sähkökatkoksessa ja nakkaamaan siitä meiliä.
Smartmontools tekemään SMART testejä ja ongelmissa nakkaamaan meiliä.