Kirjoittaja Aihe: Levykopioinnin hitaus  (Luettu 11697 kertaa)

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #60 : 09.12.25 - klo:10.41 »
- Kytkin koneeseen yhden usb-tikun ja ne näkyvät nyt eri tavalla tuolla /media-kansiossa.

Koodia: [Valitse]
$ ls
 KINGSTON   'Seagate Basic'

Tuolta pitääkin näyttää, jos siellä on kaksi mediaa liitettynä.

Se noissa on mielenkiintoista, että levyn nimi ei ole sdb vaan sdb1

Levyn laitetunnus on sdb, osion tunnus on sdb1. Näin kuuluu olla.


Ihan perus settiä. Tiedostot on vielä välimuistissa. Juuri siksi se kopiointi vaikuttaa alkuun nopealta ja sitten jymähtää hitaaksi.

Missä välimuistissa? Tietokoneen vai jossain kovalevyn porstuassa?

Koska umount ja fsync toimivat hitaasti, kopioitava data on kernelin välimuistissa eli tietokoneen ja käyttöjärjestelmän puolella, kuten on ollut jo pari kertaa aiemmin puhetta:

Alun nopea kopioiminen voi johtua Linuxin levyvälimuistista, eli tiedostot kopioidaan RAM-muistiin odottamaan varsinaista kirjoitusta levylle. Kirjoitusprosessi etenee taustalla omaan tahtiinsa, mutta aluksi voi tosiaan vaikuttaa siltä, että kopiointi etenee vauhdikkaasti. Levyvälimuistin koko riippuu vapaan muistin määrästä. Yleensä sitä on ainakin gigatavun verran, ellei muisti ole vähissä.

Kuten aiemmin totesin, levyvälimuisti vaikuttaa nopeuteen siirron alussa. Käytännössä lähdelevyn lukunopeus määrää silloin siirtonopeuden, mutta data siirtyy vain keskusmuistissa sijaitsevaan kernelin levyvälimuistiin. Varsinainen kirjoitus on tässä sinun tapauksessasi todennäköisesti koko ajan yhtä hidasta.


Ja miksi tuo cancel ei sitten keskeytä latausta, vaikka niin näyttää tekevän?

Tiedostoselaimen Cancel-toiminto ei taida pystyä perumaan kernelin välimuistiin ehtinyttä osaa siirrosta, vaan se jää valumaan levylle. Sitten kun kaikki on saatu kirjoitettua, kernelin välimuistissa on taas pari gigatavua tilaa odottelemassa uutta dataa.

Levyn omassa välimuistissa ei tällä 1 Mt/s siirtonopeudella ole paljon mitään. Nythän oli ymmärtääkseni niin, että sama levy toimi toisessa koneessa (Fujitsussa) hidastelematta, jolloin vika ei ole levyssä itsessään, vaan levyn ja tämän ongelmakoneen (Lenovon) välisessä kytkennässä. USB-yhteyden tiedot tutkittiin myös jo, ja se toimii näennäisesti USB 3 -standardilla, mutta siirtonopeus jää siitä huolimatta erittäin alhaiseksi. En keksi tähän muuta syytä kuin jokin laitteistotason epäyhteensopivuus levyn ja tietokoneen USB-ohjaimen välillä tai fyysisessä kytkennässä, jolloin virheenkorjaus hidastaa siirtoa.

Jos taas samaa hidastelua ilmenee muissakin koneissa, voisi epäillä syyksi SMR:ää tai levyn sisäistä vikaa. SMR ei kuitenkaan normaalisti toimi noin hitaasti, kun kyseessä on uudehko levy, eli osiolla on todennäköisesti vapaata tilaa, eikä se ole täysin fragmentoitunut. Nythän nämä hidastelevat siirrotkin ovat yhtenäistä kopiointia, eivätkä satunnaista kirjoittelua eri puolille levyä.


Sitten vertailin levyjä Disks-ohjelmalla ja huomasin, että tuossa toisessa on NTFS-tiedostoformaatti! Voisiko tämä olla syy isojen datamäärien hitauteen? (Toisessa ext4)

No ei ehkä ole täysin poissuljettu vaihtoehto, että ongelma johtuisi Linuxin NTFS-ajurista. Normaalia tällainen ei kuitenkaan ole, enkä ole törmännyt vastaavaan tapaukseen. Mikä käyttöjärjestelmä siinä Fujitsussa on, jolla levy toimii normaalisti?
« Viimeksi muokattu: 09.12.25 - klo:10.45 kirjoittanut nm »

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #61 : 09.12.25 - klo:10.58 »
Nythän oli ymmärtääkseni niin, että sama levy toimi toisessa koneessa (Fujitsussa) hidastelematta, jolloin vika ei ole levyssä itsessään, vaan levyn ja tämän ongelmakoneen (Lenovon) välisessä kytkennässä.

Näin oli aiemmin. Nyt tuo samainen levy alkoi hidastella Fujitsussa. Toisaalta en ole mitenkään systemaattisesti seurannut asiaa, mutta nyt olen melko varma asiasta.

Lainaus
Jos taas samaa hidastelua ilmenee muissakin koneissa, voisi epäillä syyksi SMR:ää tai levyn sisäistä vikaa. SMR ei kuitenkaan normaalisti toimi noin hitaasti, kun kyseessä on uudehko levy, eli osiolla on todennäköisesti vapaata tilaa, eikä se ole täysin fragmentoitunut. Nythän nämä hidastelevat siirrotkin ovat yhtenäistä kopiointia, eivätkä satunnaista kirjoittelua eri puolille levyä.

Kummassakin levyssä alle 50% dataa ja kumpikin "varakopiokäytössä" eli ei päivittäisessä.

Seagate Basic Portable Drive P/N 2URAP8-500 1TB (ongelmalevy)
Seagaet Expansion+ P/N 1V9AP9-500 1TB (ehkä ok toimiva)

Noista tuo Expansion+ on kympin tai pari kalliimpi malli. Kumpinkin sitä edullista päätä kuitenkin.

Sitten vertailin levyjä Disks-ohjelmalla ja huomasin, että tuossa toisessa on NTFS-tiedostoformaatti! Voisiko tämä olla syy isojen datamäärien hitauteen? (Toisessa ext4)

No ei ehkä ole täysin poissuljettu vaihtoehto, että ongelma johtuisi Linuxin NTFS-ajurista. Normaalia tällainen ei kuitenkaan ole, enkä ole törmännyt vastaavaan tapaukseen. Mikä käyttöjärjestelmä siinä Fujitsussa on, jolla levy toimii normaalisti?
[/quote]

Molemmissa koneissa on sama Xubuntu 22.04 LTS
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #62 : 09.12.25 - klo:14.01 »
Seagate Basic Portable Drive P/N 2URAP8-500 1TB (ongelmalevy)
Seagaet Expansion+ P/N 1V9AP9-500 1TB (ehkä ok toimiva)

Nettitietojen ja teardown-videon perusteella näissä molemmissa saattaa olla sisällä sama levy, Seagate Mobile HDD ST1000LM035, joka on SMR-tyyppinen. Manuaalin sivulla 6 on maininta ominaisuudesta "Shingled magnetic recording with perpendicular magnetic recording heads/media".

Näyttääkö smartctl levyn tarkemmat tiedot:

Koodia: [Valitse]
sudo apt install smartmontools
Koodia: [Valitse]
sudo smartctl -a /dev/sdb

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #63 : 09.12.25 - klo:15.43 »
Koodia: [Valitse]
sudo apt install smartmontools

Koodia: [Valitse]
$ sudo apt install smartmontools

Package smartmontools is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #64 : 09.12.25 - klo:16.03 »
Hmm, outoa. Tuo paketti on Ubuntun main-lähteessä, eli sen pitäisi kyllä olla aina saatavilla. Mitä apt update kertoo?

Koodia: [Valitse]
sudo apt update

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #65 : 09.12.25 - klo:16.37 »
Hmm, outoa. Tuo paketti on Ubuntun main-lähteessä, eli sen pitäisi kyllä olla aina saatavilla. Mitä apt update kertoo?

Koodia: [Valitse]
sudo apt update

Sama litanja tulee, ei löydy.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #66 : 09.12.25 - klo:18.25 »
apt updaten ei kyllä pitäisi antaa mitään tuon tapaista vaan päivittää pakettilistat. Toimiiko apt-getillä:

Koodia: [Valitse]
sudo apt-get update

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #67 : 09.12.25 - klo:18.46 »
apt updaten ei kyllä pitäisi antaa mitään tuon tapaista vaan päivittää pakettilistat. Toimiiko apt-getillä:

Koodia: [Valitse]
sudo apt-get update

Aa, sori epäselvä vastaus. Siis apt udate toimii samoin apt-get update

Mutta sen jälkeen kun koittaa asentaa, niin sama virheilmoitus

Koodia: [Valitse]
$ sudo apt-get install smartmontools
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Package smartmontools is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'smartmontools' has no installation candidate

Koodia: [Valitse]
$ sudo apt install smartmontools
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Package smartmontools is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source

E: Package 'smartmontools' has no installation candidate
« Viimeksi muokattu: 09.12.25 - klo:18.50 kirjoittanut Snufkin »
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #68 : 09.12.25 - klo:22.26 »
Aa, sori epäselvä vastaus. Siis apt udate toimii samoin apt-get update

Apt updaten antama listaus kiinnostaisi kokonaisuudessaan. Siitä nähdään, mitkä ohjelmalähteet järjestelmään on konfiguroitu. Smartmontools-paketin puuttuminen on hyvin erikoista, ja viittaa siihen, että keskeinen main-lähde ei ole käytössä.

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #69 : 09.12.25 - klo:23.25 »
Apt updaten antama listaus kiinnostaisi kokonaisuudessaan. Siitä nähdään, mitkä ohjelmalähteet järjestelmään on konfiguroitu. Smartmontools-paketin puuttuminen on hyvin erikoista, ja viittaa siihen, että keskeinen main-lähde ei ole käytössä.

Koodia: [Valitse]
$ sudo apt update
[sudo] password for ...
Hit:1 http://fi.archive.ubuntu.com/ubuntu jammy InRelease
Get:2 http://fi.archive.ubuntu.com/ubuntu jammy-updates InRelease [128 kB]     
Hit:3 https://download.docker.com/linux/ubuntu jammy InRelease                 
Get:4 http://security.ubuntu.com/ubuntu jammy-security InRelease [129 kB]     
Get:5 http://fi.archive.ubuntu.com/ubuntu jammy-backports InRelease [127 kB]   
Hit:6 https://packages.microsoft.com/repos/code stable InRelease               
Hit:7 https://app.eduvpn.org/linux/v4/deb jammy InRelease                     
Get:8 http://fi.archive.ubuntu.com/ubuntu jammy-updates/restricted amd64 Packages [4 944 kB]
Get:9 http://security.ubuntu.com/ubuntu jammy-security/restricted amd64 DEP-11 Metadata [208 B]
Get:10 http://security.ubuntu.com/ubuntu jammy-security/universe amd64 DEP-11 Metadata [126 kB]
Get:11 http://security.ubuntu.com/ubuntu jammy-security/multiverse amd64 DEP-11 Metadata [208 B]
Get:12 http://fi.archive.ubuntu.com/ubuntu jammy-updates/restricted Translation-en [923 kB]
Get:13 http://fi.archive.ubuntu.com/ubuntu jammy-updates/restricted amd64 DEP-11 Metadata [212 B]
Get:14 http://fi.archive.ubuntu.com/ubuntu jammy-updates/universe amd64 Packages [1 244 kB]
Get:15 http://fi.archive.ubuntu.com/ubuntu jammy-updates/universe i386 Packages [789 kB]
Get:16 http://fi.archive.ubuntu.com/ubuntu jammy-updates/universe amd64 DEP-11 Metadata [360 kB]
Get:17 http://fi.archive.ubuntu.com/ubuntu jammy-updates/universe amd64 c-n-f Metadata [30,0 kB]
Get:18 http://fi.archive.ubuntu.com/ubuntu jammy-updates/multiverse amd64 DEP-11 Metadata [940 B]
Get:19 http://fi.archive.ubuntu.com/ubuntu jammy-backports/restricted amd64 DEP-11 Metadata [212 B]
Get:20 http://fi.archive.ubuntu.com/ubuntu jammy-backports/universe amd64 DEP-11 Metadata [9 696 B]
Get:21 http://fi.archive.ubuntu.com/ubuntu jammy-backports/multiverse amd64 DEP-11 Metadata [212 B]
Hit:22 https://deb.nodesource.com/node_20.x nodistro InRelease                 
Fetched 8 812 kB in 2s (3 759 kB/s)           
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
2 packages can be upgraded. Run 'apt list --upgradable' to see them.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #70 : 09.12.25 - klo:23.35 »
Joo, eli lähde jammy-updates/main puuttuu kokonaan. Sen saa varmaankin kytkettyä päälle Ohjelmistot ja päivitykset -asetusohjelmalla, tai jos sieltä ei löydy, voit editoida suoraan /etc/apt/sources.list-tiedostoa. Jos päädyt editoimaan tiedostoa, listaa sen sisältö ensin tänne, niin katsotaan onko asetusrivi vain kommentoitu pois käytöstä.

Koodia: [Valitse]
cat /etc/apt/sources.list