Kirjoittaja Aihe: Levykopioinnin hitaus  (Luettu 11608 kertaa)

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #40 : 11.10.25 - klo:16.45 »
Levyn sisäisessä kopioinnissa (kansiosta toiseen) tätä ilmiötä ei tapahdu. Juuri siisrin 3,9G melko nopeasti

Joo, vika tuntuu liittyvän jotenkin ulkoisen levyn ja koneen USB-kontrollerin toimintaan laitetasolla.  Siirtonopeus jää jostain syystä USB 1.1-standardin mukaiseksi eli n. 1 Mt/s.

Mitä muuten lsusb:n tarkempi listaus kertoo ulkoisen levyn kytkennästä:

Koodia: [Valitse]
lsusb --tree

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #41 : 11.10.25 - klo:16.52 »
Mitä muuten lsusb:n tarkempi listaus kertoo ulkoisen levyn kytkennästä:
Koodia: [Valitse]
lsusb --tree
Koodia: [Valitse]
$ lsusb --tree
/:  Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
    |__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas, 5000M
/:  Bus 03.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/14p, 480M
    |__ Port 5: Dev 2, If 0, Class=Hub, Driver=hub/4p, 12M
        |__ Port 2: Dev 4, If 0, Class=Chip/SmartCard, Driver=, 12M
    |__ Port 8: Dev 3, If 0, Class=Wireless, Driver=btusb, 12M
    |__ Port 8: Dev 3, If 1, Class=Wireless, Driver=btusb, 12M
    |__ Port 11: Dev 6, If 13, Class=CDC Data, Driver=cdc_mbim, 480M
    |__ Port 11: Dev 6, If 12, Class=Communications, Driver=cdc_mbim, 480M
    |__ Port 12: Dev 7, If 1, Class=Video, Driver=uvcvideo, 480M
    |__ Port 12: Dev 7, If 0, Class=Video, Driver=uvcvideo, 480M
/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
    |__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/8p, 480M
/:  Bus 01.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
    |__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/6p, 480M
        |__ Port 2: Dev 3, If 0, Class=Hub, Driver=hub/4p, 480M
            |__ Port 3: Dev 4, If 0, Class=Human Interface Device, Driver=usbhid, 12M
            |__ Port 3: Dev 4, If 1, Class=Human Interface Device, Driver=usbhid, 12M
            |__ Port 3: Dev 4, If 2, Class=Human Interface Device, Driver=usbhid, 12M
            |__ Port 4: Dev 5, If 0, Class=Human Interface Device, Driver=usbhid, 1.5M
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #42 : 11.10.25 - klo:16.55 »
Mitä muuten lsusb:n tarkempi listaus kertoo ulkoisen levyn kytkennästä:
Koodia: [Valitse]
lsusb --tree
Koodia: [Valitse]
$ lsusb --tree
/:  Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
    |__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas, 5000M
/:  Bus 03.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/14p, 480M
    |__ Port 5: Dev 2, If 0, Class=Hub, Driver=hub/4p, 12M
        |__ Port 2: Dev 4, If 0, Class=Chip/SmartCard, Driver=, 12M
    |__ Port 8: Dev 3, If 0, Class=Wireless, Driver=btusb, 12M
    |__ Port 8: Dev 3, If 1, Class=Wireless, Driver=btusb, 12M
    |__ Port 11: Dev 6, If 13, Class=CDC Data, Driver=cdc_mbim, 480M
    |__ Port 11: Dev 6, If 12, Class=Communications, Driver=cdc_mbim, 480M
    |__ Port 12: Dev 7, If 1, Class=Video, Driver=uvcvideo, 480M
    |__ Port 12: Dev 7, If 0, Class=Video, Driver=uvcvideo, 480M
/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
    |__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/8p, 480M
/:  Bus 01.Port 1: Dev 1, Class=root_hub, Driver=ehci-pci/3p, 480M
    |__ Port 1: Dev 2, If 0, Class=Hub, Driver=hub/6p, 480M
        |__ Port 2: Dev 3, If 0, Class=Hub, Driver=hub/4p, 480M
            |__ Port 3: Dev 4, If 0, Class=Human Interface Device, Driver=usbhid, 12M
            |__ Port 3: Dev 4, If 1, Class=Human Interface Device, Driver=usbhid, 12M
            |__ Port 3: Dev 4, If 2, Class=Human Interface Device, Driver=usbhid, 12M
            |__ Port 4: Dev 5, If 0, Class=Human Interface Device, Driver=usbhid, 1.5M
Sulla on liian vanhanaikainen USB-hubi siellä välissä.
Eipäs mitään, katsoin väärin.
« Viimeksi muokattu: 11.10.25 - klo:16.57 kirjoittanut qwertyy »

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #43 : 11.10.25 - klo:16.56 »
Ei ole mitään välissä. Kone on kyllä vanha
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #44 : 11.10.25 - klo:16.57 »
Ei ole mitään välissä. Kone on kyllä vanha
Juu ei mitään, katsoin ihan väärin.

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #45 : 11.10.25 - klo:17.00 »
Spekseistä

Interfaces

USB 3.0 total 3 (1 with Anytime USB Charge functionality)
USB 2.0 total 1

Yksi museohubi on systeemissä, jakaa hiiren ja näppäimistön KVM-kytkimen kautta, mutta ei pitäisi kyllä vaikuttaa tuon kovon toimintaan.
« Viimeksi muokattu: 11.10.25 - klo:17.03 kirjoittanut Snufkin »
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

nm

  • Käyttäjä
  • Viestejä: 16901
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #46 : 11.10.25 - klo:17.06 »
Koodia: [Valitse]
$ lsusb --tree
/:  Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
    |__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas,

Levy näyttää kytkeytyvän nopeana USB 3 -laitteena, eli ei näytä ainakaan tunnistusongelmalta. Yksi mahdollinen syy voisi olla siirron aikana syntyvät virheet, joiden korjaaminen vaatii siirtopakettien uudelleenlähetyksen. Sellainen voisi hyvinkin hidastaa siirtoa megatavuluokkaan.

Kokeilitko levyä jo kaikissa koneen USB-porteissa? Pystytkö kokeilemaan toisella USB-johdolla?

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #47 : 11.10.25 - klo:17.07 »
Spekseistä

Interfaces

USB 3.0 total 3 (1 with Anytime USB Charge functionality)
USB 2.0 total 1

Yksi museohubi on systeemissä, jakaa hiiren ja näppäimistön KVM-kytkimen kautta, mutta ei pitäisi kyllä vaikuttaa tuon kovon toimintaan.
Kokeile ilman sitä. Kyllä ne voi joskus sekoittaa järjestelmää ja pakottaa jotain taaksepäinyhteensopivuustilaan, eli hitaampaan tilaan. Mitä vanhempi laite, sitä todennäköisempää.

Onhan sinulla se asema vasemmalla puolella näyttöliittimien välissä kiinni?

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #48 : 11.10.25 - klo:17.10 »
Koodia: [Valitse]
$ lsusb --tree
/:  Bus 04.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
    |__ Port 2: Dev 2, If 0, Class=Mass Storage, Driver=uas,

Levy näyttää kytkeytyvän nopeana USB 3 -laitteena, eli ei näytä ainakaan tunnistusongelmalta. Yksi mahdollinen syy voisi olla siirron aikana syntyvät virheet, joiden korjaaminen vaatii siirtopakettien uudelleenlähetyksen. Sellainen voisi hyvinkin hidastaa siirtoa megatavuluokkaan.

Kokeilitko levyä jo kaikissa koneen USB-porteissa? Pystytkö kokeilemaan toisella USB-johdolla?

Mä otan nää työn alle, en pysty nyt testaamaan kun muu työ kesken. Mulla on kaksi samanlaista Seagatea ja pitää kokeilla myös tuo johto. Toisaalta nopea alku (1-2G) viittaa siihen, ettei vika ole laitepuolella.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #49 : 11.10.25 - klo:17.16 »

Mä otan nää työn alle, en pysty nyt testaamaan kun muu työ kesken. Mulla on kaksi samanlaista Seagatea ja pitää kokeilla myös tuo johto. Toisaalta nopea alku (1-2G) viittaa siihen, ettei vika ole laitepuolella.
Tuohon saa luottaa vain jos se on "benchmark" luotettavaa tietoa. Muuten se levyvälimuisti voi hämätä todella rajusti. Näet sen jo siitä, että jos kopioit tuon 1-2gt dataa asemalle ja heti kun se kopiointimerkki lähtee näkyvistä, niin napsauta aseman irroitusta. Käytännössä varmasti menee aika pitkään, että järjestelmä antaa oikeasti ilmoituksen aseman turvallisesta irroittamisesta, eli asema vielä kopioi dataa vaikka näennäisesti tapahtuman pitäisi olla loppunut.

JaniAlander

  • Käyttäjä / moderaattori+
  • Viestejä: 3484
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #50 : 11.10.25 - klo:21.24 »
Levyn sisäisessä kopioinnissa (kansiosta toiseen) tätä ilmiötä ei tapahdu. Juuri siisrin 3,9G melko nopeasti

Siinä ei välttämättä tarvi kummemmin dataa liikutella, kun lähinnä muutellaan datan kirjauksia, ts. miten mihinkin fyysiseen kohtaan linkitetään.
Core i5-9400F 2.9ghz 32GB Ram, Nvidia RTX2060 Kubuntu 24.04-64bit, Windows 10 Pro 64-bit Samsung Series 5, AMD A-6 2.1 GHz 4 Gt Ram, Ubuntu 18.04 64-bit.
Lenovo T60 Core2Duo 2GB Ram Ati Mobility Radeon 128 MB Ubuntu Mate 16.04-64bit
Commodore Amiga 500 1MB Ram.

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #51 : 12.10.25 - klo:12.54 »
Levyn sisäisessä kopioinnissa (kansiosta toiseen) tätä ilmiötä ei tapahdu. Juuri siisrin 3,9G melko nopeasti

Siinä ei välttämättä tarvi kummemmin dataa liikutella, kun lähinnä muutellaan datan kirjauksia, ts. miten mihinkin fyysiseen kohtaan linkitetään.

Kyllähän kopionnissa kaikki data liikkuu, kun siitä luodaan uusi kopio.
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #52 : 12.10.25 - klo:16.23 »
Kyllähän kopionnissa kaikki data liikkuu, kun siitä luodaan uusi kopio.
Ei ole enää nykyään itsestään selvyys. Deduplikaatio on nykyään yleistä aika monissa tapauksissa.

Postimies

  • Käyttäjä
  • Viestejä: 2656
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #53 : 04.11.25 - klo:16.17 »
Komentorivillä cp -a lähde kohde ihan tehokas. Rync -av myös kiva. Muistaakseni teran kopioiminen kesti jotain 6h USB 2 portin kautta. Pitää vaan odotella. Tutustu rsync ohjelman vipuihin.

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #54 : 08.12.25 - klo:19.40 »
Jatketaanpa tarinaa, eli hitaus jatkuu.

- Tänään koitin varakopioida noin 2G dataa ja 1G menee ok, sitten hyytyy.
- Laitoin Cancel ja kopiointi keskeytyi
- Sitten koitin umountata levyn, mutta ei enää onnistu.
- Kytkin koneeseen yhden usb-tikun ja ne näkyvät nyt eri tavalla tuolla /media-kansiossa.

Koodia: [Valitse]
$ ls
 KINGSTON   'Seagate Basic'

Tulee kuvien kaltaisia varotuksia, vaikka mitään dataa ei pitäsi olla kirjoituksessa ja levy ollut still-tilassa jo minuutteja.

Se noissa on mielenkiintoista, että levyn nimi ei ole sdb vaan sdb1

Koodia: [Valitse]
/dev/sdb1      976759804 296885044 679874760  31% /media/xxx/Seagate Basic
/dev/sdc1         987360    450320    537040  46% /media/xxx/KINGSTON


- Sitten sammutin ja käynnistin tiedostoselaimen (Thunar) uudelleen, ei vaikutusta.
- Sitten irroitin kovalevyn väkisin ja sen seurauksena kaikki aiemmin kopioidut tiedosto ovat kadonneet, mutta levy toimii muuten ok.

Mistä lähtisi etsimää vikaa?

Edit: Uusi havainto. Noin 10 min kuluttua levy unmouonttaantui normaalisi. ja nyt tiedostot ovat tallella. Eli tekeekö se sittenkin tuon kopionnin jotenkin loppuun vaikka sen näennäisesti keskeyttää? Samoin uusi kopionti lähtee nyt käyntiin vauhdilla.


« Viimeksi muokattu: 08.12.25 - klo:19.57 kirjoittanut Snufkin »
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #55 : 08.12.25 - klo:21.57 »
Ihan perus settiä. Tiedostot on vielä välimuistissa. Juuri siksi se kopiointi vaikuttaa alkuun nopealta ja sitten jymähtää hitaaksi.

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #56 : 08.12.25 - klo:22.06 »
Ihan perus settiä. Tiedostot on vielä välimuistissa. Juuri siksi se kopiointi vaikuttaa alkuun nopealta ja sitten jymähtää hitaaksi.

Missä välimuistissa? Tietokoneen vai jossain kovalevyn porstuassa?

Ja miksi tuo cancel ei sitten keskeytä latausta, vaikka niin näyttää tekevän?
Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #57 : 08.12.25 - klo:22.24 »
Lähes varmasti kummassakin jos iso tiedostomäärä kyseessä. Kyllähän se cancel sinullakin siinä toimi ihan niin kuin pitää. Se muisti/tapahtumat/tilanne vain pitää huuhtoa asemille, muuten se tieto häviää kun virrat häviää.

Snufkin

  • Käyttäjä
  • Viestejä: 787
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #58 : 08.12.25 - klo:23.36 »
Löytyi uuttaa tietoa. Tein piruuttani kokeen, että latasin saman 2,3G datan kahdelle eri ulkoiselle levylle. Molemmat Seagate 1T, mutta hieman eri malleja. Toinen, joka vielä LUKS-kryptattu, selvityi tuosta sutjakasti. Tuo toinen sitten taas hyytyi, nyt 1,8G kohdalla.

Sitten vertailin levyjä Disks-ohjelmalla ja huomasin, että tuossa toisessa on NTFS-tiedostoformaatti! Voisiko tämä olla syy isojen datamäärien hitauteen? (Toisessa ext4)

Xubuntu 22.04 LTS, Fujitsu Lifebook E754

qwertyy

  • Käyttäjä
  • Viestejä: 6159
    • Profiili
Vs: Levykopioinnin hitaus
« Vastaus #59 : 09.12.25 - klo:10.04 »
Itsellä on kyllä NTFS:t nekin toiminut aika normaalisti. Toki voi kait siellä periaatteessa olla joku lohkoko tms. jotenkin huonosti soveltuva, ehkä? Se että asemat on saman merkkisiä ei kyllä kerro vielä mitään. Siellä silti voisi olla esim. toisessa CMR ja toisessa SMR asema sisällä ja niitä ei oikein tietäisi kun purkamalla asemat ja katsomalla kiintolevystä itsestään tarkan mallin ja tutkimalla.

Jos sulla on tilaa puljata väliaikaisesti nuo tiedostot johonkin, niin eihän tuo paha homma ole kokeilla alustaa uusiksi.

Mutta... esim. Seagaten perus halpis kiintolevy ST1000LM048 käyttää SMR tekniikkaa, eli on sitä huonompaa tekniikkaa. Siinäkin on välimuistia itsessään tuo 128Mt, eli voisi kuvitella, että joku tuollainen menee polvilleen jossain gigatavun kopioinnin kohdalla. Vastaava CMR asema ST1000LM049 varmaankin porskuttelee taas tuon 160Mt/s

Huvikseni kysyin Geminiltä "best/worst case scenarion" ja antoi vastauksen
Lainaus
Nopeuserot: CMR vs. SMR (1TB 2.5" HDD)
1 teratavun (TB) 2.5 tuuman SMR- ja CMR-kiintolevyjen nopeuksien välillä on merkittäviä eroja riippuen käyttötilanteesta.
Parhaassa tapauksessa molemmat asemat toimivat lähes samalla nopeudella. Kun kirjoitat suuria, peräkkäisiä tiedostoja tyhjälle levylle, nopeudet ovat tyypillisesti noin 80–160 megatavua sekunnissa (MB/s). SMR-asemat pystyvät tähän hyödyntämällä pientä, nopeaa välimuistialuettaan.
Sen sijaan pahimmassa tapauksessa ero on dramaattinen. Jos suoritat jatkuvia, satunnaisia kirjoituksia (esimerkiksi käytät levyä käyttöjärjestelmänä tai suuressa moniajossa) tai jos levy on lähes täynnä, SMR-aseman suorituskyky romahtaa. Nopeudet voivat pudota jopa 2.5–10 MB/s tasolle, koska asema joutuu käyttämään aikaa tietojen uudelleenjärjestelyyn. CMR-asema (Conventional Magnetic Recording) säilyttää tällaisessa tilanteessa tasaisen suorituskyvyn, pysyen jatkuvasti tuossa 80–160 MB/s nopeusikkunassa.
Lukunopeudet ovat molemmissa tekniikoissa vertailukelpoiset; ero ilmenee vain kirjoitustoiminnassa.
Yhteenvetona voidaan todeta, että SMR on edullisempi ja sopii parhaiten "kirjoita kerran, lue monta" -tyyppiseen arkistointiin ja kylmään varmuuskopiointiin. CMR on ylivoimainen valinta yleiskäyttöön ja suorituskykyä vaativiin tehtäviin, joissa tarvitaan tasaista ja ennustettavaa kirjoitusnopeutta.

Tosiaan tuossa on vielä hyvänä lisänä tuo, että CMR asema on hitaampi täyttyessään. Eli se tavallaan tekee sitä ikivanhaa defragmentointia kokoajan ja se toiminto hidastuu kun ei ole soluja mihin tuota toimintoa järkevästi tehdä.

Ja vielä lisähuomatuksena, että nuo ulkoiset asemathan on nykyään varsin edukkaita ja se tarkoittaa käytännössä automaattisesti sitä, että niihin kyllä tungetaan ne hinnat alkaen kiintolevyt sisälle.

Anna kun arvaan. Se vanhempi asema on merkittävästi nopeammalta tuntuva?
« Viimeksi muokattu: 09.12.25 - klo:10.11 kirjoittanut qwertyy »