Ubuntu Suomen keskustelualueet
Ubuntun käyttö => Ohjelmointi, palvelimet ja muu edistyneempi käyttö => Aiheen aloitti: vilpas - 25.06.13 - klo:13.25
-
Ubuntu 12.04 pavelimessa isojen kansioiden siirto toimii 2-5mb/s nopeudella mutta yksittäisten tiedostojen siirtonopeus pyörii siinä 60-100mb/s nopeudella riippumatta tiedoston koosta.
Samba ja Nfs(linux koneille) kansiona /var/nfs jossa sitten on montaa tuhatta valokuvaa ja montaa kymmentä tuhatta biisiä sekä koko windowsin steamapps kansio on kyseisellä palvelimella.
Onko jotain indexointi menetelmää tai jotain jolla saisin nopeutettua noiden kansioiden siirtoa?
ps. arvioi 100gb kansion siirtoajaksi 4päivää.
-
Onko jotain indexointi menetelmää tai jotain jolla saisin nopeutettua noiden kansioiden siirtoa?
ps. arvioi 100gb kansion siirtoajaksi 4päivää.
Indexointi?
Jos yksittäisten tiedostojen siirtonopeus on käsittämättömistä syistä nopeampi kuin kokonaisten hakemistojen kopiointi, kannattanee luoda valmiiksi hakemistorakenne, ja kopioida yksittäiset tiedostot sitten haluttuihin hakemistoihin.
On ehkä myös mahdollista, että tuo 4 päivää lasketaan, kun kopiointi alkaa hitaalla varmalla yhteydellä, mutta siirtonopeus saattaa kasvaa, kun bittejä on saatu siirtymään järjestelmän sallimilla nopeuksilla.
-
Indexointi?
Arvelin sen nimen olevan tuo.
Serverissiä on RAID ja giganen sisäverkon netti niin luulisi tuon kansioiden siirtonopeuden olevan isompi. kun muutaman gigan kansiossakin menee monta tuntia. arvelin että tieto olisi sirpaloitunut kovalevyille niinkuin windowskoneissa joten kansioiden siirto hidastuu?
-
Ootko koittanu siirtää kansiota mikä koostuu gigojen kokoisista tiedostoista? Jos sulla on kiljoona pienikokoista tiedostoa kansiossa, niiden siirto yksinkertaisesti vain kestää... Lyhyesti selitettynä maksimi siirtonopeus ei tule aivan silmänräpäyksessä, vaan pieni kokoisilla tiedostoilla juuri kuin siirto pääsisi edes jonkun näköiseen vauhtiin, pitää alkaa jo siirtämään seuraavaa tiedostoa, jolloin seuraava siirto alkaa taas ns. alusta. Pakkaa ne sun kuvat ym. 1-100GB paket(e)iksi ja siirtelet sitten ;)
(tekstä siisti: ajaaskel)
-
.... isojen kansioiden siirto toimii 2-5mb/s nopeudella....
Kiinnitin joskus samaan asiaan huomiota mutta en jäänyt silloin kokeilemaan mitä tuolle olisi tehtävissä. Pikainen netin selaus antoi ymmärtää että tuohon on tilapäisenä kikkana auttanut Ethernet pakettikoon nosto "jumbopaketiksi" molemmissa päissä eli tyyliin
sudo ifconfig eth0 mtu 4096
Tuo on helppoa muuttaa lennossa mutta en ole kokeillut mitä arvoja ifconfig huolii eth0: lle.
Toinen erikoinen temppu oli määrittää ja ohjata VLAN: in kautta liikenne (pakettien "täggäys" IEEE 802.11Q), en mene tuohon mutta jos idea on tuttu niin kiinnostaa kuulla kokeilun tulokset. Ubuntulle löytyy hyvin ohjeita miten VLAN: it saa käyttöön Ethernetissä.
-
Kokonaisuuksien siirtoon/kopiointiin "ennen hyvään aikaan" käytettiin mm. tar:ia.
Tar nimenomaan luo tarvittaessa hakemistorakenteen, ja kopioi hakemistojen tiedostot sitten erikseen.
Esim. tar ilman pakkausta suorittaa toimintonsa varsin nopeasti. Verkkoyhteyksiä varten taas on omat vipusensa.
http://linux.fi/wiki/Tar
Mm. tar-komento voidaan putkittaa, eikä kaikissa Unix-järjestelmissä cp/mv (copy/move) ole suositeltavin vaihtoehto.
-
Ootko koittanu siirtää kansiota mikä koostuu gigojen kokoisista tiedostoista? Jos sulla on kiljoona pienikokoista tiedostoa kansiossa, niiden siirto yksinkertaisesti vain kestää... Lyhyesti selitettynä maksimi siirtonopeus ei tule aivan silmänräpäyksessä, vaan pieni kokoisilla tiedostoilla juuri kuin siirto pääsisi edes jonkun näköiseen vauhtiin, pitää alkaa jo siirtämään seuraavaa tiedostoa, jolloin seuraava siirto alkaa taas ns. alusta. Pakkaa ne sun kuvat ym. 1-100GB paket(e)iksi ja siirtelet sitten ;)
(tekstä siisti: ajaaskel)
Minäkin tekisin hoidosta tar.gz:n ja sitten split 100 megaisiksi ja sit kopiotinti ja sit takaisin yhteen jöötiin ja purku.....
...voiko vielä optimoida IP pakettien kokoon, mutta luulen, että se on nyanssi. Onko nettipiuha(t) vähintään CAT6 ja välissä olevat purkit gigabit tasoisia? Ethän vain siirrä langattomassa verkossa!!!!