Tietojen noutaminen webistä johonkin muotoon

[valtsu68]

Tere

Ajoittain tulee tarve koota tietoa yhteen internetin useista lähteistä. Miten voisi (puoli)automatisoida tarvittavien web-sivustojen sisällön noudon näppärästi?

Googlettelin jonkin aikaa, mutta aihe on minulle niin outo etten tod.näk. keksi edes lähelle oikeita hakusanoja. --nimimerkillä "kaikki apu kelpaa!"--

[aurinkolasit]

Moro!

Jos sä haluat noutaa netistä kamaa, suosittelen ohjelmia wget tai curl. Molempia käytetään komentoriviltä, vaikkakin wgetistä on myös GUI-versioita. En ole niitä käyttänyt, joten en osaa kommentoida.

Mä käytän noista kahdesta ohjelmasta useimmiten curlia

http://curl.haxx.se/

Asennus:

sudo apt-get install curl

Voit noutaa netistä mitä vain. Avaat päätteen, kirjoitat

curl "url"

ja curl hakee urlin ja printtaa sen oletusarvoisesti suoraan näytöllesi. Eli jos haluat vaikka ladata pdf-tiedoston netistä niin rumaksi menee. Niinpä urlin voi dumpata tiedostoon joko

curl "url" > "haluamasitiedostonimi"

tai

curl -o "haluamasitiedostonimi" "url"

Mä vähän aavistelen, että haluaisit vaikka käydä jollain ohjelmalla nettisivun lähdekoodin läpi, eristää sieltä linkit vaikka pdf-tiedostoihin, pistää ne johonkin talteen, ja lopulta ladata kaikki löydetyt pdf:t. Teen tätä usein luentoprujujen tapauksessa.

Mä en tiedä, josko sä olet jokin linux-guru, niin en tiedä, miten perinpohjaisen selityksen haluat, tai haluatko ollenkaan. Mutta joka tapauksessa toi on vasta alkua, mitä kaikkea curlilla voi tehdä. Voin antaa howton vaikka videosoittolistan tekemisestä jostakin nettiluennoista käyttäen curlia, grepiä ja vimiä.

[K-Veikko]

Tere

Ajoittain tulee tarve koota tietoa yhteen internetin useista lähteistä. Miten voisi (puoli)automatisoida tarvittavien web-sivustojen sisällön noudon näppärästi?

Googlettelin jonkin aikaa, mutta aihe on minulle niin outo etten tod.näk. keksi edes lähelle oikeita hakusanoja. --nimimerkillä "kaikki apu kelpaa!"--

Itselle on riittänyt hyvin WebHTTrack suoraan ropositoreista asennettuna. World Wide Web (universe).
http://www.httrack.com/page/21/
Helppo graafinen käyttöliittymä.

[valtsu68]

Moro!
... suosittelen ohjelmia wget tai curl. Molempia käytetään komentoriviltä, vaikkakin wgetistä on myös GUI-versioita.
....

Itselle on riittänyt hyvin WebHTTrack suoraan ropositoreista asennettuna. World Wide Web (universe).
http://www.httrack.com/page/21/
Helppo graafinen käyttöliittymä.

Kiitos molemmille ! Nyt alkaa sitten tutkintavankeus  eli aletaan kokeilemaan vähän aluksi.

Koetin itse löytää näitä ohjelmia ensin "Lisää/poista" - sovelluksella, Synapticilla ja vielä Päätteellä käskyllä "apropos" Googlen lisäksi, mutta aihepiiri on sen verran outo, etten keksinyt oikeita hakusanoja, (olin kyllä aika väsynytkin  )

Mä en tiedä, josko sä olet jokin linux-guru, niin en tiedä, miten perinpohjaisen selityksen haluat, tai haluatko ollenkaan. Mutta joka tapauksessa toi on vasta alkua, mitä kaikkea curlilla voi tehdä. Voin antaa howton vaikka videosoittolistan tekemisestä jostakin nettiluennoista käyttäen curlia, grepiä ja vimiä.

En todellakaan mikään guru, enkä tässä vaiheessa halua kenenkään käyttävän suuremmasti aikaansa opastamiseeni. Yritän ensin itse sen verran, että osaan kysyä oikeita asioita  .



Toisaalta, tuollaisella HowTo:lla olisi varmasti suuri määrä tarvitsijoita. Ei siis muuta kuin kirjoittamaan, uskon että kiitollisia on aika monta.

Monesti jokin "temppu" on todella helppo suorittaa, mutta työkalun löytäminen "temppuun" ja sen käytön oppiminen vaativat joskus moninkertaisen ajan itse "tempun" suorittamiseen. (Puhumattakaan sitten sovelluksista, jotka ovat jollakin lailla "erilaisia" ja niiden logiikan oivaltaminen voi kestää). Tällaisissa tapauksissa HowTo on POP 

P.S.

Vielä kiitokset yleisesti KAIKILLE Ubuntu Suomen foorumeilla toista auttaneille JA kaikille HowTo:n tehnneille.