Mistä saa ryystettyä reaaliaikaisen lämpötilatiedon? [RATKAISTU]

[jekku]

Olen aikaisemmin ryystänyt (wgetillä) sivun
http://www.foreca.fi/Finland/Kajaani
Ja parsinut siitä muutamia detaljeja, kuten lämpötilan ja lumensyvyyden tilastoihini.

Mutta jokunen päivä sitten sivun rakenne muuttunut enkä löydä noita tietoja enää.

Onko joku temppu jolla saa napattua ulkolämpötilan jostain havaintoasemalta ihan tekstiformaatissa?

Hyvin irtoaa, tuolla myöhemmin mainitulla python-palikalla

[kamara]

http://ilmatieteenlaitos.fi/saa/kajaani

Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64

[jekku]

http://ilmatieteenlaitos.fi/saa/kajaani

Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64

En muuten keksinyt miten noista napataan se info tekstitiedostoon?

[kamara]

http://ilmatieteenlaitos.fi/saa/kajaani

Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64

En muuten keksinyt miten noista napataan se info tekstitiedostoon?

Mitkä tiedot tarvitset. Näyttäisi forecaltakin saavan joitain tietoja grepattua:

Koodia: [Valitse]

wget http://www.foreca.fi/Finland/Kajaani
cat Kajaani |grep date

Lämpötila näkyy löytyvän, muttei lumen syvyyttä.

[jekku]

http://ilmatieteenlaitos.fi/saa/kajaani

Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64

En muuten keksinyt miten noista napataan se info tekstitiedostoon?

Mitkä tiedot tarvitset. Näyttäisi forecaltakin saavan joitain tietoja grepattua:

Koodia: [Valitse]

wget http://www.foreca.fi/Finland/Kajaani
cat Kajaani |grep date

Lämpötila näkyy löytyvän, muttei lumen syvyyttä.

Tuollaiset olen aiemmin saanut kiiinni:
Lumen syvyys : 11 cm
Lämpötila: -3°C Havaintoaika: 12.2. 17.10

Eli tuota koetan saada kiinni joka näkyy selaimessa:   
-3 °C

Havaintoaika: 19.2. 15.30

Minun greppiini ei osu sama arvo

[kamara]

Joo lumen syvyyttä ei tosiaan näy, mutta lämpötila näkyy – ainakin itselläni:

Koodia: [Valitse]

wget http://www.foreca.fi/Finland/Kajaani
cat Kajaani |grep date
1020002897': { date: '19.2.', time: '15.00', temp: -3, flike: -8, rhum: 82, v ...

Eli greppaa date:lla, jotta näkyy arvoja.

[jekku]

Joo, niin greppasin.
Mutta hämäsi ettei samaa havaintoaikaa osunut.

Ja näkyy olevan nuo sijaintikooditkin löydettävissä         

Koodia: [Valitse]

var stations = [{id: '1020002897', n: "Kajaani Lentoasema"}, {id: '1020002739', n: "Sotkamo Kuolaniemi"}, {id: '1020002859', n: "Puolanka, Paljakka"}, {id: '1020002834', n: "Vieremä Kaarakkala"}, {id: '1020002883', n: "Kajaani Petäisenniska"}];

Kai noilla on pärjättävä..

[kamara]

Kai noilla on pärjättävä..

Jos haluat sateen määrän ja todennäköisyyden, niin kannattaa tutustua ohnonot:n tekemään sääscriptaan, mutta sen parsiminen taitaa olla hivenen hankalampaa. Koodeja tutkimalla varmaan jotain saa selvää...

https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64

https://github.com/ohnonot/conky-itl-weather

... itselläni ei ole tarvetta sille, niin en viitsi tutkia näitä koodeja.

[pata]

Ilmatieteen laitoksen "Paikalliset säähavainnot" tietojen poimiminen ei taida onnistua näillä koska se käyttää Javaskriptiä. Tuon jos joku tietäisi miten. Näinhän todetaan myös em. forum ketjun lopussa. Toistaiseksi olen käyttänyt Forecan tms. sivua.

[Tomin]

Jos viitsisi skriptata (Python lienee helpoin työkalu) tarpeeksi, niin tuosta saattaisi olla hyötyä:
http://ilmatieteenlaitos.fi/avoin-data-avattavat-aineistot

[jekku]

Jos viitsisi skriptata (Python lienee helpoin työkalu) tarpeeksi, niin tuosta saattaisi olla hyötyä:
http://ilmatieteenlaitos.fi/avoin-data-avattavat-aineistot

Tuohon pitääkin perehtyä oikein ajatuksella ja aikaisin aamulla kun ajatus vielä kulkee, jotenkin

[nm]

Kyhäsin skriptin Foreca.fi:n havaintodatan latailuun. Näyttää kaikki sivulla piilevät havaintoasemat.

Lataa:

Koodia: [Valitse]

wget https://raw.githubusercontent.com/nmikkila/weatherdata/master/current_weather/foreca.py
Aja:

Koodia: [Valitse]

python foreca.py http://www.foreca.fi/Finland/Kajaani

[raimo]

Kyhäsin skriptin Foreca.fi:n havaintodatan latailuun. Näyttää kaikki sivulla piilevät havaintoasemat.

Lataa:

Koodia: [Valitse]

wget https://raw.githubusercontent.com/nmikkila/weatherdata/master/current_weather/foreca.py
Aja:

Koodia: [Valitse]

python foreca.py http://www.foreca.fi/Finland/Kajaani

Wau, nyt on hieno! Kiitos paljon!

Vaatii tosin python-requests -paketin asentamisen jotta toimii.
Se ei ainakaan minun KDE neonissa eikä Raspin Debian Jessiessä ollut asennettuna, mutta näinhän sen saa:

Koodia: [Valitse]

sudo apt-get install python-requests

[nm]

Jees. En muistanut, ettei requests ole vakiokalustoa.


Ilmatieteen laitokselta saa vastaavat datat ja enemmänkin aika suoraviivaisesti:

Sääasematunnukset paikkakunnan sivun kautta:

Koodia: [Valitse]

wget -O- http://ilmatieteenlaitos.fi/saa/kajaani | grep -oP "supportedStations=.*?;"
Tai vähän selkeämmin listattuna:

Koodia: [Valitse]

wget -O- http://ilmatieteenlaitos.fi/saa/kajaani | grep -oP "supportedStations=.*?;" | sed "s/\([0-9]*:{\)/\n\1/g"
Vajaan viikon havainnot JSON-muodossa (sama data kuin sivulla näkyvä graafisesti selattava Paikalliset säähavainnot):

Koodia: [Valitse]

wget "http://ilmatieteenlaitos.fi/observation-data?station=126736" -O observations.json

[pata]

Vajaan viikon havainnot JSON-muodossa (sama data kuin sivulla näkyvä graafisesti selattava Paikalliset säähavainnot):

Koodia: [Valitse]

wget "http://ilmatieteenlaitos.fi/observation-data?station=126736" -O observations.json

Kiitos tästä! Mistähän tuokin löytyi?

[nm]

Vajaan viikon havainnot JSON-muodossa (sama data kuin sivulla näkyvä graafisesti selattava Paikalliset säähavainnot):

Koodia: [Valitse]

wget "http://ilmatieteenlaitos.fi/observation-data?station=126736" -O observations.json

Kiitos tästä! Mistähän tuokin löytyi?

Selaimen web-kehitystyökaluilla (Firefoxissa Shift+Ctrl+I tai Työkalut -> Web-työkalut -> Toggle tools) voi näppärästi tutkia mm. JavaScript-koodin tekemiä pyyntöjä ja muuta verkkoliikennettä. Lataa sivu uudelleen, kun työkalut ovat käytössä. Kyseinen pyyntö näkyy Network -> XHR -listauksessa. (XHR=XMLHttpRequest)

Joillain sivuilla on paljon mainoksista johtuvaa liikennettä, joka hidastaa oleellisen informaation etsimistä. Adblock+ auttaa siihen vaivaan.

[jekku]

Kyhäsin skriptin Foreca.fi:n havaintodatan latailuun. Näyttää kaikki sivulla piilevät havaintoasemat.

Lataa:

Koodia: [Valitse]

wget https://raw.githubusercontent.com/nmikkila/weatherdata/master/current_weather/foreca.py
Aja:

Koodia: [Valitse]

python foreca.py http://www.foreca.fi/Finland/Kajaani

Hienosti tulee

Mutta kun koetan ohjata tulosteen, esim:

Koodia: [Valitse]

python foreca.py http://www.foreca.fi/Finland/Kajaani | less
niin

Koodia: [Valitse]

Traceback (most recent call last):
  File "foreca.py", line 138, in <module>
    main()
  File "foreca.py", line 135, in main
    pretty_print(parsedObservations)
  File "foreca.py", line 126, in pretty_print
    o["snow_depth"]))
UnicodeEncodeError: 'ascii' codec can't encode character u'\xb0' in position 123: ordinal not in range(128)
(END)

Ilmeisesti tuttu juttu ja jos/kun python tutumpi niin oikaistavissa?
http://stackoverflow.com/questions/9942594/unicodeencodeerror-ascii-codec-cant-encode-character-u-xa0-in-position-20

EDIT:

Ja syyhän oli tuossa kun kutsuin vanhempaa tulkkia,

Koodia: [Valitse]


python3 foreca.py http://www.foreca.fi/Finland/Kajaani | less


toimii - tosin ohittaa ääkköset sujuvasti, mutta se ei ole olennaista tässä tapauksessa.

[nm]

Mutta kun koetan ohjata tulosteen, esim:

Koodia: [Valitse]

python foreca.py http://www.foreca.fi/Finland/Kajaani | less
niin

Koodia: [Valitse]

Traceback (most recent call last):
  File "foreca.py", line 138, in <module>
    main()
  File "foreca.py", line 135, in main
    pretty_print(parsedObservations)
  File "foreca.py", line 126, in pretty_print
    o["snow_depth"]))
UnicodeEncodeError: 'ascii' codec can't encode character u'\xb0' in position 123: ordinal not in range(128)
(END)

Ilmeisesti tuttu juttu ja jos/kun python tutumpi niin oikaistavissa?
http://stackoverflow.com/questions/9942594/unicodeencodeerror-ascii-codec-cant-encode-character-u-xa0-in-position-20

EDIT:

Ja syyhän oli tuossa kun kutsuin vanhempaa tulkkia,

Joo, Python 2:ssa ulostulon enkoodaus toimii oudosti joissain tilanteissa, kuten putkituksissa. PYTHONIOENCODING-ympäristömuuttujalla sen voi pakottaa UTF-8:ksi:

Koodia: [Valitse]

PYTHONIOENCODING=utf-8 python2 foreca.py http://www.foreca.fi/Finland/Kajaani | less

Koodia: [Valitse]

python3 foreca.py http://www.foreca.fi/Finland/Kajaani | less

toimii - tosin ohittaa ääkköset sujuvasti, mutta se ei ole olennaista tässä tapauksessa.

Skandien ja muiden erikoismerkkien pitäisi kyllä näkyä, ellei less tai pääte hävitä niitä. Python herjaa ja lopettaa prosessin, jos ei pysty konvertoimaan merkkijonoja häviöttömästi käytössä olevaan merkistöön.

[hyttysmyrkky]

Tässä vielä yksi esimerkki, miten hankkia viimeisin lämpötila (yms.) Ilmatieteen laitokselta JSON- tai XML-muodossa (1/2019):

• Hae paikallissää (esim. Olari): https://ilmatieteenlaitos.fi/saa/espoo/olari. Kohdassa "Paikalliset säähavainnot" näkyy lähin sääasema (esim. "Espoo Tapiola")
• Hae kyseisen sääaseman FMISID: https://ilmatieteenlaitos.fi/havaintoasemat (esim. 874863)
• "Viimeisin" lämpötila XML-muodossa (vaihda URLiin fmisid): http://opendata.fmi.fi/wfs?service=WFS&version=2.0.0&request=getFeature&storedquery_id=fmi::observations::weather::simple&fmisid=874863&parameters=t2m&starttime=-60&endtime=now&timestep=30
  
  • "Viimeisin" tarkoittaa paria edellistä tasa- tai puolituntista. En heti keksinyt, miten saisi viimeisimmän mittauksen. Todennäköisesti ei toimi, jos uusin lukema on yli tunnin vanha.
  • storedquery_id=fmi::observations::weather::simple ---> lisätietoa täällä: https://en.ilmatieteenlaitos.fi/open-data-manual-fmi-wfs-services ja täällä: https://ilmatieteenlaitos.fi/latauspalvelun-pikaohje
  • parameters=t2m  ---> tarkoittaa lämpötilaa. Jätä parameters kokonaan pois, niin tulee muutakin.
  • starttime & endtime  ---> ovat normaalisti ISO 8601 -muodossa (UTC-aikaa), esim. 2019-01-10T07:05:57Z
• Paikalliset säähavainnot JSON-muodossa (kuten nm sanoi tuolla edellä: https://forum.ubuntu-fi.org/index.php?topic=51838.msg397059#msg397059):
  
  • https://ilmatieteenlaitos.fi/observation-data?station=874863 (vaihda FMISID=station)
  • Lämpötila: hae "t2m"

JSONista saa poimittua viimeisimmän lämpötilan helposti esimerkiksi JavaScriptillä:

Koodia: [Valitse]

// https://ilmatieteenlaitos.fi/observation-data?station=874863 -----> httpContent
var jsonData = JSON.parse(httpContent);
var temperatureArray = jsonData.t2m;
var lastTemperature = temperatureArray[temperatureArray.length-1];    // [epochtime, value]
var lastTemperatureValue = lastTemperature[1];


[_Pete_]

Olen aikaisemmin ryystänyt (wgetillä) sivun
http://www.foreca.fi/Finland/Kajaani
Ja parsinut siitä muutamia detaljeja, kuten lämpötilan ja lumensyvyyden tilastoihini.

Mutta jokunen päivä sitten sivun rakenne muuttunut enkä löydä noita tietoja enää.

Onko joku temppu jolla saa napattua ulkolämpötilan jostain havaintoasemalta ihan tekstiformaatissa?

Hyvin irtoaa, tuolla myöhemmin mainitulla python-palikalla

Tulikin jo hyviä vastauksia, tässä muutama muu paikka mistä saa vähän säätietoja muualtakin kuin Suomesta:

https://github.com/chubin/wttr.in

https://www.aviationweather.gov/metar

Metar tiedot on maailman lentokentiltä mitattua säätietoa jotka saa monessa muodossa, viimeisimmät mittaustiedot
per lentokenttä löytyy tekstimuodossa esimerkiksiä täältä:

ftp://tgftp.nws.noaa.gov/data/observations/metar/decoded/