Ubuntu Suomen keskustelualueet
Ubuntun käyttö => Ohjelmointi, palvelimet ja muu edistyneempi käyttö => Aiheen aloitti: jekku - 19.02.17 - klo:11.57
-
Olen aikaisemmin ryystänyt (wgetillä) sivun
http://www.foreca.fi/Finland/Kajaani
Ja parsinut siitä muutamia detaljeja, kuten lämpötilan ja lumensyvyyden tilastoihini.
Mutta jokunen päivä sitten sivun rakenne muuttunut enkä löydä noita tietoja enää.
Onko joku temppu jolla saa napattua ulkolämpötilan jostain havaintoasemalta ihan tekstiformaatissa?
Hyvin irtoaa, tuolla myöhemmin mainitulla python-palikalla :)
-
http://ilmatieteenlaitos.fi/saa/kajaani
Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64
-
http://ilmatieteenlaitos.fi/saa/kajaani
Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64
En muuten keksinyt miten noista napataan se info tekstitiedostoon?
-
http://ilmatieteenlaitos.fi/saa/kajaani
Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64
En muuten keksinyt miten noista napataan se info tekstitiedostoon?
Mitkä tiedot tarvitset. Näyttäisi forecaltakin saavan joitain tietoja grepattua:
wget http://www.foreca.fi/Finland/Kajaani
cat Kajaani |grep date
Lämpötila näkyy löytyvän, muttei lumen syvyyttä.
-
http://ilmatieteenlaitos.fi/saa/kajaani
Täällä on vähän parsittuna:
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64
En muuten keksinyt miten noista napataan se info tekstitiedostoon?
Mitkä tiedot tarvitset. Näyttäisi forecaltakin saavan joitain tietoja grepattua:
wget http://www.foreca.fi/Finland/Kajaani
cat Kajaani |grep date
Lämpötila näkyy löytyvän, muttei lumen syvyyttä.
Tuollaiset olen aiemmin saanut kiiinni:
Lumen syvyys : 11 cm
Lämpötila: -3°C Havaintoaika: 12.2. 17.10
Eli tuota koetan saada kiinni joka näkyy selaimessa:
-3 °C
Havaintoaika: 19.2. 15.30
Minun greppiini ei osu sama arvo :(
-
Joo lumen syvyyttä ei tosiaan näy, mutta lämpötila näkyy – ainakin itselläni:
wget http://www.foreca.fi/Finland/Kajaani
cat Kajaani |grep date
1020002897': { date: '19.2.', time: '15.00', temp: -3, flike: -8, rhum: 82, v ...
Eli greppaa date:lla, jotta näkyy arvoja.
-
Joo, niin greppasin.
Mutta hämäsi ettei samaa havaintoaikaa osunut.
Ja näkyy olevan nuo sijaintikooditkin löydettävissä
var stations = [{id: '1020002897', n: "Kajaani Lentoasema"}, {id: '1020002739', n: "Sotkamo Kuolaniemi"}, {id: '1020002859', n: "Puolanka, Paljakka"}, {id: '1020002834', n: "Vieremä Kaarakkala"}, {id: '1020002883', n: "Kajaani Petäisenniska"}];
Kai noilla on pärjättävä..
-
Kai noilla on pärjättävä..
Jos haluat sateen määrän ja todennäköisyyden, niin kannattaa tutustua ohnonot:n tekemään sääscriptaan, mutta sen parsiminen taitaa olla hivenen hankalampaa. Koodeja tutkimalla varmaan jotain saa selvää...
https://foorumi.linux.fi/t/uusi-conky-saascripta-ilmatieteenlaitos-fi/1475/64
https://github.com/ohnonot/conky-itl-weather
... itselläni ei ole tarvetta sille, niin en viitsi tutkia näitä koodeja.
-
Ilmatieteen laitoksen "Paikalliset säähavainnot" tietojen poimiminen ei taida onnistua näillä koska se käyttää Javaskriptiä. Tuon jos joku tietäisi miten. Näinhän todetaan myös em. forum ketjun lopussa. Toistaiseksi olen käyttänyt Forecan tms. sivua.
-
Jos viitsisi skriptata (Python lienee helpoin työkalu) tarpeeksi, niin tuosta saattaisi olla hyötyä:
http://ilmatieteenlaitos.fi/avoin-data-avattavat-aineistot
-
Jos viitsisi skriptata (Python lienee helpoin työkalu) tarpeeksi, niin tuosta saattaisi olla hyötyä:
http://ilmatieteenlaitos.fi/avoin-data-avattavat-aineistot
Tuohon pitääkin perehtyä oikein ajatuksella ja aikaisin aamulla kun ajatus vielä kulkee, jotenkin :)
-
Kyhäsin skriptin Foreca.fi:n havaintodatan latailuun. Näyttää kaikki sivulla piilevät havaintoasemat.
Lataa:
wget https://raw.githubusercontent.com/nmikkila/weatherdata/master/current_weather/foreca.py
Aja:
python foreca.py http://www.foreca.fi/Finland/Kajaani
-
Kyhäsin skriptin Foreca.fi:n havaintodatan latailuun. Näyttää kaikki sivulla piilevät havaintoasemat.
Lataa:
wget https://raw.githubusercontent.com/nmikkila/weatherdata/master/current_weather/foreca.py
Aja:
python foreca.py http://www.foreca.fi/Finland/Kajaani
Wau, nyt on hieno! Kiitos paljon! :)
Vaatii tosin python-requests -paketin asentamisen jotta toimii.
Se ei ainakaan minun KDE neonissa eikä Raspin Debian Jessiessä ollut asennettuna, mutta näinhän sen saa:
sudo apt-get install python-requests
-
Jees. En muistanut, ettei requests ole vakiokalustoa.
Ilmatieteen laitokselta saa vastaavat datat ja enemmänkin aika suoraviivaisesti:
Sääasematunnukset paikkakunnan sivun kautta:
wget -O- http://ilmatieteenlaitos.fi/saa/kajaani | grep -oP "supportedStations=.*?;"
Tai vähän selkeämmin listattuna:
wget -O- http://ilmatieteenlaitos.fi/saa/kajaani | grep -oP "supportedStations=.*?;" | sed "s/\([0-9]*:{\)/\n\1/g"
Vajaan viikon havainnot JSON-muodossa (sama data kuin sivulla näkyvä graafisesti selattava Paikalliset säähavainnot):
wget "http://ilmatieteenlaitos.fi/observation-data?station=126736" -O observations.json
-
Vajaan viikon havainnot JSON-muodossa (sama data kuin sivulla näkyvä graafisesti selattava Paikalliset säähavainnot):
wget "http://ilmatieteenlaitos.fi/observation-data?station=126736" -O observations.json
Kiitos tästä! Mistähän tuokin löytyi?
-
Vajaan viikon havainnot JSON-muodossa (sama data kuin sivulla näkyvä graafisesti selattava Paikalliset säähavainnot):
wget "http://ilmatieteenlaitos.fi/observation-data?station=126736" -O observations.json
Kiitos tästä! Mistähän tuokin löytyi?
Selaimen web-kehitystyökaluilla (Firefoxissa Shift+Ctrl+I tai Työkalut -> Web-työkalut -> Toggle tools) voi näppärästi tutkia mm. JavaScript-koodin tekemiä pyyntöjä ja muuta verkkoliikennettä. Lataa sivu uudelleen, kun työkalut ovat käytössä. Kyseinen pyyntö näkyy Network -> XHR -listauksessa. (XHR=XMLHttpRequest)
Joillain sivuilla on paljon mainoksista johtuvaa liikennettä, joka hidastaa oleellisen informaation etsimistä. Adblock+ auttaa siihen vaivaan.
-
Kyhäsin skriptin Foreca.fi:n havaintodatan latailuun. Näyttää kaikki sivulla piilevät havaintoasemat.
Lataa:
wget https://raw.githubusercontent.com/nmikkila/weatherdata/master/current_weather/foreca.py
Aja:
python foreca.py http://www.foreca.fi/Finland/Kajaani
Hienosti tulee :)
Mutta kun koetan ohjata tulosteen, esim:
python foreca.py http://www.foreca.fi/Finland/Kajaani | less
niin
Traceback (most recent call last):
File "foreca.py", line 138, in <module>
main()
File "foreca.py", line 135, in main
pretty_print(parsedObservations)
File "foreca.py", line 126, in pretty_print
o["snow_depth"]))
UnicodeEncodeError: 'ascii' codec can't encode character u'\xb0' in position 123: ordinal not in range(128)
(END)
Ilmeisesti tuttu juttu ja jos/kun python tutumpi niin oikaistavissa?
http://stackoverflow.com/questions/9942594/unicodeencodeerror-ascii-codec-cant-encode-character-u-xa0-in-position-20
EDIT:
Ja syyhän oli tuossa kun kutsuin vanhempaa tulkkia,
python3 foreca.py http://www.foreca.fi/Finland/Kajaani | less
toimii - tosin ohittaa ääkköset sujuvasti, mutta se ei ole olennaista tässä tapauksessa.
-
Mutta kun koetan ohjata tulosteen, esim:
python foreca.py http://www.foreca.fi/Finland/Kajaani | less
niin
Traceback (most recent call last):
File "foreca.py", line 138, in <module>
main()
File "foreca.py", line 135, in main
pretty_print(parsedObservations)
File "foreca.py", line 126, in pretty_print
o["snow_depth"]))
UnicodeEncodeError: 'ascii' codec can't encode character u'\xb0' in position 123: ordinal not in range(128)
(END)
Ilmeisesti tuttu juttu ja jos/kun python tutumpi niin oikaistavissa?
http://stackoverflow.com/questions/9942594/unicodeencodeerror-ascii-codec-cant-encode-character-u-xa0-in-position-20
EDIT:
Ja syyhän oli tuossa kun kutsuin vanhempaa tulkkia,
Joo, Python 2:ssa ulostulon enkoodaus toimii oudosti joissain tilanteissa, kuten putkituksissa. PYTHONIOENCODING-ympäristömuuttujalla sen voi pakottaa UTF-8:ksi:
PYTHONIOENCODING=utf-8 python2 foreca.py http://www.foreca.fi/Finland/Kajaani | less
python3 foreca.py http://www.foreca.fi/Finland/Kajaani | less
toimii - tosin ohittaa ääkköset sujuvasti, mutta se ei ole olennaista tässä tapauksessa.
Skandien ja muiden erikoismerkkien pitäisi kyllä näkyä, ellei less tai pääte hävitä niitä. Python herjaa ja lopettaa prosessin, jos ei pysty konvertoimaan merkkijonoja häviöttömästi käytössä olevaan merkistöön.
-
Tässä vielä yksi esimerkki, miten hankkia viimeisin lämpötila (yms.) Ilmatieteen laitokselta JSON- tai XML-muodossa (1/2019):
- Hae paikallissää (esim. Olari): https://ilmatieteenlaitos.fi/saa/espoo/olari (https://ilmatieteenlaitos.fi/saa/espoo/olari). Kohdassa "Paikalliset säähavainnot" näkyy lähin sääasema (esim. "Espoo Tapiola")
- Hae kyseisen sääaseman FMISID: https://ilmatieteenlaitos.fi/havaintoasemat (https://ilmatieteenlaitos.fi/havaintoasemat) (esim. 874863)
- "Viimeisin" lämpötila XML-muodossa (vaihda URLiin fmisid): http://opendata.fmi.fi/wfs?service=WFS&version=2.0.0&request=getFeature&storedquery_id=fmi::observations::weather::simple&fmisid=874863¶meters=t2m&starttime=-60&endtime=now×tep=30 (http://opendata.fmi.fi/wfs?service=WFS&version=2.0.0&request=getFeature&storedquery_id=fmi::observations::weather::simple&fmisid=874863¶meters=t2m&starttime=-60&endtime=now×tep=30)
- "Viimeisin" tarkoittaa paria edellistä tasa- tai puolituntista. En heti keksinyt, miten saisi viimeisimmän mittauksen. Todennäköisesti ei toimi, jos uusin lukema on yli tunnin vanha.
- storedquery_id=fmi::observations::weather::simple ---> lisätietoa täällä: https://en.ilmatieteenlaitos.fi/open-data-manual-fmi-wfs-services (https://en.ilmatieteenlaitos.fi/open-data-manual-fmi-wfs-services) ja täällä: https://ilmatieteenlaitos.fi/latauspalvelun-pikaohje (https://ilmatieteenlaitos.fi/latauspalvelun-pikaohje)
- parameters=t2m ---> tarkoittaa lämpötilaa. Jätä parameters kokonaan pois, niin tulee muutakin.
- starttime & endtime ---> ovat normaalisti ISO 8601 -muodossa (UTC-aikaa), esim. 2019-01-10T07:05:57Z
- Paikalliset säähavainnot JSON-muodossa (kuten nm sanoi tuolla edellä: https://forum.ubuntu-fi.org/index.php?topic=51838.msg397059#msg397059 (https://forum.ubuntu-fi.org/index.php?topic=51838.msg397059#msg397059)):
- https://ilmatieteenlaitos.fi/observation-data?station=874863 (https://ilmatieteenlaitos.fi/observation-data?station=874863) (vaihda FMISID=station)
- Lämpötila: hae "t2m"
JSONista saa poimittua viimeisimmän lämpötilan helposti esimerkiksi JavaScriptillä:
// https://ilmatieteenlaitos.fi/observation-data?station=874863 -----> httpContent
var jsonData = JSON.parse(httpContent);
var temperatureArray = jsonData.t2m;
var lastTemperature = temperatureArray[temperatureArray.length-1]; // [epochtime, value]
var lastTemperatureValue = lastTemperature[1];
-
Olen aikaisemmin ryystänyt (wgetillä) sivun
http://www.foreca.fi/Finland/Kajaani
Ja parsinut siitä muutamia detaljeja, kuten lämpötilan ja lumensyvyyden tilastoihini.
Mutta jokunen päivä sitten sivun rakenne muuttunut enkä löydä noita tietoja enää.
Onko joku temppu jolla saa napattua ulkolämpötilan jostain havaintoasemalta ihan tekstiformaatissa?
Hyvin irtoaa, tuolla myöhemmin mainitulla python-palikalla :)
Tulikin jo hyviä vastauksia, tässä muutama muu paikka mistä saa vähän säätietoja muualtakin kuin Suomesta:
https://github.com/chubin/wttr.in
https://www.aviationweather.gov/metar
Metar tiedot on maailman lentokentiltä mitattua säätietoa jotka saa monessa muodossa, viimeisimmät mittaustiedot
per lentokenttä löytyy tekstimuodossa esimerkiksiä täältä:
ftp://tgftp.nws.noaa.gov/data/observations/metar/decoded/
-
Eipä ilmatieteenlaitos tätä ole tehnyt mitenkään helposti lähestyttäväksi.
Moni haluais varmaan simppeliä JSONia eikä XML overhead oksennusta.
Tämä https://ilmatieteenlaitos.fi/observation-data?station=1234567 on hyvä löytö. Tämä ei taida olla mikään virallinen API?
Tosin, ois kiva tietää mistä löytyis lisää parametreja, esim. anna vain viimeisin havainto (tosin se viimeisen epoch aika näkyy tossa JSONin alussa). Täytyypä veronmaksajana ja omistajana ;-) kysyä ilmatieteenlaitokselta.
Sitten tossa EPOCH/Unix aikastampissa on liikaa nollia perässä "1556616000000" ->"1556616000".
Onko joku käyttänyt tätä: https://ilmatieteenlaitos.fi/observation-data?station=1234567 jo vuosia? toimii luotettavasti?
-
Eipä ilmatieteenlaitos tätä ole tehnyt mitenkään helposti lähestyttäväksi.
Moni haluais varmaan simppeliä JSONia eikä XML overhead oksennusta.
WFS on paras yleinen standardi säähavaintojen ja -ennusteiden välittämiseen, ja sen vakioformaatti on XML. Periaatteessa WFS 2.0 voisi tarjota myös JSON-dataa, mutta sitä ei nähtävästi ole toteutettu FMI:n palvelussa.
Tämä https://ilmatieteenlaitos.fi/observation-data?station=1234567 on hyvä löytö. Tämä ei taida olla mikään virallinen API?
Se on FMI:n nettisivua ja varmaankin myös mobiilisovelluksia varten suunniteltu rajapinta. Ei varsinaisesti tarkoitettu avoimen datan lähteeksi, joten saattaa muuttua varoittamatta.
Tosin, ois kiva tietää mistä löytyis lisää parametreja, esim. anna vain viimeisin havainto (tosin se viimeisen epoch aika näkyy tossa JSONin alussa). Täytyypä
veronmaksajana ja omistajana ;-) kysyä ilmatieteenlaitokselta.
Tuskinpa saat muuta vastausta kuin että avoimen datan rajapinta on dokumentoitu ja vapaasti käytettävissä.
Voit tutkia, miten FMI:n sivusto käyttää JSON-rajapintaa eri sivuilla, mutta voi olla niinkin, ettei sieltä saa pelkkää viimeistä havaintoa ulos.
Sitten tossa EPOCH/Unix aikastampissa on liikaa nollia perässä "1556616000000" ->"1556616000".
Se on JavaScript-tyyliin epoch-aikaleima millisekunteina, ja palvelee hyvin rajapinnan tarkoitusta. Jaa luku tuhannella, jos tarvitsee muuntaa sekunneiksi. :)
Onko joku käyttänyt tätä: https://ilmatieteenlaitos.fi/observation-data?station=1234567 jo vuosia? toimii luotettavasti?
No ainakin reilut pari vuotta on nähtävästi toiminut tuon osoitteen kautta. Luulisi olevan suhteellisen luotettava, kun virallinen nettisivu käyttää kyseistä rajapintaa.
-
Huh, menipä tovi C#:lla. En halunnut käyttää indexejä. Sain ratkaistua tuon anonymous type listalla. Joku tietty voi tähänkin keksiä miten tuon saa rutistettua ilman tuota välioperaatiota -> tai siis tungettua kaiken yhdelle riville. Kun tuossa elementissä on kivasti 2 arvoa, saa ne ulos näppärästi First ja Last propertyillä.
Noh, jos tästä on jollekkin apuja:
JObject jsonObj = JObject.Parse(json);
// "latestObservationTime" -> 1557340800000
var latestEpochTimeStamp = jsonObj.SelectToken("latestObservationTime").Value<double>();
//"t2m" -> [[1557335400000,8.7],[1557335400000,8.6] ....]
var t2ms = jsonObj.SelectToken("t2m").Select(a => new { UnixTime = (double)a.First, Temperature = (float)a.Last });
var temperature = t2ms.FirstOrDefault(b => b.UnixTime == latestEpochTimeStamp).Temperature;
// "Humidity" -> -> [[1557335400000,8.7],[1557335400000,8.7] ....]
var humis = jsonObj.SelectToken("Humidity").Select(a => new { UnixTime = (double)a.First, Humidity = (int)a.Last });
var humidity = humis.FirstOrDefault(b => b.UnixTime == latestEpochTimeStamp).Humidity;
-
Tarvitsin nopeasti tämän hetken tietoja Vantaalta ja muokkasin tällaisen.
Käyttää gxmessage ohjelmaa.
Laitoin myös otsikot näkymään suomeksi foreca.py tiedostossa.
"null" on muodossa "- "
python3 ./foreca.py http://www.foreca.fi/Finland/Vantaa >/tmp/Vantaa.txt && \
tulos=$(awk 'NR >= 1 && NR <= 13' /tmp/Vantaa.txt >/tmp/Vantaa2.txt ) && \
gxmessage -center -title "Helsinki-Vantaa säätila" -timeout 60 -font "Monospace 10" -buttons "Valmis":1 \
-geometry 420x320 -file /tmp/Vantaa2.txt --wrap