Rasberry Pi - Sääasema, palvelin, pilvi...

[Lepotila zZ]

Tuo minun epäilyni hajonneesta kortista on relevantti vain mikäli mikä tahansa tiedostoihin tehty muutos palautuu. Eli kannattaa kokeilla retun neuvon mukaan kokeilla muilla tiedostoilla. Esimerkiksi: luo jokin tiedosto kotihakemistoon ja tarkastaa buutin jälkeen, onko se vielä olemassa.

Jos vain nettiyhteyden määrittelyyn liittyvät tiedostot palautuvat ennalleen, tulee mieleen, että niiden määrittelyssä on tapahtunut muutos: Noita palautuvia tiedostoja ei pitäisikään enää muokata käsin: Muutokset tulisi tehdä johonkin toiseen tiedostoon ja nuo entiset konfiguraatio-tiedostot ovat nyt jonkin ohjelman hallitsemia - eikä niihin siis tulisi käyttäjän kajota. Tämä selitys saattaisi ehkä olla mahdollinen mikäli olet päivittänyt Raspbianin Wheezystä Jessieen - en usko, että se on muuten mitenkään mahdollinen selitys.

[MarkoN]

Tuo minun epäilyni hajonneesta kortista on relevantti vain mikäli mikä tahansa tiedostoihin tehty muutos palautuu. Eli kannattaa kokeilla retun neuvon mukaan kokeilla muilla tiedostoilla. Esimerkiksi: luo jokin tiedosto kotihakemistoon ja tarkastaa buutin jälkeen, onko se vielä olemassa.

Loin työpöydälle kansion, jonne tallensin leafilla tekemäni tekstin... boottasin raspin ja kansio katosi sisältöineen!!

[Tomin]

Kun kerran ei tule mitään virhettä, niin ehkäpä se kuitenkin tallentuu ihan ok. Ehkä jokin ohjelma korvaa sen käynnistyksen yhteydessä vanhalla versiolla.

Tuosta ei ollut kyse, koska levyvälimuistin tyhjentäminenkin korruptoi kyseisen tiedoston jokunen viesti sitten.

Vaikuttaa siltä, että kyseinen kortti on entinen. Jos siitä saa levykuvan tietokoneella (PC:llä tai vastaavalla), niin sen voi sitten laittaa uudelle vähintään yhtä isolle kortille. Jotenkin kikkailemalla ehkä pienemmällekin, mutta en ole vielä miettinyt miten sen voisi tehdä.

[retu]

^ Ok, tuo meni multa ohi. Ei tosiaan kannata sorkkia sitä yhtään enempää, vaan laittaa se kortti toiseen koneeseen ja ottaa kopio, kun se kerran on vielä luettavissa.

[MarkoN]

No njiin...

Nyt on uusi kortti tullut ja pitäisi alkaa tekemään sitä kopiota tuosta vanhasta kortista.

Kuinka tuo onnistuu, onko jollakin tiedossa ohjeet??

Pääsen tänään n.14:00 tänne toteuttamaan mahdollisia ohjeita...


Löysin tällaisen ohjeen.
http://askubuntu.com/questions/227924/sd-card-cloning-using-the-dd-command

Toimiiko tuolla??

[MarkoN]

No ainakin tämän luulisi toimivan....   

http://sysmatt.blogspot.fi/2014/08/backup-restore-customize-and-clone-your.html

[nm]

No ainakin tämän luulisi toimivan....   

http://sysmatt.blogspot.fi/2014/08/backup-restore-customize-and-clone-your.html

Melkoista säätöä 

Oletettavasti sinulla on käytettävissä kortinlukija tietokoneessa ja vapaata levytilaa kortin kapasiteetin verran?
Tee levykuva kortista vaikka Levyt-ohjelmalla ja palauta se uudelle kortille: https://www.maketecheasier.com/backup-hard-drive-gnome-disk-utility/

[MarkoN]

no voihan ..... kohde levy on 586Mb pienempi kuin image jonka loin...

Kummatkin kortit on 32Gb kortteja.

Kuinkas tuo olisi muutettavissa? Lähdekortilla on varmasti tyhjää tilaa jos sitä pystyy pienentämään.

[nm]

no voihan ..... kohde levy on 586Mb pienempi kuin image jonka loin...

Kummatkin kortit on 32Gb kortteja.

Kuinkas tuo olisi muutettavissa? Lähdekortilla on varmasti tyhjää tilaa jos sitä pystyy pienentämään.

Ohje levykuvan koon pienentämiseen: http://softwarebakery.com/shrinking-images-on-linux

Vialliseen lähdekorttiin ei kannata enää koskea, ja operaatio epäonnistuisi muutenkin, jos kortille ei voi kirjoittaa.

[Ripa]

Sääasema Oma jäissä oleva sääasema projekti hankittu parivuotta sitten
(Keskeneräinen typerien sääasemaohjelmitojen takia)

Sääasema havaintolaitteet (paketti)
(Clash Olson Tuotenumero   36-3242, tarjouksessa nyt 100€)
Omilaisuuksia
- iso sisäyksikkö näytöllä jossa kaikki tiedot (kosketusnäyttö)
- sisä lämpötila ja kosteus
- ulkolämäötila ja kosteus
- tuulensuunta ja nopeus
- satemittari
- anturit langattomia paristot kestää reilun vuoden. (keskitetty lähetin paristot 2xAA)
- antureista tieto langattomasti keskusyksikköön noin 55 sek välein
- tiedot PC:lle USB-piuhalla moni valmis sääohjelma tukee ko. pakettia suoraan

Palvelinrauta
Odroid-U3 (tupakkiaskin kokoinen vähän vastaava kun Raspberry Pi)

Ohjelmisto
Testattu Paketin mukana tulee joku ihan toimiva Windows ohjelma

U3 rautaan asensin Ubuntun ja siihen ohjelmaksi WeeWX. Molemmat toimii ihan OK.
Tekee perus web sivut ja osaa siirtää tiedot palvelimelle.

Sitten se ongelma
Ongelma on en halua kotona pitää mitään julkista Web palvelinta, vaan julkiset web sivut pitää saada johonkin oikeaan palvelimeen (palveluun).
Molemmat kyllä selviää hommasta, mutta minusta äärettömän typerästi.
Ohjelmistot tekee datasta grafiikan ja siirtää tiedot julkiselle palvelimelle valmiina kuvina!!
Jos päivitys väli on vaikka 1 – 5 minuuttia tulee siirrettävän datan määräksi jo yhdessä päivässä aivan käsittämätön määrä gigoja!!

WeeWX ohjelma tallentaa datan MySQL tietokantaan ja se on suht selkokielisenä.
Tuohon tietokantaan on näköjään helppo lisätä omia kenttiä tai tauluja jos haluaa lisätä mittalaitteita / antureita.

Minusta järkevämpi tapa:
Kerätään tiedot paikalliseen tietokantaan (vaikka WeeWX)
replikoidaan data julkiseen WEB palvelimeen ja tehdään grafiikka siellä.
Näin siirrettävän datan määrä putoa aivan murto-osaan.

Tietääkö joku valmista ohjelmistopakettia joka osaisi hoitaa homman fiksusti.
Tietty molempiin koneisiin voisi asentaa vaikka tuon WeeWX ohjelmiston ja hoitaa vain datan replikoinnin.
Miten tuon datan replikointi pitäisi hoitaa??

Tietty näin hoidettuna pitää olla sellainen web-palvelu minne pystyy julkiselle puolelle asentamaan myös omia ohjelmia, mutta myös tällaisia palveluja on kaupan, ja niitä on myös monella kaverilla.

Yksi suomalainen sääaseman rakenteluun erikoistunut sivusto
FinWX http://www.finwx.net/

Tuolla keskustelu foorumilla moni juuri tuskailee omien julkisten palveluidensa kanssa siitä, että siirettävä datamäärä kasvaa tolkuttoman isoksi ja palveluntarjoajat joko narisevat asiasta tai rajoittavat siirrettävää datan määrää. Jos päivitysväli on 1 minuutti päivityksiä tulee 24*60 =1440 päivitysä / vrk. Tuon kun sitten kertoo vielä sivuston koolla alkaa ongelma hahmottua.

Tuolla sivustolla en juuri ole surffaillut pariin vuoteen, joten tämän hetken tilanne ei ole hallussa.

[kamara]

Sitten se ongelma
Ongelma on en halua kotona pitää mitään julkista Web palvelinta, vaan julkiset web sivut pitää saada johonkin oikeaan palvelimeen (palveluun).
Molemmat kyllä selviää hommasta, mutta minusta äärettömän typerästi.
Ohjelmistot tekee datasta grafiikan ja siirtää tiedot julkiselle palvelimelle valmiina kuvina!!
Jos päivitys väli on vaikka 1 – 5 minuuttia tulee siirrettävän datan määräksi jo yhdessä päivässä aivan käsittämätön määrä gigoja!!

Graafin kuvia ei tosiaan kannata tallettaa palvelimelle.

WeeWX ohjelma tallentaa datan MySQL tietokantaan ja se on suht selkokielisenä.
Tuohon tietokantaan on näköjään helppo lisätä omia kenttiä tai tauluja jos haluaa lisätä mittalaitteita / antureita.

Minusta järkevämpi tapa:
Kerätään tiedot paikalliseen tietokantaan (vaikka WeeWX)
replikoidaan data julkiseen WEB palvelimeen ja tehdään grafiikka siellä.

Näin siirrettävän datan määrä putoa aivan murto-osaan.

En kyllä suosittelisi tehdä tulosgrafiikkaa palvelimessakaan, vaan tee se HTML5:llä (JavaScript) asiakkaassa, jolloin ei tarvitse siirtää suuria kuvatiedostoja, ja säästää palvelimen kuormaa ihan huomattavasti. 
Huomio, että älykännykätkin tukevat nykyään JavaScriptiä ja HTML5:ttä.

Tuolla keskustelu foorumilla moni juuri tuskailee omien julkisten palveluidensa kanssa siitä, että siirettävä datamäärä kasvaa tolkuttoman isoksi ja palveluntarjoajat joko narisevat asiasta tai rajoittavat siirrettävää datan määrää. Jos päivitysväli on 1 minuutti päivityksiä tulee 24*60 =1440 päivitysä / vrk. Tuon kun sitten kertoo vielä sivuston koolla alkaa ongelma hahmottua.

Tuolla sivustolla en juuri ole surffaillut pariin vuoteen, joten tämän hetken tilanne ei ole hallussa.

Itse toteuttaisin päivityksen siten, että palvelimeen kirjattaisiin vain muutokset.

Eli jotenkin näin..

Koodia: [Valitse]

CREATE TABLE `temperatures` (
  `id` bigint(20) NOT NULL,
  `temperature` decimal(10,3) NOT NULL,
  `saveingtime` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
  `starttime` datetime DEFAULT NULL,
  `endtime` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_swedish_ci;

Esimerkissäni siis tallennettaisiin tauluun, vain kun lämpö muuttuu, ja silloin laitettaisiin Ensimmäinen hetki, kun on tullut kyseinen lämpötila (starttime), ja viimeinen hetki, kun on ollut kyseinen lämpötila.

[Ripa]

Korjauksia edelliseen viestiini. Sääasema WH-108
Ulkoantureiden tietojen siirto tapahtuu näyttöön ja aseman muistiin 48 sek välein ei 55 sek, kuten muistin. Sääasemassa on oma muisti johon mahtuu kaikista parametreista 4080 mittatietoa ja kellonaikaa.

Lisäksi asemassa on
ilmanpaineanturi, ulkoyksikössä on pieni muisti mihin tallentuu myös tuulen maksimi nopeus keskimääräisen tuulennopeuden lisäksi.
Näytössä on myös tieto kastepisteestä, mutta tämä tieto on käsittääkseni laskennallinen (lämpötila, suhteellinen kosteus).
Aseman (näytön) kellon voi päivittää PC:llä, mutta se päivittyy myös talvisin automaattisesti DCF77 radiosignaalilla (kesäisin ei kuulu tänne)

Varsinaiseen asiaan
Ainakin tuulen suunta, nopeus ja tuulen hetkellinen max. Nopeus vaihtelee jatkuvasti joten ainakin tämä tieto pitäisi päivittää melko usein (1 – 5 min välein).
Samalla sitten menee muukin data, niin ei jää tietokantaan tyhjiä kenttiä kyseisille kellonajoille, eipä tuosta numeerisesta datasta paljon siirrettävää tule. Luulisin, että grafiikan tekeminen web-serverillä olisi yksinkertaisempaa jos jokaisen kellonajan kohdalla olisi kaikki tieto.

Monissa sääasemissa on tai saa lisäksi myös muita antureita, kuten
- valoisuus
- ultraviolettisäteily

Tuo WeeWX näkyy löytyvän suoraan Ubuntun sovellusvalikoimasta.
Koska en itse osannut tuota fiksua systeemiä rakentaa, niin tuo rauta (Odroid U3) löysi muuta käyttöä. Joten minulla ei nyt ole ko. ohjelmaa asennettuna ja sen tietokantarakenteestakan ei ole kuin hataria muistikuvia parinvuoden takaa.

Josko joku osaisi tehdä selkeät ohjeet miten tuollainen fiksu paketti rakennetaan vaikka raspberry pi pohjalle niin sillä voisi saada paljon uusia Linux käyttäjiä. Tuolla FinWX sivustolla ihmetellään mitä tehdä kun Windows XP:n tuki on lakannut. Muutenkin tuntuu tyhmältä pyörittää pöytäkonetta vain pienen tietokannan pyörittämiseen ja datan lukemiseen antureista (sääaseman näytöstä) 1 -10 minuutin välein.

Itse tekisin, jos oma osaaminen riittäisi, vaan kun tietokannoista (MySQL ja muut) on hallussa vain aivan alkeet joten ei taida minulta onnistua.

Kun tuon datan saisi julkiselle web-serverille ja grafiikan tehtyä vaikka sillä valmiilla ohjelmalla (WeeWX) koko paketti olisi jo paljon fiksumpi, kuin se että grafiikka tehdään mittauspisteessä ja siirretään kuvina ”ylös”. Tämä toteutusmalli ei liene kaikkein tyylikkäin, mutta kuitenkin paljon nykyistä fiksumpi. Tämän mallin etu olisi se ettei tarvitse rakentaa ohjelmaa uusiksi, ainoastaan replikoida tietokanta.

Siitä sitten osaavammat voisi tehdä vaikka miten hienoja sovelluksia.
Viittaan edelliseen kamara:n postiin. Kiitos vinkeistä ;-)

[MarkoN]

Korjauksia edelliseen viestiini. Sääasema WH-108

Näyttää olevan sama asema kuin minulla...

[MarkoN]

Ohje levykuvan koon pienentämiseen: http://softwarebakery.com/shrinking-images-on-linux

Vialliseen lähdekorttiin ei kannata enää koskea, ja operaatio epäonnistuisi muutenkin, jos kortille ei voi kirjoittaa.

Aloin tekemään tuota levykuvan koon muuttamista ja heti kärkeen alkaa menemään yli hilseen.
Tasvitseeko minun tehdä koko ohjeen mukaan?? vai jätänkö jotakin pois?

Mulla on siis GPartedilla tehty Backup.img joka on 31.7Gt
Tyhjä kortti on 31Gt

Vähän tarvii siis potkua perseelle...

[Tomin]

Ohje levykuvan koon pienentämiseen: http://softwarebakery.com/shrinking-images-on-linux

Vialliseen lähdekorttiin ei kannata enää koskea, ja operaatio epäonnistuisi muutenkin, jos kortille ei voi kirjoittaa.

Aloin tekemään tuota levykuvan koon muuttamista ja heti kärkeen alkaa menemään yli hilseen.
Tasvitseeko minun tehdä koko ohjeen mukaan?? vai jätänkö jotakin pois?

Vilkaisin läpi. En usko, että tuosta voi oikein jättää mitään pois. Ehkä modprobettamiselta voisi välttyä, jos tietää, että loop on ladattu valmiiksi, mutta sillä ei paljon säästä. Kannattaa sitten tehdä etukäteen varmuuskopio siitä tiedostosta, jos vaikka jokin menee vikaan.

[MarkoN]

Ok. Kun en ole mikään pro näissä niin siksi tarvitsen rohkaisua.
En myöskään ymmärrä aivan kaikkea / juuri mitään tuosta ohjeesta mitä se tekee, siksi varmistelen asiaa.

[MarkoN]

No niin. Heti tyssäsi.

Next we create a device of the image:

Koodia: [Valitse]

$ sudo losetup /dev/loop0 myimage.img
Now we have a device /dev/loop0 that represents myimage.img.

Saan ilmoituksen.

Koodia: [Valitse]

losetup: myimage.img: failed to set up loop device: Tiedostoa tai hakemistoa ei ole

[Tomin]

Saan ilmoituksen.

Koodia: [Valitse]

losetup: myimage.img: failed to set up loop device: Tiedostoa tai hakemistoa ei ole

Mille nimelle tallensit sen levykuvan? Tuo myimage.img on tarkoitus korvata oman levykuvasi polulla (sisältäen nimen tietenkin).

Muistutan vielä kerran, että kannattaa tehdä varmuuskopio tuosta levykuvasta siksi aikaa kun sitä käpistelee, niin ei häviä mitään vaikka jotain menisikin pieleen. Varmuuskopio kannattaa säilyttää vähintäänkin eri hakemistossa, jottei sitä tule vahingossa käsiteltyä. Koneesta irrallinen ulkoinen levy toki varmempi.

[MarkoN]

muistutan vielä kerran, että kannattaa tehdä varmuuskopio tuosta levykuvasta siksi aikaa kun sitä käpistelee, niin ei häviä mitään vaikka jotain menisikin pieleen. Varmuuskopio kannattaa säilyttää vähintäänkin eri hakemistossa, jottei sitä tule vahingossa käsiteltyä. Koneesta irrallinen ulkoinen levy toki varmempi.

Aloin tekemään kopiota kokonaan erilliselle kovolle RaspiBackUp:ista ja ihmettelin et miksi en saa sitä kopioitua... Klikkasin levyä ja huomasin et se on vahingossa, jossakin vaiheessa formatoitunut root:n alle. Eli mulla ei ole käyttöoikeutta tuolle levylle.

Mites sen saa muutettua tässä samalla?

[MarkoN]

No niin. nyt tartteis vähän neuvoja.

Sain tehtyä levykuvan koon muuttamisen ja nyt olen kohdassa Shaving the image...

Eli toi mun image näyttää tältä.

Koodia: [Valitse]

$ fdisk -l /media/marko/Teranen/Rspi/RaspiBackUp.imgDisk /media/marko/Teranen/Rspi/RaspiBackUp.img: 29,5 GiB, 31691112448 bytes, 61896704 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disklabel type: dos
Disk identifier: 0x00096bb8

Laite                                      Käynnistettävä    Start    Loppu Sektorit  Size Id Tyyppi
/media/marko/Teranen/Rspi/RaspiBackUp.img1                    8192  2822265  2814074  1,4G  e W95 FAT
/media/marko/Teranen/Rspi/RaspiBackUp.img2                 2826240 61831167 59004928 28,1G 85 Linux l
/media/marko/Teranen/Rspi/RaspiBackUp.img3                61831168 61896703    65536   32M 83 Linux
/media/marko/Teranen/Rspi/RaspiBackUp.img5                 2834432  2957311   122880   60M  c W95 FAT
/media/marko/Teranen/Rspi/RaspiBackUp.img6                 2965504 58189823 55224320 26,3G 83 Linux
Mitä lukuja minun pitää tuohon truncate käskyyn laittaa kun tuossa puhutaan Endistä ja Blockseista ja sit tuolla kommenteissa on vielä sekoilleet...