Welcome, Guest
Username: Password: Remember me
  • Page:
  • 1

TOPIC:

Daten importieren 13 May 2010 17:19 #161332

  • Markus Brotschi
  • Markus Brotschi's Avatar Topic Author
  • Offline
  • Administrator
  • Administrator
  • Posts: 6927
  • Thank you received: 47
Als ich weatherBoxx / Meteohub zum ersten Mal in Betrieb nahm, wurde mir gleich klar: Man muss unbedingt bestehende Daten importieren können. Das konnte man aber damals leider nicht. Auf meinen Wunsch hin hat Boris Pasternak innerhalb kürzester Zeit einen selbst bedienbaren Import realisiert.


Hier ein kurzer Bericht, wie man Daten von WsWin importiert. Auszug aus dem Meteohub-Forum:

Import von WSWIN-Dateien (experimentell):

Im Ordner "/home/meteohub" befindet sich eine auf dem Meteohub ausführbare Datei "wswinload", die eine WSWIN-Exportdatei (EXPMM_YY.CSV) in Meteohub Rohdaten umwandelt.

"wswinload" liest von stdin und gibt nach stdout aus, kann also als pipe verwendet werden.

Beispiel: "cat /data/export/EXP01_10.CSV | /home/meteohub/wswinload > raw-01-10" wandelt die Daten vom Januar 2010 der WSWIN Export-Datei ins Meteohub Rohdatenformat um und speichert diese in "raw-01-10".

Obigen Befehl kann man ausführen, in dem man sich mit "putty" auf der weatherBoxx anmeldet (IP der Box und anmelden mit "root" "meteohub"). Gleiches kann man auchm, wenn man eine USB-Tastatur und Minitor direkt an der weatherBoxx dran hat.

Anmerkung:
Da Meteohub Rohdaten mit UTC-Zeitstempeln versehen sind, enthält die Meteohub Rohdaten-Datei auch Daten mit Zeitstempeln des Vormonats oder Folgemonats. Wenn man die Rohdaten zur Verwendung in Meteohub in die Dateien "/data/weather/YYYYMM/raw" kopieren möchte, müssen die Daten entsprechend der Zeitstempel korrekt zugeschnitten werden. Dies ist manuell zu erledigen, Meteohub bietet dafür im Moment keinen Automatismus.


So weit so gut... die raw-01-10 konnte erstellt werden. Aber wie weiter? Oli, please help!

kusi

Please Log in to join the conversation.

Daten importieren 13 May 2010 17:42 #161333

  • benz
  • benz's Avatar
  • Visitor
  • Visitor
Ich weiss jetzt gerade nicht, ob ich meine knapp 50MB-gross CSV-Datei für WSWIN umwandeln soll, damit ich sie von dort wieder umwandeln kann für die meteohub...

Ich verfolge das Thema aber intensiv und würde mich auf eine Lösung auch sehr freuen!

Gruss benz

PS: Einträge in diesem weatherBoxx-Forum werden unter "Neue Beiträge" nicht angezeigt...

Please Log in to join the conversation.

Daten importieren 13 May 2010 20:08 #161335

  • Tobias Ferrari
  • Tobias Ferrari's Avatar
  • Offline
  • Administrator
  • Administrator
  • Posts: 3267
  • Thank you received: 11
Hoi Bruno

PS: Einträge in diesem weatherBoxx-Forum werden unter "Neue Beiträge" nicht angezeigt...


Ist mir auch aufgefallen, habe ich nun aber behoben, danke für den Hinweis. :-)

Gruss
Tobias

Please Log in to join the conversation.

Der Weise sagt nicht alles was er denkt, aber er denkt alles was er sagt.
www.wetterstation-wohlen.ch

Daten importieren 14 May 2010 10:41 #161346

  • Markus Brotschi
  • Markus Brotschi's Avatar Topic Author
  • Offline
  • Administrator
  • Administrator
  • Posts: 6927
  • Thank you received: 47
Hallo ins Forum

Habe gestern eine kleine Anleitung geschrieben. Sie ist hier abrufbar >>

Danke an Bruno und Oli fürs Durchlesen.

Aktuell habe ich als Test das Jahr 2010 komplett aus WsWin importieren können. Nur der Regen stimmt noch nicht....

Grüsse

mbr

Please Log in to join the conversation.

Daten importieren 14 May 2010 21:30 #161354

  • benz
  • benz's Avatar
  • Visitor
  • Visitor
Ich habe nun die Anleitung intensiv studiert und das Ganze probiert. Beim ersten Mal klappte es nicht. Die Dateien waren zwar in der weatherBoxx, meteohub konnte aber darauf keine Daten entnehmen.

Nach dem Nachtessen ging ich dann nochmal ran. Wieder das selbe Resultat! :rolleyes:

Also studierte ich die Anleitung noch ein wenig genauer. Und siehe da, die Anleitung auf Seite 7 (ganz unten) ist da ein wenig heimtückisch, denn wird ein wesentliches Detail meines Erachtens unübersichtlich dargestellt. Ich habe dies auf jeden Fall zweimal übersehen (Siehe Bild).
Ich habe die raw-Datei nicht angeguckt, sondern mich auf den blau markierten Ordner konzentriert. Die untere Hälfte habe ich gar nie gesehen... Also die Raw-Dateien mit dem Namen RAW-12-34 einfach in raw unbenennen!

Ich würde die Anleitung diesbezüglich ändern.

Aber sonst geht es tadellos.

meteoplug habe ich nicht getestet, weil ich diesen Service (noch) nicht brauche.

Gruss benz

Attached files

Please Log in to join the conversation.

Daten importieren 14 May 2010 21:34 #161355

  • Markus Brotschi
  • Markus Brotschi's Avatar Topic Author
  • Offline
  • Administrator
  • Administrator
  • Posts: 6927
  • Thank you received: 47
Salü Bruno

Cool dass es bei Dir geklappt hat.
Werde die Anleitung noch etwas verfeinern, danke für den Tipp.

Hat bei Dir der Regenimport korrekt geklappt?

http://www.meteohub.de/joomla/index.php?option=com_fireboard&Itemid=32&func=view&catid=8&id=&id=7758&catid=8

Grüsse

Kusi

Please Log in to join the conversation.

Daten importieren 14 May 2010 21:37 #161356

  • benz
  • benz's Avatar
  • Visitor
  • Visitor
Nein, mit dem Regen stimmt definitiv was nicht... Die Regenmengen werden nicht kumuliert, sondern einfach neu angesetzt (ähnlich wie die Rainstorm-Funktion in der Vantage)...

Das müsste dann unbedingt mal korrigiert werden. Auf der Grafik siehst du:
blau = Regenmenge
rot = Regenrate

Das taugt so noch nicht... Aber wird schon! ;-)

Gruss benz

Attached files

Please Log in to join the conversation.

Daten importieren 19 May 2010 19:36 #161461

  • Markus Brotschi
  • Markus Brotschi's Avatar Topic Author
  • Offline
  • Administrator
  • Administrator
  • Posts: 6927
  • Thank you received: 47
Nach den neusten Erkenntnissen mit dem Import, komme ich immer wie mehr zum Ergebnis, dass es ein Programm "ausserhalb" meteohub geben sollte. Das dauernde Zusammenfügen, Reinkopieren in WeatherBoxx und dann wieder Rausnehmen und Korrigeiren und wieder Einbeamen, das ist irgendwie subotpimal.

Ich stelle mir das so vor:

- Directory mit den CSV-Exporten WsWin
- Umwandlungsprogramm auf PC starten
- Program erstellt die Monats-Ordnerstruktur mitsamt den RAW-files für meteohub/weatherBoxx
- in meteohub/weatherBoxx reinkopieren
- Im Menu die Neuberechnung starten
- Fertig

(Optional auch direkt für Daten aus meteoBase-Export)


Dabei sollte das Umwandlungsprogramm die Separierung der überlappenden 1 oder 2 Stunden Daten selber vornehmen (UTC/MEZ).

Wer könnte sowas programmieren?
Darf auch was kosten, denn für einige Kunden muss ich bis zu 8 Jahre Daten übernehmen ! :gruebel:

Grüsse unterdessen

Kusi

Please Log in to join the conversation.

Daten importieren 19 May 2010 19:40 #161462

  • benz
  • benz's Avatar
  • Visitor
  • Visitor
Ja, dein Vorschlag hat was! Ich habe nun extra ein wenig abgewartet. Ich habe bei mir bisher das Jahr 2010 importiert. Aber ich bin mir noch nicht sicher, ob da alles stimmt. Momentan war ich auch mit meinem XML-Projekt vollstens ausgelastet. Jetzt kommt das Widget, dann die iPhone-Integration, dann WSWIN und dann...

Natürlich wäre ich aber einer solchen Lösung auch sehr interessiert! Ich selber habe aber keine zeitlichen Ressourcen, um mich in die Lösung dieses Problems reinknien zu können!

Ich bin aber sofort bereit, eine Lösung zu testen oder eine Manual durchzurackern!

Gruss benz

Please Log in to join the conversation.

Daten importieren 19 May 2010 21:30 #161463

  • Oli
  • Oli's Avatar
  • Visitor
  • Visitor
Hallo
ja frage an eriwan,,, hast du den ein export von Meteobase?????(
wenn ja denke ich das diese in Form von einer csv datei ist.
Mit dieser CSV könnte man vielleicht Borris (Meteohub) anfragen ob er ein import-progi macht. Ich denke das dies nicht so schwierig sein wird. Im gegensatz zu WsWin.

Ich habe jetzt auch noch gewartet mit dem restlichen Import, da zum Beispiel eben die Daten nicht ganz korrekt, auf jedenfall bei mir nicht ganz stimmen. Die Regengesamtmenge macht mir Kopfschmerzen, ich weiss nicht woher Meteohub die 100l mehr hat.

Ok grüsse
Oli ;-)

Please Log in to join the conversation.

  • Page:
  • 1
Moderators: Markus Brotschi
Time to create page: 0.163 seconds
Go to top
JSN Boot template designed by JoomlaShine.com