Willkommen, Gast
Benutzername: Passwort: Angemeldet bleiben:
  • Seite:
  • 1
  • 2

THEMA:

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 03:57 #134211

  • Markus_S
  • Markus_Ss Avatar Autor
  • Besucher
  • Besucher
Hallo,

in den letzten Jahren habe ich mein Prognoseverfahren schrittweise und experimentell weiterwentwickelt, dabei aber unter anderem den Fehler begangen, neben den Möglichkeiten auch die erheblichen Limitationen langfristiger Witterungsvorhersagen nicht immer ausreichend zu betonen. Auch hätte ich von Anfang an verbindliche und nachvollziehbare Kriterien für die längerfristige Verifikation formulieren sollen. Seit April dieses Jahres arbeite ich nun auf der Basis meines überarbeiteten Prognoseverfahrens und werde die genannte Verifikation nunmehr rückwirkend und fortlaufend für den Zeitraum ab April 2006 vornehmen.

GRUNDSÄTZLICHE ANMERKUNGEN ZUR OBJEKTIVEN BEWERTUNG DER PROGNOSEGÜTE

Langfristige Witterungsprognosen sind angesichts der enormen Komplexität des Klimasystems erheblichen Limitationen unterworfen. Hieraus ergibt sich die Notwendigkeit realistischer und sinnvoller Zielsetzungen und Bewertungskriterien. Es kann auf der Grundlage der aktuell verfügbaren Methoden (und in der überschaubaren Zukunft) beispielsweise nicht das Ziel sein, Witterungsextreme punktgenau vorherzusagen. Vielmehr geht es darum, auf der Basis statistisch relevanter und signifikanter Zusammenhänge und intensiver, möglichst differenzierter Analysen verschiedener relevanter Parameter (Entwicklung nordhemisphärische Druckkonstellationen in den Vormonaten, SST-Anomalien etc.) das wahrscheinlichste Szenario für den GESAMTCHARAKTER der Witterung in den folgenden drei bis maximal fünf Monaten zu identifizieren. Hierbei muss zum einen deutlich gemacht werden, dass immer auch der unwahrscheinlichere Fall eintreten kann. Zum anderen kann nicht der Anspruch erhoben werden, detaillierte Angaben zum Witterungsverlauf in bestimmten Zeitabschnitten zu machen, sondern es muss darum gehen, insbesondere für die beiden wesentlichen Klimaelemente (Temperatur und Niederschlag) eine signifikant bessere Vorhersage zu machen, als dies durch die schlichte Vorhersage des langjährigen Mittels möglich wäre. Zudem sind - je nach Verfahren - allgemeine, erläuternde Angaben zu den dominanten Großwetterlagen von Interesse. Sollte diese Zielsetzung erreicht werden, so wäre dies abgesehen vom erheblichen Interesse an langfristigen Prognosen (z.B. Jahreszeitenvorhersagen) in der Bevölkerung auch für zahlreiche Planungsprozesse in der Wirtschaft ein erheblicher Fortschritt. Für mich persönlich geht es übrigens in erster Linie um die persönliche Freude an der Beschäftigung mit dieser Materie und um den Versuch, in einem längerfristigen Prozess ein leistungsfähiges Prognoseverfahren zu entwickeln. Wenn beispielsweise ein extrem warmer Monat wie der Juli 2006 mit einer Abweichung "bis +3K" vorhergesagt wird und im deutschen Flächenmittel um +5K ausfällt, dann ist dies im Rahmen des Möglichen eine qualitativ (nämlich "deutlich zu warm") gute Prognose.

KRITERIEN UND REGELN FÜR DIE VERIFIKATION MEINER PROGNOSEN

Vor dem Hintergrund dieser Überlegungen gelten für die Verifikation meiner Prognosen fortan folgende Regeln und Kriterien:

Die TEMPERATURPROGNOSE gilt als eingetroffen...

...bei einer tatsächlichen Abweichung zwischen -0,5K und +0,5K (d.h. einem qualitativ "durchschnittlichen Witterungsabschnitt), wenn die vorhergesagte Abweichung bzw. mindestens ein Wert des vorhergesagten (maximal 1K großen) Intervalls Teil des Intervalls [-0,5K;+0,5K] ist.

...bei höheren Abweichungen, wenn
a) das Vorzeichen der Abweichung korrekt vorhergesagt wurde ("zu kalt"/"zu warm") UND

b) die Differenz zwischen vorhergesagtem und eingetroffenen Wert (bzw. dem näherliegenden Rand des vorhergesagten, maximal 1K großen Intervalls) nicht größer als 2K ist. Hierzu folgende Erläuterung:

Bei zahlreichen seriösen Prognoseverfahren ist es üblich, hier mit der doppelten Standardabweichung in dem betreffenden Monat zu arbeiten. Letztere schwankt im deutschen Flächenmittel und im Jahresverlauf etwa zwischen teils knapp über 1K im August und deutlich über 2K in den Wintermonaten. Ich habe mich - mit dem Anspruch einer möglichst wertvollen qualitativen Aussage über das Maß der Temperaturabweichung - also für eine insgesamt strengere Bewertungsregel entschieden.

Wie bereits bekannt und bei den obigen Erläuterungen berücksichtigt, beziehen sich meine Prognosen auf das deutsche Flächenmittel der Temperatur und des Niederschlags. Hierbei besteht die Temperaturprognose in der Regel aus einem maximal 1K großoen Intervall (z.B. "+0,5K bis 1,5K"). Starke regionale Disparitäten, wie sie mitunter auftreten, sollen gegebenenfalls verbal angemerkt werden und anschließend in die Verifikation der Prognose einfließen.

DIE NIEDERSCHLAGSPROGNOSE (bislang nur unregelmäßig vorgenommen, ab sofort für jeden Monat, d.h. Verifikation für dieses Element erst ab Dezember 2006) gilt als eingetroffen,

wenn die Gesamtbilanz im deutschen Flächenmittel nach den Kategorien "durchschnittlich" (95% bis 105% vom langjährigen Mittel), "zu nass" (mehr als 105%), "zu trocken" (weniger als 95%) korrekt vorhergesagt wurde.

Die hier genannten Regeln sollen keinen "Absolutheitsanspruch" haben und immer wieder kritisch diskutiert und hinterfragt werden. In jedem Falle werde ich meine Prognosen fortan so formulieren, dass sie fortlaufend und längerfristig in nachvollziehbarer und klar definierter Weise verifiziert werden können. Im kommenden Frühjahr werde ich zudem die seit April 2006 erzielte Reduktion der Varianz als weiteres wichtiges Bewertungsmaß regelmäßig berechnen. Ich freue mich auf weitere angeregte und interessante Diskussionen!

Beste Grüße
Markus

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 11:22 #134214

  • Constantin
  • Constantins Avatar
  • Besucher
  • Besucher

Die TEMPERATURPROGNOSE gilt als eingetroffen...

...bei einer tatsächlichen Abweichung zwischen -0,5K und +0,5K (d.h. einem qualitativ "durchschnittlichen Witterungsabschnitt), wenn die vorhergesagte Abweichung bzw. mindestens ein Wert des vorhergesagten (maximal 1K großen) Intervalls Teil des Intervalls [-0,5K;+0,5K] ist.

...bei höheren Abweichungen, wenn
a) das Vorzeichen der Abweichung korrekt vorhergesagt wurde ("zu kalt"/"zu warm") UND

b) die Differenz zwischen vorhergesagtem und eingetroffenen Wert (bzw. dem näherliegenden Rand des vorhergesagten, maximal 1K großen Intervalls) nicht größer als 2K ist.


Ergebnisse und Abweichungen Deiner Prognosen seit Anfang 2006:

Januar 2006:
Markus_S (Abw. -1,9K, getippt 3,0K. Diff.: 4,9K) (Köln)

Februar 2006:
Markus_S (Abw. -0,9K, getippt 2,5K. Diff.: 3,4K)(Köln)

März 2006:
Markus S (Abw. -2,1K, getippt 2,0K. Diff.: 4,1K)(Köln)

April 2006:
Markus S (Abw. 0,4K, getippt 1,5K. Diff.: 1,1K)(Köln)

Mai 2006:
Markus S (Abw. 1,3K, getippt 2,0K. Diff.: 0,7K)(Köln)

Juni 2006:
Markus S (Abw. 1,6K, getippt 2,0K. Diff.: 0,4K)(Köln)

Juli 2006:
Markus S (Abw. 5,5K, getippt 2,5K. Diff.: 3,0K)(Köln)

August 2006:
Markus_S (Abweichung -1,2K, geproggt 2,5K. Diff.: 3,7K)(Köln)

September 2006:
Markus_S (Abweichung 4,2K, geproggt 2,0K. Diff.: 2,2K)(Köln)

Oktober 2006:
Markus S (Abw. 3,7K, getippt 2,5K. Diff.: 1,2K)(Köln)

Nach Deinen Richtlinien hast du bisher von zehn Monaten 4 "richtig" Vorhergesagt. macht also eine Eintreffsquote von 40%. Ab April 2006 wären das dann 4 von 7 "richtig", wären also ca. 57,1%

Gruß aus Augustin

Constantin

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 11:28 #134215

  • Gewitterfreund
  • Gewitterfreunds Avatar
  • Besucher
  • Besucher
Original von Markus_S
Hallo,

und werde die genannte Verifikation nunmehr rückwirkend und fortlaufend für den Zeitraum ab April 2006 vornehmen.


:D ach, und warum nicht schon ab Januar oder schon ab Januar 2005 oder gar 2004?
Willst dir wohl nicht die Bilanz versauen.

Ansonsten sind deine selbsterlegten Kriterien natürlich reiner Selbstbetrug..
Damit kannst du vielleicht deine Oma verarschen. So ein Blödsinn.

...bei einer tatsächlichen Abweichung zwischen -0,5K und +0,5K (d.h. einem qualitativ "durchschnittlichen Witterungsabschnitt), wenn die vorhergesagte Abweichung bzw. mindestens ein Wert des vorhergesagten (maximal 1K großen) Intervalls Teil des Intervalls [-0,5K;+0,5K] ist.

...bei höheren Abweichungen, wenn
a) das Vorzeichen der Abweichung korrekt vorhergesagt wurde ("zu kalt"/"zu warm") UND

b) die Differenz zwischen vorhergesagtem und eingetroffenen Wert (bzw. dem näherliegenden Rand des vorhergesagten, maximal 1K großen Intervalls) nicht größer als 2K ist.



Wir befinden uns in Zeiten der Kimaerwärmung, in der sowieso schon
ca. 80% aller Monate zu warm (verglichen mit 60-90) ausfallen.

Tippe ich nun jeden Monat immer nur so 0,5 bis 1k zu warm, habe ich nach deinen System automatisch eine extrem hohe Trefferquote.

Denn dann bekomme ich für alle normalen -, leicht zu warmen - bis hin zu
Monaten welche eine Abweichung von 2,5-3K nach oben haben immer
ein "GUT"
Lediglich zu kalte oder extrem zu warme Monate gehen mir durch die Lappen, da irgendeins deiner 3 Kriterien schon eintreffen wird.


Will man eine ehrliche Aussage über die Güte eines Prognoseverfahrens kann man in der heutigen Zeit nur noch mit absoluten Werten arbeiten.
dann gilt nämlich nur dein Punkt a:
bei einer tatsächlichen Abweichung zwischen -0,5K und +0,5K

Punkt.Aus.Ende.

Alles andere ist Selbtverarschung und Bilanzenschönung.

Aber mir ist natürlich klar das du niemals nur einzig nach Punkt a abrechnen willst, denn dann würdest du ja fast immer total daneben liegen,(siehe dieses Jahr), aber das will natürlich keiner.Da treten dann natürlich Ausnahmegenehmigungen mwie "Vorzeichen richtig erkannt" in Kraft. Und das in Zeiten der Klimaerwärmung. Lächerlich.

Ich habe da auch ein Prognoseverfahren. immer wenn meine Katze
mindestens 8x im Monat "Miau" macht( und das macht sie in jeden Monat) tippe ich auf einen 0,8K Plus. bei einee Monatsabweichung von 0,3 bis 2,8k bekomme ich dann ein "Richtig" Nach ein paar Jahren habe ich dann vielleicht eine 75% Trefferquote.Juhu, ich habe eine Wunderkatze.
Blöd stimmts? Aber auch nicht schlechter als dein Versuch :D

Gruß

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 11:47 #134216

  • Gewitterfreund
  • Gewitterfreunds Avatar
  • Besucher
  • Besucher
Die Auswertung gilt doch erst ab April ;)

Ansonsten danke für die Aufschlüsselung.

Nur ein kurzer Blick auf die getippten Werte und den Vergleich mit der Realität reicht aus, um zu merken, dass sein großspuriges Getöne in allen Foren nur heiße Luft ist. In Wirklichkeit weiß er nix.
Und würde er sich selbst nicht eine so großzügige Auslegung seiner Tipps gestattwen, sondern nur nach der tatsächlichen Leistung gemäß seines Punkt a: (...bei einer tatsächlichen Abweichung zwischen -0,5K und +0,5K) bewertet werden, er hätte gerade mal einen einzigen mickrigen Monat getroffen ( den Juni)

Die durchschnittliche Abweichung beträgt satte 2,5K.
Wäre er ehrlich zu sich selbst, müßte er feststellen:
Mein Prognoseverfahren ist für die Tonne.

Zumal die Vorjahre ähnlich desaströs verliefen.

Gruß

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 12:01 #134217

  • Constantin
  • Constantins Avatar
  • Besucher
  • Besucher
Da er keine Begründung abgegeben hat warum die Auswertung erst ab April gelten soll sehe ich nicht ein mich daran zu halten. Sein Prognoseverfahren schient sich ja auch nicht groß verändert zu haben, warum also die "Grenze" April? Weil die Wetterlage ab da auf "mild" kippte? ?( ;)

Gruß aus Augustin

Constantin

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 12:13 #134218

  • Markus_S
  • Markus_Ss Avatar Autor
  • Besucher
  • Besucher
Die genannten Kriterien beziehen sich auf die Prognosen des deutschen Flächenmittels, welche ich in der Regel in einem 1K großen Intervall angebe. Diese Prognosen waren von Januar bis November in sieben von elf und seit April in sieben von acht Fällen zutreffend. Die Angabe von "Erfolgsquoten" macht aber in dieser Form ohnehin erst nach einer sehr langfristigen Verifikation (mindestens fünf bis zehn Jahre) Sinn. Ein wichtiges Maß für die Bewertung der Prognosegüte ist die Reduktion der Varianz, also die Frage, um wieviel eine Prognose besser ausfällt als die schlichte Prognose des Mittelwertes. Die entsprechenden RV-Werte werde ich ab Ende des kommenden Winters ebenfalls regelmäßig berechnen.

In diesem Zusammenhang sei darauf hingewiesen, dass meine Bewertungsregeln strenger sind, als dies bei seriösen (!) Langfristprognosen in der Regel der Fall ist. Denn aus statistisch nachvollziehbaren Gründen wird hier häufig eine Prognose als zutreffend angesehen, wenn das Vorzeichen korrekt vorhergesagt wurde UND die Differenz zwischen vorhergesagtem und eingetroffenem Wert höchstens gleich der doppelten Standardabweichung für den betreffenden Monat ist. Larst Thieme, einer der erfahrenen Langfrist-Prognostiker in diesem Forum, wird dies bestätigen und zu diesem Thema sicherlich auch einiges sagen können.

Man muss einfach realistisch sein: Ziel langfristiger Witterungsprognosen kann es nicht sein, exakte Werte für die Temperaturabweichungen zu liefern, sondern a) zu unterscheiden zwischen einem durchschnittlichen und einem nennenswert zu warmen oder zu kalten Monat sowie b) das Maß dieser Abweichung bestmöglich in die qualitativen Kategorien "leicht", "mäßig", "deutlich zu warm/zu kalt" einzuordnen. Eben dies ist bereits eine anspruchsvolle Zielsetzung und wäre entgegen den Behauptungen mancher Leute eine sehr wertvolle Prognoseleistung, insbesondere im Vergleich zur Vorhersage des aktuellen Klimamittels. Nicht umsonst habe ich übrigens Abweichungen bis 0,5K als "durchschnittlich" klassifiziert, da eben dieser Betrag der Differenz zwischen dem Mittel 1961-90 und dem aktuellen Klimamittel 1977-2006 entspricht. Die Behauptung, dass nach den von mir verwendeten Kriterien ja ohnehin fast alle Monate "zu mild" ausfallen, lässt sich statistisch klar widerlegen.

Und da du, lieber Constantin, auf das Prognosespiel hingewiesen hast, möchte ich dich darauf hinweisen, dass nach aktuellem Stand seit April kein Prognoseverfahren bessere Ergebnisse gezeitigt hat als das meinige. Und dieser Trend wird sich auch bei der kommenden Auswertung bestätigen. Insofern wäre ich dankbar, wenn manche hier so langsam wieder zu einer sachlichen und weniger emotional-polemischen Diskussionsebene zurückfinden könnten.

Gruß
Markus

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 12:15 #134219

  • Markus_S
  • Markus_Ss Avatar Autor
  • Besucher
  • Besucher
Das stimmt nicht. Ich hatte mein Prognoseverfahren nach dem vergangenen Winter nochmals gründlich überarbeitet und dies damals auch erwähnt. Mit dem Verfahren in seiner aktuellen Form arbeite ich nun seit April. Aber auch die (eigentlich unsinnige, s.u.) "Trefferquote" seit Januar können sich durchaus sehen lassen.

Gruß
Markus

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 12:48 #134220

  • fabile
  • fabiles Avatar
  • Offline
  • Platinum Boarder
  • Platinum Boarder
  • Beiträge: 3086
  • Dank erhalten: 0
...im Tippspiel liegst Du auch nur weniger als 0.1 Grad besser als ich.

Im Gegensatz zu Dir tippe ich nie über 1.5 Grad nach oben oder unten, da ich der Meinung bin, dass man Extremmonate nie treffen wird.

Obwohl ich mir das für Dezember überlegt habe und eigentich eher einen Mildmonat vermute, habe ich mich halt limitiert, auch wenn es Deine Leaderpostition ausbauen wird, wenn der Monat voll mild wird.

Also bitte ein wenig weniger heisse Luft, die haben wir ja allgemein im Moment genug....

Gruss Andreas

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 13:13 #134221

  • Constantin
  • Constantins Avatar
  • Besucher
  • Besucher

Original von Markus_S
Die genannten Kriterien beziehen sich auf die Prognosen des deutschen Flächenmittels, welche ich in der Regel in einem 1K großen Intervall angebe. Diese Prognosen waren von Januar bis November in sieben von elf und seit April in sieben von acht Fällen zutreffend.


Da Du fürs Progspiel einen Stadt/Stationswert tippst ist mir das ziemlich egal. Der Wert der jeweiligen Station gilt bei diesem Spiel, nicht das Flächenmittel.

Die Angabe von "Erfolgsquoten" macht aber in dieser Form ohnehin erst nach einer sehr langfristigen Verifikation (mindestens fünf bis zehn Jahre) Sinn.


Also kannst du wenn ein paar Monate falsch getippt wurden immer auf die Langfristige (fünf bis zehn Jahre!) Statistik verweisen, wenn die auch nicht berauschend ist darauf, dass die "Studie" eben noch nicht abgeschlossen ist? Ja, danke auch. Das heißt soviel wie: Ich habe immer recht, und wenn ich mal nicht recht habe, stimmt es aus dem, dem oder dem Grund doch, oder es geht in der Statistik unter.

In diesem Zusammenhang sei darauf hingewiesen, dass meine Bewertungsregeln strenger sind, als dies bei seriösen (!) Langfristprognosen in der Regel der Fall ist.


Ich habe deine strengere Statistik oben im Post angewendet. "Nackte Zahlen" halt, die Trefferquote seit April beträgt etwas mehr als 57%.


Man muss einfach realistisch sein: Ziel langfristiger Witterungsprognosen kann es nicht sein, exakte Werte für die Temperaturabweichungen zu liefern, sondern a) zu unterscheiden zwischen einem durchschnittlichen und einem nennenswert zu warmen oder zu kalten Monat sowie b) das Maß dieser Abweichung bestmöglich in die qualitativen Kategorien "leicht", "mäßig", "deutlich zu warm/zu kalt" einzuordnen.


hältst Du das Progspiel in dieser Form für falsch, weil die Maßgaben zu streng sind? Oder werden die Ergebnisse zu streng gewertet Deiner Meinung nach? Wenn ja: wie willst Du einem "Standard-Meteorologen" oder auch nur dem meteorologisch nicht versierten Laien klar machen dass 2K Abweichung über zehn Monate eine gute Prognoseleistung ist? Da liegt doch das Problem!


Und da du, lieber Constantin, auf das Prognosespiel hingewiesen hast, möchte ich dich darauf hinweisen, dass nach aktuellem Stand seit April kein Prognoseverfahren bessere Ergebnisse gezeitigt hat als das meinige. Und dieser Trend wird sich auch bei der kommenden Auswertung bestätigen.


Ich bestreite ja gar nicht dass Du nach momentanem Stand die "ewige Liste" anführst. Es sei Dir vergönnt! Das einzige wo ich mich gegen sträube ist so eine große Abweichung als Erfolg oder gar als "Wissenschaft" zu werten.


Insofern wäre ich dankbar, wenn manche hier so langsam wieder zu einer sachlichen und weniger emotional-polemischen Diskussionsebene zurückfinden könnten.


Ich arbeite ausschließlich mit harten Zahlen meines Progspiels, nicht mit Emotionen. Die kommen nur dann ins Spiel wenn jemand versucht mich für dumm zu verkaufen. Aber zurück zum Thema: Wenn Langfristprognosen eine wissenschaftliche Aufwertung oder gar Etablierung erfahren sollen, müssten sie auch für den Laien und "Normalmeteorologen" nachvollziehbar und Erfolgreich sein. Oder sehe ich das falsch? Bist Du der Meinung dass Dein Prognoseverfahren und deine Ergebnisauswertung, so wie du sie hier vorgestellt hast, für Laien und "Norm-meteos" Nachvollziehbar ist?


Gruß aus Augustin

Constantin

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 15:27 #134224

  • kurt aus oberdorf bl
  • kurt aus oberdorf bls Avatar
  • Besucher
  • Besucher
Hallo Steffen

Ich habe seinerzeit folgenden Vorschlag zur einheitlichen Verifizierung von Langfristprognosen gemacht:


Gesamtwinter generell richtig vorhergesagt__________3 Punkte
(Negativ-oder Positivabwechung)

Bei einzelnen Wintermonaten Negativ-oder
Positivabweichung richtig vorhergesagt_____________je 2 Punkte

Richtige Vorhersage bei Angabe konkreter
Zahlen (Toleranz +/- 0.5 K)______________________je 1/2 Zusatzpunkt
(Gesamtwinter und einzelne Monate)

Bei richtiger Erfassung von Extremen_______________1 Zusatzpunkt

Im Maximum können also 12 Punkte erreicht werden. Wenn keine Extreme vorliegen, hätte man bereits mit 11 Punkten einen Volltreffer gelandet.

Jetzt sind eure Meinungen dazu gefragt. Das ist wie gesagt nur ein Vorschlag. Für Kritik und eventuelle andere, bessere Punkteverteilung bin ich offen. Ich habe für eine richtige Prognose bei Angabe konkreter Zahlen mit Absicht nur je einen halben Zusatzpunkt gewählt. Ich bin der Meinung, dass es einer Raterei gleichkommt, z.B. für den Januar jetzt schon eine Temperaturabweichung von + 0.9K vorherzusagen. Nach meiner Meinung verdient jemand auch einen Zusatzpunkt, wenn er ein Extrem bzw. Extreme richtig proggt. Was extrem ist, könnte sicher nur von Fall zu Fall entschieden werden.


Steffen, leider hast du dazu keine Stellung genommen. Es würde mich interessieren, wie du dieses Punktesystem beurteilst. Die Toleranz bei den Prognosen von Extremen müsste auch nicht bestimmt werden,

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 15:30 #134225

  • kurt aus oberdorf bl
  • kurt aus oberdorf bls Avatar
  • Besucher
  • Besucher
beim letzten Satz!

Bitte Anmelden um der Konversation beizutreten.

Verifikation der Prognosen: Kriterien, Regeln, Anmerkungen 25 Nov 2006 16:17 #134226

  • Lars Thieme
  • Lars Thiemes Avatar
  • Besucher
  • Besucher

Im kommenden Frühjahr werde ich zudem die seit April 2006 erzielte Reduktion der Varianz als weiteres wichtiges Bewertungsmaß regelmäßig berechnen.


Das wird nicht mehr nötig sein, denn ich habe mir mal die Mühe gemacht sämtlicher deiner gestellten Prognosen im WZ-Forum und hier aus den letzten 2 Jahren auf den erwähnten RV-Wert (Reduktion der Varianz) zu untersuchen. Ich denke, es ist nur fair wenn auch Prognosen vor dem diesjährigen Sommer mit in die Untersuchung einfließen, da sonst berechtigterweise der Spruch "traue keiner Statistik die du nicht selbst gefälscht hast" die Runde machen könnte. Bei 17 Vorhesagemonaten kann man schon einen recht guten Überblick über die Prognoseleistung erhalten.

Die Postings mit den jeweiligen Angaben sind in beiden Foren alle im Archiv abrufbar. Als tatsächlich eingetretene Daten habe ich die mittleren Abweichungen des DWD von allen Stationen Deutschlands zu Rate gezogen. Daraus ergab sich folgendes Bild....

Monat Vorhergesagt Eingetreten
Jun 04 1 -0,2
Jul 04 4 -0,2
Aug 04 4 2
Sep 04 2,5 0,8
Jun 05 2 0,9
Jul 05 4,5 1
Aug 05 3 -0,8
Feb 06 1,5 -0,8
Mrz 06 2 -2
Apr 06 2 0,7
Mai 06 2,5 0,7
Jun 06 2 1,2
Jul 06 2,5 5,2
Aug 06 2,5 -1,1
Sep 06 2 3,6
Okt 06 2,5 3,1
Nov 06 1,5 2,5

Um weniger versierten Lesern die folgende Auswertung anschaulicher zu machen, hier eine kleine Erklärung...

Der RV-Wert ist das Verhältnis zwischen der mit einer Vorhersagemethode gestellten Prognose und einer Referenzprognose (Zufallsprognose), die bei Langfristprognosen meist die Vorhersage des langjährigen Mittels (also Abweichung +/- 0.0 K) darstellt.
Um es kurz zu machen: Am Ende sollte stets ein positiver RV-Wert stehen, da nur dann die eigenen Prognosen im Mittel besser abschneiden als die bloße Vorhersage des langjährigen Mittels und erst dann eine Vorhersageleistung erbracht wird. Ist der Wert jedoch negativ wird keine Leistung erbracht und man fährt besser, wenn man für jeden Monat die Abweichung +/-0.0 K prognostiziert.

Um den RV-Wert zu ermitteln, muss zunächst der BIAS ermittelt werden. Dieser gibt den systematischen Fehler einer Prognose an. Bei den dargestellten Prognosen ergibt sich ein BIAS von 1,494 K, d.h. dass die Vorhersagemethode im Mittel um rund 1,5 K falsch lag, genauer gesagt war sie um 1,5 K wärmer als wie der Untersuchungszeitraum gewesen ist. Die Methode sagt also eindeutig zu warm vorher. Hier könnte man mit einer Korrektor für die Zukunft ansetzten.....

Über den BIAS wird nun der RMSE (mittlere quadratische Fehler) berechnet. Wie man diesen ermittelt, ist auf vielen Seiten nachzulesen. Jedenfalls ergab sich bei den darliegenden Prognosen ein RMSE von 2,48 K, bei der Referenzprognose aber nur von 2,05 K. Schon hier ist ersichtlich, dass die Referenzprognose besser abschneiden muss, als die gestellten Vorhersagen.

Der RV ermittelt sich nun aus der Formel:

1-(RMSE-Prog / RMSE-Referenz)^2

Setzt man nun die Werte ein, resultiert daraus ein RV-Wert von -0,21
. Um es mit anderen Worten auszudrücken: Die gestellten Prognosen seit Sommer 2004 waren im Mittel um 21 % schlechter als die Vorhersage des langjährigen Mittels
. Eine Prognoseleistung ist somit nicht gegeben. Selbst bei einer perfekten Prognose für den kommenden Winter hätte der RV-Wert noch nicht die wichtige 0-Grenze erreicht.
Ich hoffe ich konnte einigen Aufschluss über die Verifikationsmittel bei Langfristprognosen geben.

Gruß Lars

Bitte Anmelden um der Konversation beizutreten.

  • Seite:
  • 1
  • 2
Moderatoren: Tobias FerrariMarkus Brotschi
Ladezeit der Seite: 0.172 Sekunden
Zum Seitenanfang
JSN Boot template designed by JoomlaShine.com