Model Accuracy – vilken GRIB är bäst?

När man seglar längre race på havet, så blir det ju viktigt att kunna analysera vädret på rätt sött.

Vi har ju fått massor av verktyg de senaste åren, och tillgången till bra väderinformation ökar hela tiden. Och routing-funktionalitet finns inte bara i avancerade program som Adrena eller Expedition, utan i många appar och nya plotters.

Men tillgång till data leder inte automatiskt till bättre beslut… Det vet alla vi som har tittat på en färgglad animation av ett vädersystem som inte alls stämmer med verkligheten.

Och det blir inte lättare när man har 3-4 högupplösta GRIB-filer.

Men väder är också något som lämpar sig otroligt bra för moderna analys-metoder. Många datapunkter och bra möljlighet att jämföra med verkligt utfall.

Det är just detta som Model Accuracy försöker göra: jämföra GRIB-filer från olika källor för att avgöra vilken som stämmer bäst med verkligheten. Detta har man ju gjort manuellt genom att följa vädret veckan innan race, men nu kan man få statistikhjälp i detta arbete.

Jag roade mig med att ladda ner några vädermodeller i fredags och låta Expedition logga verkkligt väder i Långedrag från fredag 15:14 till lördag samma tid.

Här ser man faktiskt barometertryck (den översta linjen) och de olika modellerna. Ingen större skillnad. Även om ingen har fångat fenomenet på lördagen…

Här är TWD (vindriktning).

Här ser man att både den tyska ICON-modellen (orange) och den Franska Arpege (lila) fångar upp denm längre rörelsen. Alla är bra de första 6 timmarna, men sedan diffar detr ganska mycket. Värt att notera är skillnaden på de två bästa modellerna på 9-16 grader. Kan bero på hur de hangterar landeffekter, men det kan också vara ett generellt fel som man skulle kunna kompensera för i en routing.

‘

Samma sak med TWS (vindstyrka). Här är båda franbsmännen (lila) och HIRLAM (grå) bra med i matchen.

Nedan den info man får från analysen. Man kan ju diskuera värdet av att poängsätta olika modeller, men jag tycker man får bra insikt i vad som skiljer dem åt. Och som vanligt så behöver man ju lägga en del jobb för att sånt här skall bli bra, men jag kan definitiuvt se detta som ett värdefullt verktyg framöver.

ALL_GRIBS mode
Analysis start: 2019/05/24 15:14 Analysis end: 2019/05/25 15:14 Granularity: 00:01:00

GC_FMI_HIRLAM_2: Earliest GRIB step used:
Races\test2\MAData\GribCSVFiles\GC_FMI_HIRLAM_2\GC_FMI_HIRLAM_2_20190524_1200_003
Updates 01:00 to 01:00 hh:mm apart. GRIB data point resolution 2.2 to 4.1 nm apart.
TWS: Trend correlation 75%, RMS error 3.2, Average error 1.3 knots below log data. Calibrate +1.3 knots.
TWD: Trend correlation 36%, RMS error 38.4, Average error 6.9 degrees right of log data. Calibrate -6.9 degrees.
BAR: Trend correlation 97%, RMS error 1.6, Average error 1.5 bar below log data. Calibrate +1.5 bar.
MA error : 3.89

GC_GCWF_2: Earliest GRIB step used:
Races\test2\MAData\GribCSVFiles\GC_GCWF_2\GC_GCWF_2_20190524_0600_009
Updates 01:00 to 01:00 hh:mm apart. GRIB data point resolution 3.2 to 6.0 nm apart.
TWS: Trend correlation 72%, RMS error 3.2, Average error 1.4 knots below log data. Calibrate +1.4 knots.
TWD: Trend correlation 32%, RMS error 38.7, Average error 9.0 degrees right of log data. Calibrate -9.0 degrees.
BAR: Trend correlation 95%, RMS error 2.3, Average error 2.3 bar below log data. Calibrate +2.3 bar.
MA error : 3.86

GC_GFS_2: Earliest GRIB step used:
Races\test2\MAData\GribCSVFiles\GC_GFS_2\GC_GFS_2_20190524_0600_009
Updates 01:00 to 01:00 hh:mm apart. GRIB data point resolution 7.9 to 15.0 nm apart.
TWS: Trend correlation None, RMS error 12.9, Average error 12.2 knots below log data. Calibrate +12.2 knots.
TWD: Trend correlation None, RMS error 117.1, Average error 66.0 degrees right of log data. Calibrate -66.0 degrees.
BAR: Trend correlation 92%, RMS error 3.2, Average error 3.2 bar below log data. Calibrate +3.2 bar.
MA error : 21.26

GC_ICON_EU_2: Earliest GRIB step used:
Races\test2\MAData\GribCSVFiles\GC_ICON_EU_2\GC_ICON_EU_2_20190524_1200_003
Updates 01:00 to 01:00 hh:mm apart. GRIB data point resolution 2.0 to 3.8 nm apart.
TWS: Trend correlation 57%, RMS error 5.5, Average error 4.2 knots below log data. Calibrate +4.2 knots.
TWD: Trend correlation 76%, RMS error 27.3, Average error 9.0 degrees right of log data. Calibrate -9.0 degrees.
BAR: Trend correlation 98%, RMS error 1.6, Average error 1.5 bar below log data. Calibrate +1.5 bar.
MA error : 6.36

GC_M…T…O-FRANCE_9: Earliest GRIB step used:
Races\test2\MAData\GribCSVFiles\GC_M…T…O-FRANCE_9\GC_M…T…O-FRANCE_9_20190524_0000_015
Updates 01:00 to 01:00 hh:mm apart. GRIB data point resolution 3.2 to 6.0 nm apart.
TWS: Trend correlation 80%, RMS error 2.9, Average error 0.2 knots above log data. Calibrate -0.2 knots.
TWD: Trend correlation 72%, RMS error 34.2, Average error 15.7 degrees right of log data. Calibrate -15.7 degrees.
BAR: Trend correlation 98%, RMS error 2.2, Average error 2.1 bar below log data. Calibrate +2.1 bar.
MA error : 3.49

YR_SKAGGERAK_WEATHER_2: Earliest GRIB step used:
Races\test2\MAData\GribCSVFiles\YR_SKAGGERAK_WEATHER_2\YR_SKAGGERAK_WEATHER_2_20190524_1200_003
Updates 01:00 to 01:00 hh:mm apart. GRIB data point resolution 1.6 to 3.0 nm apart.
TWS: Trend correlation 62%, RMS error 6.3, Average error 5.3 knots below log data. Calibrate +5.3 knots.
TWD: Trend correlation 20%, RMS error 50.7, Average error 7.6 degrees left of log data. Calibrate +7.6 degrees.
BAR: Trend correlation 97%, RMS error 2.3, Average error 2.3 bar below log data. Calibrate +2.3 bar.
MA error : 8.12

ModelAccuracy recommends GC_M…T…O-FRANCE_9, with a Model Accuracy Error of 3.49

Analysis settings:
Log data source EXPEDITION
Raw log directory C:\Users\peter\Dropbox\Blur Expedition Data\Model A\Logs
Raw GRIB directory C:\Users\peter\Dropbox\Blur Expedition Data\Model A\Gribs
Wind direction type True
Masthead height 18.0m
Data smoothing window 60s
Analysis mode ALL_GRIBS
Analysis start time 2019/05/24 15:14
Analysis window size 24:00 hh:mm
Analysis end time 2019/05/25 15:14
Analysis granularity 60s