Forecast fra statens serums institut

Off topic - alt som ikke handler om musik eller studie.
Forumregler
Tænk dig om, tal pænt, men lad også være med at være meget sart. Hvis du skal bruge skældsord, så hold dig til noget Kaptajn Haddock ville have sagt.
Nyt svar
Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Forecast fra statens serums institut

Indlæg af Mike-air »

Smittefar skrev:Den her slags gør mig sgu lidt sur

Billede

Jeg har sakset den fra TV2 Nyhederne, men jeg vil simpelthen ikke linke til det makværk. Jeg er rystet over, at sundhedsmyndighederne vil sende sådan noget her ud og kalde det en prognose - De kunne lige så godt have fremskrevet tallene og fået dem til at ligne en hest.

Det er aldeles useriøst og burde holdes ude af debatten.
Mike-air skrev:
Smittefar skrev:Den her slags gør mig sgu lidt sur
Jeg har sakset den fra TV2 Nyhederne, men jeg vil simpelthen ikke linke til det makværk. Jeg er rystet over, at sundhedsmyndighederne vil sende sådan noget her ud og kalde det en prognose - De kunne lige så godt have fremskrevet tallene og fået dem til at ligne en hest.

Det er aldeles useriøst og burde holdes ude af debatten.
Kan du være lidt mere specifik i din kritik?

Generalisering på baggrund af et case-studie er ikke super smart nej, men spørgsmålet er vel også om der ligger epidemilogisk teori bagved?
Smittefar skrev:Jeg synes, det er helt til hest at fitte den kurve til data. Usikkerheden på det fit er enorm. Jeg er rimelig sikker på, man ikke kan sige med statistisk signifikans, at boblen ikke bliver dobbelt så høj eller peaker to måneder senere eller 14 dage tidligere. Jeg er overhovedet ikke overbevist over, vores kurve kommer til at se sådan ud, selv om det nok bliver noget med et peak og en afmætning.

Det minder mig meget om et afsnit af mythbusters, hvor de ville finde ud af noget, der foregik i en flyvemaskine med 600 km/t - så lavede de to målepunkter på jorden med 10 og 20 km/t og ekstrapolerede så kurven til 600 km/t. Det der foregår i ovenstående graf er præcis lige så upræcist og underlødigt.
Mike-air skrev: Ja, det var også det jeg mente med case studie. Man fitter ikke en model til n=1. Og i et problem som dette, hvor der er så mange uvisheder og faktorer der givetvis har indflydelse, så er n=1 amatøragtigt.

Med mindre der eksisterer noget solid teori man kan bruge i sin model, og det fungerer som en slags naturlov. Det er vel ikke urealistisk at sådanne eksempler eksisterer i naturen? Det ved du vel bedre end jeg, siden du da ihvertfald arbejder med fysikkens verden :-P Weibull fordeling er vel et eksempel?
Smittefar skrev:Problemet er, at de har taget en model; det kunne være a1^(b1*x)/a2^(b2*(x-x0)) og fittet til deres data. Et hvilket som helst dataanalyse program kan finde de værdier af a1, a2, b1, b2 og x0, der giver det bedste fit. Vi har bare kun data på den del af kurven, der er fuldstændigt domineret af a1 og b1, så de fundne værdier b1, b2 og x0 kan nemt være flere størrelsesordener forkerte.

Jeg skal nok prøve at illustrere med en graf og et eksempel lidt senere.

Sent from my ONEPLUS A5010 using Tapatalk

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Her er kilden - altså selve prognose-notatet fra SSI:
https://files.ssi.dk/Prognose%20for%20e ... 2030032020
Formålet med dette notat er at give status for COVID-19 epidemien og forsøge at fremlægge
en prognose for den fremtidige udvikling. Med begrænset viden om mørketal og befolkningens
immunitet er det en umulig opgave på detaljeret vis at se langt frem ind i 2020,
men det er
alligevel muligt at beskrive forskellige scenarier, som kan danne grundlag for den fremtidige
håndtering af COVID-19 epidemien. I takt med at vi får mere detaljeret viden om de afgørende
modelparametre vil Statens Serum Institut og ekspertgruppen, som der arbejder sammen i
forhold til at modellere epidemien blive mere konkrete i forudsigelserne
.
Så intentionen er altså at komme med nogle scenarier.

Det syntes jeg er ganske forsvarligt, uanset om det så bare er en polynomisk regressionsmodel baseret på data fra et enkelt (worst-case) land. Sålænge det er klart og tydeligt hvad prognosen bygger på, og det gør den jo klart og tydeligt i deres notat ihvertfald.
fig1.PNG
fig2.PNG
Efter at have set dette notat er min eneste kritik at der ikke er rapporteret alle de standard ting man rapporterer når man laver sådan en model. Men altså, spørgsmålet er hvad det overhovedet er værd, for i virkeligheden er det bare et slag på tasken.

Medlemsavatar
Smittefar
Forum Donator
Indlæg: 5191
Sted: Søborg

Indlæg af Smittefar »

Jeg kan ikke nå det nu, men jeg må jo kigge lidt på det - Jeg kan dog stadig ikke se, hvordan man baseret på starten af en eksponentiel kurve overhovedet tør give sig i kast med at gætte på toppunktet - specielt når nu vi ved, hvordan dette er bestemt af, hvor stor eksponering i befolkningen er.
Find mig på: Youtube | Facebook | Hjemmeside - eller i mit band Jump

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Smittefar skrev:Jeg kan ikke nå det nu, men jeg må jo kigge lidt på det - Jeg kan dog stadig ikke se, hvordan man baseret på starten af en eksponentiel kurve overhovedet tør give sig i kast med at gætte på toppunktet - specielt når nu vi ved, hvordan dette er bestemt af, hvor stor eksponering i befolkningen er.
Og her er så mit gæt at det er faglig viden og etableret teori i selve feltet som gør at man tør give sig i kast med det. Jeg tror vi begge må se i øjnene at der kan være viden i det her "epidemiologi" felt, som vi ikke kender til, som gør at man sagtens kan retfærdiggøre at fremskrive ud fra italiens udvikling (som 1 af flere scenarier).

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Jeg syntes særligt denne model er god, hvis man skal fremhæve noget i mini-rapporten:
Capture.PNG

Medlemsavatar
Smittefar
Forum Donator
Indlæg: 5191
Sted: Søborg

Indlæg af Smittefar »

Det er faktisk et udmærket notat, og det er TV2s fremstilling er bare helt hen i vejret.

Det er særligt figur 2, jeg mener er problematisk. Den kunne have været fittet på mange forskellige måder.

Lad mig forklare lidt - Og her kommer der relativt høj niveau matematik. Jeg kigger på akkumuleret befolkning/virustilfælde over tid - Grafen over viser tilvæksten over tid, så der skal man lige differentiere for at få den samme kurve.

Almindelig eksponentiel vækst for en befolkningsstørrelse P kan beskrives ved differentialligningen

dP/dt = r*P

Hvor r er growth rate

Løsningen er P(t)=P0*e^(r*t), hvor P0 er befolkningsstørrelsen ved t=0

Når man kigger på udvikling i befolkning eller virusudbredelse, så er væksten eksponentiel i starten, men den kan ikke fortsætte sådan i det uendelige. Der må være en øvre grænse. Det beskrives i denne differentialligning

dP/dt = r*P*(1-P/K)

Hvor K er den maksimale værdi befolkningen kan antage, Pmax.

Løsningen til den differentialligning er

P(t) = K*P0*e^(rt)/(K + P0*(e^(r*t)-1)

Som er den eksponentielle løsning for små værdier af t og bliver til K for store værdier af T

Læs mere her (der står formlerne også lidt pænere) https://en.wikipedia.org/wiki/Logistic_ ... ion_growth

Problemet med at fitte en logistisk model til tidlige data er, at de data kun afspejler den eksponentielle vækst. Det er nærmest umuligt at estimere K. Der kommer grafer senere, men nu bliver jeg nødt til at arbejde rigtigt :)
Find mig på: Youtube | Facebook | Hjemmeside - eller i mit band Jump

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Hvad hvis det er en multivariat model?
Senest rettet af Mike-air tirs 31. mar 2020 10:07, rettet i alt 2 gange.

Medlemsavatar
Smittefar
Forum Donator
Indlæg: 5191
Sted: Søborg

Indlæg af Smittefar »

Tænker du på en specifik model?

Der er eksempler på, man lader K være afhængig af tid, men med det nuværende data grundlag giver det slet ikke mening.

Det grundlæggende problem er vel, at man ikke kan sige noget om, hvornår kurven bøjer af, før man har set det mindste tegn på, at den begynder på det - det er uanset model.

Sent from my ONEPLUS A5010 using Tapatalk
Find mig på: Youtube | Facebook | Hjemmeside - eller i mit band Jump

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Smittefar skrev:Tænker du på en specifik model?

Der er eksempler på, man lader K være afhængig af tid, men med det nuværende data grundlag giver det slet ikke mening.

Det grundlæggende problem er vel, at man ikke kan sige noget om, hvornår kurven bøjer af, før man har set det mindste tegn på, at den begynder på det - det er uanset model.

Sent from my ONEPLUS A5010 using Tapatalk
Nu fik jeg editeret min tekst imens du svarede. Ups.

Hvis det eksempelvis er en polynomisk regression (paper) så er der jo et univers af forskellige former den kan have, i form af led man kan inkludere, baseret på kovariater. Det er da normalt sådan noget samfundsøkonomer og folk i biostatistics gør. Lugter det ikke lidt, at man laver en så simpel model som den du beskriver? Altså at man helt udelukker alle former for kovariate som teoretisk set kan have indflydelse?
Smittefar skrev: Det grundlæggende problem er vel, at man ikke kan sige noget om, hvornår kurven bøjer af, før man har set det mindste tegn på, at den begynder på det - det er uanset model.
Fra et filosofisk synspunkt ja- alt er et slag på tasken. Men det hænder at man finder teoretiske sammenhænge, og via målepunkter (kovariatene) klarer at predikere ting alligevel (det er praktisk talt det jeg lever af).

Edit:
Her er et studie som meget godt beskriver hvad der er praksis for prediktion indenfor epidemiologi. Her taler man om input variable som eks. demografi, og dermed betingede modeller. Det er altså standard praksis at bruge multivariate metoder. Med mindre der er noget helt galt i SSI, så bør man nok antage at de lever op til denne praksis.

Paper: https://www.sciencedirect.com/science/a ... 3X14630019

Medlemsavatar
Smittefar
Forum Donator
Indlæg: 5191
Sted: Søborg

Indlæg af Smittefar »

Det med det kovariate kommer nok lidt an på, hvilken verden man kommer fra. Jeg vil altid vælge den simplest mulige model, når så data ikke længere passer, og jeg kan få et statistisk signifikant bedre fit ved at tilføje et nyt led, så vil jeg tilføje leddet. Det der med at starte med en model med mange variable og fitte alle de variable uanset hvordan datasættet ser ud - det er en meget farlig vej. Når det er sagt, så er det jo nødvendigt at tillade parametrene at ændre sig, når der sker ændringer i befolkningen. For eksempel bliver growth rate eller smittepresset jo helt sikkert anderledes, når alle danskere for eksempel går indenfor. I de situationer giver det mening at indføre parametre, der ændrer sig over tid.

Her er et eksempel fra mine andre Corona-data - jeg har valgt Italien og Tyskland. Italien er tydeligt begyndt at bøje af, og jeg mener, det giver mening at sige noget om, hvordan og hvornår deres kurve begynder at bøje af. Tyskland er efter min bedste overbevisning stadig på den eksponentielle del af kurven, og det er grænsende til meningsløst at sige noget om, hvornår det flader ud.

Jeg har fittet eksponentielt i området mellem 10 og 1000 døde, og så har jeg lavet lidt trial and error fitting til en logistisk kurve
Fit1.jpg
Fit1.jpg (86.41 KiB) Vist 324 gange
For Italien er det helt tydeligt, at det eksponentielle fit ikke beskriver data, så her giver det mening at tage et mætningsled med. For den logistiske del af kurven har jeg også justeret fittet for den eksponentielle del af kurve en anelse via trial and error.

For Tyskland er der et eksponentielt fit og to logistiske kurver. Den ene logistiske mætter ved 6.000, den anden mætter ved 60.000. Hvis vi lige kigger lidt nærmere på det fit (og dropper den logaritmiske akse), så ser det sådan ud
Fit2.jpg
Fit2.jpg (74.54 KiB) Vist 324 gange
De to sidste datapunkter gør, at det ser lidt mere sandsynligt ud, at væksten mætter ved 6.000, men hvis man fjerner de to datapunkter, ville man sige, at 60.000 var et mere korrekt mætningspunkt. Derfor mener jeg, det er helt umuligt at sige noget fornuftigt om mætningspunktet og hvor kurven bøjer af.

Hvis vi kigger på de differenser, de også benytter i den kurve vi startede med at snakke om, ser man hvor stor forskel det gør, om mætningstallet er 6.000 eller 60.000 - og som sagt ovenfor mener jeg ikke, man baseret på data kan sige noget om, det bliver det ene eller det andet.
Fit3.png
Fit3.png (7.29 KiB) Vist 324 gange
Der er ingen tvivl om, at matematisk modellering er et stærkt forudsigelsesværktøj, og når man bruger det inden for rammerne af, hvad der understøttes af data, så er det virkelig stærkt. Men hvis man er derude, hvor man kan ændrer et enkelt datapunkt eller to, og hele forudsigelsen så ændrer sig markant, så giver det ikke rigtig mening længere. Det virker som om, SSI arbejder seriøst med deres modeller, og det er fint, de bruger en model baseret på udviklingen i Italien, men der er jo mange ting, der er anderledes i DK og Italien.
Find mig på: Youtube | Facebook | Hjemmeside - eller i mit band Jump

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Smittefar skrev:Det virker som om, SSI arbejder seriøst med deres modeller, og det er fint, de bruger en model baseret på udviklingen i Italien, men der er jo mange ting, der er anderledes i DK og Italien.
Ok. Så fandt vi en konklusion.

Medlemsavatar
Holger
Audio Alchemist
Indlæg: 37670
Sted: Fyn

Indlæg af Holger »

Rigtig spændende tråd. Jeg blev utroligt meget klogere på, at jeg absolut ikke er klog på dette emne. :-D Men jeg fattede da noget af Smittefars sidste indlæg ;-)

Medlemsavatar
Smittefar
Forum Donator
Indlæg: 5191
Sted: Søborg

Indlæg af Smittefar »

Hurra [emoji3531]

Sent from my ONEPLUS A5010 using Tapatalk
Find mig på: Youtube | Facebook | Hjemmeside - eller i mit band Jump

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Jeg må tilstå jeg er lidt skuffet over udviklingen i denne tråd. Smittefar, du skriver til mig i børnehøjde og siger flere ting som er en selvfølge når man har taget det niveau af uddannelse du og jeg har (eller bare har bachelor niveau i statistik).

Occams razor er en selvfølgelighed når man modellerer- på hvilket tidspunkt ser du mig argumentere for det modsatte? Jeg nævner bare nogle muligheder, og oven i købet nogle artikler fra feltet som understøtter det er en mulighed.

Min kernepointe er at når man ikke kender datagrundlag, modeltype og underliggende teori for de modeller SSI har lavet, så er det både dumt og respektløst at kritisere det. Mætningstal kan sagtens være en kovariat, eller en funktion af flere kovariater. Hele kurven kan også være resultatet af monte-carlo simulering. Vi ved det ikke.

Medlemsavatar
Holger
Audio Alchemist
Indlæg: 37670
Sted: Fyn

Indlæg af Holger »

Men er det ikke netop så SSI's ansvar, at præsentere deres prognoser med denne kæmpe usikkerhed tydeligt understreget?

Jeg får i hvert fald ofte følelsen af, at man fra statens side kraftigt manipulerer med præsentationen for at understøtte politikken.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Holger skrev:Men er det ikke netop så SSI's ansvar, at præsentere deres prognoser med denne kæmpe usikkerhed tydeligt understreget?
Det gør man også ret tydeligt i en anden model i selvsamme rapport (se her under).
Det er bare journalisten hos tv2 der har cherry-picket en af de første figurer - og iøvrigt ignoreret både intro til rapporten samt teksten til modellen.

Modellens matematiske form er ikke beskrevet, og det er stærkt kritisabelt fra et videnskabeligt synspunkt.
Men også det er det man skal kritisere. Ikke hvad man tror modellens form er.

Billede
Holger skrev:Jeg får i hvert fald ofte følelsen af, at man fra statens side kraftigt manipulerer med præsentationen for at understøtte politikken.
Det er da absolut heller ikke urealistisk at man gør det :-P

Medlemsavatar
Holger
Audio Alchemist
Indlæg: 37670
Sted: Fyn

Indlæg af Holger »

Ok, det bliver det selvfølgelig ikke bedre af.

Nu taler vi smittede her i tråden så vidt jeg forstår, men en passant hæftede jeg mig forleden ved en interesssant formulering vedr. de påståede døde af Corona-virus, nemlig at der ikke er tale om "døde af Corona-virus", men "personer der har haft Corona-virus inden for de sidste 60 dage og er døde".

Dvs. folk kan reelt være døde af alt muligt andet eller være erklæret raske og så døde (af noget andet), men alligevel bliver det automatisk attribueret til Corona fordi man antager at det er Coronaen, der har dræbt dem.

Det virker som en rimelig bred definition af dødsårsag tænker jeg.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Holger skrev:Ok, det bliver det selvfølgelig ikke bedre af.

Nu taler vi smittede her i tråden så vidt jeg forstår, men en passant hæftede jeg mig forleden ved en interesssant formulering vedr. de påståede døde af Corona-virus, nemlig at der ikke er tale om "døde af Corona-virus", men "personer der har haft Corona-virus inden for de sidste 60 dage og er døde".

Dvs. folk kan reelt være døde af alt muligt andet eller være erklæret raske og så døde (af noget andet), men alligevel bliver det automatisk attribueret til Corona fordi man antager at det er Coronaen, der har dræbt dem.

Det virker som en rimelig bred definition af dødsårsag tænker jeg.
Ja, det har da sikkert indflydelse på statistikken. Norge har konsistent haft færre døde end DK, og jeg kunne personligt mistænke at tællemetoden spiller ind. Men for ikke at modsige mig selv i min pointe ovenfor, må jeg nok bare tilstå at jeg ikke har den helt store forståelse for hvorfor man gør det.

Medlemsavatar
Smittefar
Forum Donator
Indlæg: 5191
Sted: Søborg

Indlæg af Smittefar »

Mike, jeg forstår ærlig talt ikke hvorfor du er skuffet. Jeg mener stadig, det grænser til uredeligt at tegne den kurve SSI gør baseret på deres datagrundlag. Jeg kan ikke se skyggen af bevis for at top punktet skal lægges hvor de lægger det.

De skriver at deres model et baseret på udviklingen i italienske provinser, men vi får ikke nogen indsigt i, hvad det betyder. De andre grafer i deres notat er noget mere lødige og indsigtsfulde, men det ændrer jo ikke på, at de bringer den sidste graf også.

Jeg har også læst det paper, du lagde op. Det er rigtig fint, og den model der primært snakker om er rigtig fornuftig. Men det er en endnu mere kompliceret model med endnu flere fitte muligheder. Det eneste håndgribelige det rigtig står i deres notat er, at modellerne er tunet så de passer til data på et bestemt tidspunkt.

Du siger de ting jeg skriver er børnelærdom for folk der har studeret bare en anelse statistik. Det er jeg sådan set ikke uenig i, men burde der så ikke have været nogen hos SSI, det insisterede på at man knyttede et par kommentarer om usikkerheder til deres forudsigelser?

Sent from my ONEPLUS A5010 using Tapatalk
Find mig på: Youtube | Facebook | Hjemmeside - eller i mit band Jump

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Smittefar skrev:Jeg mener stadig, det grænser til uredeligt at tegne den kurve SSI gør baseret på deres datagrundlag.
Vi _ved_ stadig ikke 1) hvilken data de har hos SSI, eller 2) hvilken data der er inkluderet i modellen. Fordi vi ikke kender formen.

Det er lidt formålsløst at fortsætte diskussionen uden at kende formen på modellen. Vi ser kun output. Og det kan vi reelt set kun kritisere når vi kender sandheden. Vi kan sige vi tror noget andet- fair nok. Det må tiden vise.

At det grænser til uredeligt er jeg (som tidligere) helt enig i.

Nyt svar