Ville lige dele nogle seje billeder jeg har kreeret via en teknik der hedder "neural style transfer". Det går i alt sin enkelthed ud på, at man ændre matematikken i et neuralt netværk, således at "stilen" fra et billede, masseres ind på et andet billede.
Til de tekniske:
Til processen skal man bruge 1 Content billede (A) og et style-billede (B).
Modellen er et convolutional neural network med 16 lag, hvor vægtene i forvejen er trænet på et kæmpe datasæt med en masse billeder. Modellen er herefter modificeret til at et "style" lag (G) inkluderes i modellen. Style-laget er samvariationen imellem pixels i den proces (G) som kører hen over billede (B). Det nye billede som har stilen fra B, og indholdet fra A, bliver så generet ud fra at: minimere afstanden fra det nye billede (C) til billede (A) samt style-funktionen indlært fra billede (B). Med en GPU tager det cirka 5 minutter at køre 500 iterationer igennem.
EDIT: NU MED LYDMASKINEN CREW
Content billede
Style billede
Resultat:
Her ser man hvordan algoritmen har indlært forskellige typer af mønstre som er på tegningen, og projeceret det over på foto'et af bygningen. Hvis man ser på træet, så ligner det lidt at der er et klokketårn i det øvre højre hjørne. Rimelig spacy.
============================================
Jeg prøvede også at lave en GIF som tager hver 10. iteration i optimeringsprocessen, og det ser rimeligt spacy ud. Desværre fylde sådan en GIF omkring 50 mb, så den skal hentes her:
============================================
Teknikken her har holdt mig beskæftiget i cirka 2 uger, men mit næste projekt er at kreere MIDI med LSTM (long short term memory) neural networks. Der er nogle, som har haft sucess med jazz, så det vil jeg da også lige forsøge mig med. Poster her, når det er done.
Neural style transfer
Forumregler
Tænk dig om, tal pænt, men lad også være med at være meget sart. Hvis du skal bruge skældsord, så hold dig til noget Kaptajn Haddock ville have sagt.
Tænk dig om, tal pænt, men lad også være med at være meget sart. Hvis du skal bruge skældsord, så hold dig til noget Kaptajn Haddock ville have sagt.
Neural style transfer
Senest rettet af Mike-air lør 24. feb 2018 19:32, rettet i alt 2 gange.
- SustainerPlayer
- Medlem
- Indlæg: 12411
- Sted: På kanten
Rimligt knaldet. Glæder mig til at høre, hvad det gør ved lyd/musik.
- Christoffer I. N.
- Lydmaskinist
- Indlæg: 35557
- Sted: Hørsholm
Hvad sker der for at holyfields øre er endt på min kind, halvt inde i munden?
Og David og Morten har fået Robocop briller på.
Og David og Morten har fået Robocop briller på.
25. Oktober 2022 - ny musikalsk videolog - Mørkt og minimalt, 5-lags soundscape
-
Jeg er betatester for BABY Audio.
-
Jeg er betatester for BABY Audio.
Haha. Ja det er sku lidt stenet. Men er overrasket over hudfarverne er "rigtige". Kunne godt forestille mig at et portrætbillede kunne få en fed effekt på denne måde.
Her er en animation af beregningerne:
https://drive.google.com/file/d/1rUI2pC ... sp=sharing
Billedet blev kørt igennem 600 iterationer. Vil forsøge med det dobbelte for at se om det gør noget gavn.
Her er en animation af beregningerne:
https://drive.google.com/file/d/1rUI2pC ... sp=sharing
Billedet blev kørt igennem 600 iterationer. Vil forsøge med det dobbelte for at se om det gør noget gavn.
- Christoffer I. N.
- Lydmaskinist
- Indlæg: 35557
- Sted: Hørsholm
sender lige en pm med nogle links du kan prøve
25. Oktober 2022 - ny musikalsk videolog - Mørkt og minimalt, 5-lags soundscape
-
Jeg er betatester for BABY Audio.
-
Jeg er betatester for BABY Audio.
Jeg laver også gratis plugins: www.robotplanet.dk/audio_plugins
Fandt lige ud af at der var nogle der havde lavet et site hvor man kan gøre det uden at kode:Christoffer I. N. skrev:sender lige en pm med nogle links du kan prøve
https://deepart.io/hire/
Jeg er pt. ved at modificere min kode så jeg kan trawle en video-sekvens igennem. Spændt på resultatet.