Neural style transfer

Off topic - alt som ikke handler om musik eller studie.
Forumregler
Tænk dig om, tal pænt, men lad også være med at være meget sart. Hvis du skal bruge skældsord, så hold dig til noget Kaptajn Haddock ville have sagt.
Nyt svar
Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Neural style transfer

Indlæg af Mike-air »

Ville lige dele nogle seje billeder jeg har kreeret via en teknik der hedder "neural style transfer". Det går i alt sin enkelthed ud på, at man ændre matematikken i et neuralt netværk, således at "stilen" fra et billede, masseres ind på et andet billede.

Til de tekniske:
Til processen skal man bruge 1 Content billede (A) og et style-billede (B).
Modellen er et convolutional neural network med 16 lag, hvor vægtene i forvejen er trænet på et kæmpe datasæt med en masse billeder. Modellen er herefter modificeret til at et "style" lag (G) inkluderes i modellen. Style-laget er samvariationen imellem pixels i den proces (G) som kører hen over billede (B). Det nye billede som har stilen fra B, og indholdet fra A, bliver så generet ud fra at: minimere afstanden fra det nye billede (C) til billede (A) samt style-funktionen indlært fra billede (B). Med en GPU tager det cirka 5 minutter at køre 500 iterationer igennem.

EDIT: NU MED LYDMASKINEN CREW

Content billede
Bygning_content.jpg

Style billede
Monika_style.JPG
Resultat:
generated_image_1.jpg
Her ser man hvordan algoritmen har indlært forskellige typer af mønstre som er på tegningen, og projeceret det over på foto'et af bygningen. Hvis man ser på træet, så ligner det lidt at der er et klokketårn i det øvre højre hjørne. Rimelig spacy.

============================================

Jeg prøvede også at lave en GIF som tager hver 10. iteration i optimeringsprocessen, og det ser rimeligt spacy ud. Desværre fylde sådan en GIF omkring 50 mb, så den skal hentes her:


============================================

Teknikken her har holdt mig beskæftiget i cirka 2 uger, men mit næste projekt er at kreere MIDI med LSTM (long short term memory) neural networks. Der er nogle, som har haft sucess med jazz, så det vil jeg da også lige forsøge mig med. Poster her, når det er done.
Senest rettet af Mike-air lør 24. feb 2018 19:32, rettet i alt 2 gange.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Her er nogle flere:

Style: udklip fra et monet maleri
Monet_style1.jpg
Resultat:
generated_image_3.jpg
Style: et billede fra en bog om universet
New3_style.jpg
Resultat:
generated_image.jpg

Medlemsavatar
SustainerPlayer
Medlem
Indlæg: 12411
Sted: På kanten

Indlæg af SustainerPlayer »

Rimligt knaldet. Glæder mig til at høre, hvad det gør ved lyd/musik.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Hæhæ. Forsøgte mig lige med det billede jeg tog til lydmaskinens grillparty i 2016:

Content:
content_lyma1050x525.jpg

Style:
simpsons_style.jpg

Resultat:
generated_image.jpg

Medlemsavatar
Christoffer I. N.  
Lydmaskinist
Indlæg: 35558
Sted: Hørsholm

Indlæg af Christoffer I. N. »

Hvad sker der for at holyfields øre er endt på min kind, halvt inde i munden?

Og David og Morten har fået Robocop briller på.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Haha. Ja det er sku lidt stenet. Men er overrasket over hudfarverne er "rigtige". Kunne godt forestille mig at et portrætbillede kunne få en fed effekt på denne måde.

Her er en animation af beregningerne:
https://drive.google.com/file/d/1rUI2pC ... sp=sharing

Billedet blev kørt igennem 600 iterationer. Vil forsøge med det dobbelte for at se om det gør noget gavn.

Medlemsavatar
Christoffer I. N.  
Lydmaskinist
Indlæg: 35558
Sted: Hørsholm

Indlæg af Christoffer I. N. »

sender lige en pm med nogle links du kan prøve

Medlemsavatar
Joachip
Forum Donator
Indlæg: 2641
Sted: Vesterbro

Indlæg af Joachip »

Jeg laver også gratis plugins: www.robotplanet.dk/audio_plugins

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Lol, nice! Tensorflow og VGG?

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

Christoffer I. N. skrev:sender lige en pm med nogle links du kan prøve
Fandt lige ud af at der var nogle der havde lavet et site hvor man kan gøre det uden at kode:
https://deepart.io/hire/

Jeg er pt. ved at modificere min kode så jeg kan trawle en video-sekvens igennem. Spændt på resultatet.

Medlemsavatar
Mike-air
Forum Donator
Indlæg: 10300
Sted: Oslo

Indlæg af Mike-air »

NeuralStyle_M_vid5.gif
12 Frames kun dog.. Tog cirka 30 minutter med et GTX1050 Ti

Nyt svar