Deepfakes, nu med lyd!

Musikbranche og ophavsrettigheder, musikteori, artister, sange og videoer, butikker.
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Deepfakes, nu med lyd!

Indlæg Skrevet: 18. maj 2019, 11:24

En Canadisk startup har trainet en model til at efterligne Joe Rogans stemme:




Med reference til vores tidligere AI diskussioner, er mit bud at det er en GAN-version af googles WaveNet.
https://openreview.net/forum?id=H1xQVn09FX
Brugeravatar
the19thbear
Forum Superstar
Forum Superstar
Indlæg: 2591
Sted: Roskilde

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 18. maj 2019, 13:27

Det er virkelig skræmmende og fascinerende med deep learning. Selvkørende biler. Flydesign. Video og stemme-kopiering. Robotter som kan mere og mere.
Helt alvorligt tror jeg at vi står ved en skillevej. Inden for de næste 30 år vil samfundet være på vej over i en ny retning a la i starten af de industrielle revolution.
Det er ret vildt.


Sent from my iPhone using Tapatalk
Brugeravatar
Holger
Audio Alchemist
Audio Alchemist
Indlæg: 34160
Sted: Fyn

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 18. maj 2019, 15:38

Mike-air skrev:En Canadisk startup har trainet en model til at efterligne Joe Rogans stemme:




Med reference til vores tidligere AI diskussioner, er mit bud at det er en GAN-version af googles WaveNet.
https://openreview.net/forum?id=H1xQVn09FX

Virkelig imponerende. Lydkvaliteten er relativt dårlig og der er et give-away lige i starten, men ellers er den købt 100%.
Brugeravatar
Christoffer I. N.
Lydmaskinist
Lydmaskinist
Indlæg: 30237
Sted: Hørsholm

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 18. maj 2019, 21:23

Tak for deling Mike :thumbup:
Gravity Assist - First Contact - Mit første forsøg med programmet Paulstretch, fra April 2016:
https://youtu.be/d5gpvYRPglk
Brugeravatar
Joachip
Forum Superstar
Forum Superstar
Indlæg: 1861
Sted: Vesterbro

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 19. maj 2019, 11:18

I teorien kunne man efterligne Trumps stemme, og få ham til at sige alle mulige fuldstændigt forrykte ting som en præsident ellers aldrig ville have sagt.


:roll:


Nej vent, den skal jeg vist lige tænke igennem igen...
Check mine gratis plugins ud: www.robotplanet.dk/audio_plugins
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 19. maj 2019, 11:53

Det er den slags verden vi kommer til at leve i frem over; ægte indhold kommer til at have en form for nøgle for at det kan valideres.

Vil gerne trække min påstand om at det er let at detektere, tilbage. For i realiteten er det et arms-race indtil ny teknologi dukker op.
Brugeravatar
SustainerPlayer
Forum Superstar
Forum Superstar
Indlæg: 11764
Sted: På kanten

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 19. maj 2019, 13:52

Det bliver The Matrix - bare en anden indpakning - og ingen seje solbriller.
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 19. maj 2019, 14:28

Fra et videnskabeligt perspektiv ser jeg både hvorfor man forsøgte dette, samt hvilken værdi det har. Selve GAN-teknologien (Generative Adversarial Models: dvs. Modeller som ‘genererer data’ kontra at tolke på data) blev udviklet på billed-data, og her var de første eksperimenter på billeder af objekter, dernæst ansigter og det har så udviklet sig siden da fordi det var særdeles vanskeligt. Det er vel blot naturligt at lave koblingen til video og lyd efterfølgende..

Man kan måske også forsvare det med at det er bedre noget sådant bliver open sourcet fra starten så alle er klar indblik i hvad der er muligt.

Måske vi skal være glade for det er google som driver denne forskning, kontra et af de statsstyrede selskaber i Kina eller Rusland? :-P

Alligevel syntes jeg dog et eller andet sted at det er åndssvagt at man går så langt som man er gået med deepfakes.
Brugeravatar
Hald
Forum Donator
Forum Donator
Indlæg: 8598
Sted: Vind / Holstebro

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 20. maj 2019, 09:12

Spørgsmålet er hvor længe der går før vi køber smartphones hvor telefondelen er lukket da vi ikke længere stoler på talekommunikation, eller ikke magter den konstante hær af reklamerobotter der ringer og udgiver sig for at være mennesker.
"Knobs? Where we're going, we don't need knobs!" - 10 år med ørene i Lydmaskinen -
Brugeravatar
SustainerPlayer
Forum Superstar
Forum Superstar
Indlæg: 11764
Sted: På kanten

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 20. maj 2019, 09:48

Det vil jo være en forsat kamp. Men jeg er ikke i tvivl om, at man vil indføre love og foranstaltninger omkring det.
Før eller siden bliver teknologien jo allemandseje.

Der vil blive behov for kommunikationsvalidering på alle planer.
Brugeravatar
Hald
Forum Donator
Forum Donator
Indlæg: 8598
Sted: Vind / Holstebro

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 20. maj 2019, 09:49

Allerede nu bruger alle filtre på alle sociale platforme, jeg ved ikke engang hvordan mine venner i virkeligheden ser ud længere, hehe..
"Knobs? Where we're going, we don't need knobs!" - 10 år med ørene i Lydmaskinen -
Brugeravatar
SustainerPlayer
Forum Superstar
Forum Superstar
Indlæg: 11764
Sted: På kanten

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 20. maj 2019, 09:50

Joachip skrev:I teorien kunne man efterligne Trumps stemme, og få ham til at sige alle mulige fuldstændigt forrykte ting som en præsident ellers aldrig ville have sagt.


:roll:


Nej vent, den skal jeg vist lige tænke igennem igen...


Det er ikke alle mennesker, der kan bestå en Turing test :dollargrin:
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 20. maj 2019, 10:18

SustainerPlayer skrev:Det vil jo være en forsat kamp. Men jeg er ikke i tvivl om, at man vil indføre love og foranstaltninger omkring det.
Før eller siden bliver teknologien jo allemandseje.

Der vil blive behov for kommunikationsvalidering på alle planer.


Lovgivning kommer stille og roligt: F.eks. har San Francisco netop banned brug af facial recognition (dvs. fra det offentlige).
https://www.nytimes.com/2019/05/14/us/facial-recognition-ban-san-francisco.html

Det er indenfor områder som dette hvor EU også kan bevise sit værd, ved at man hurtigere kan implementere lovgivning i alle medlemslande og derved beskytte borgerne. Det er et meget rødt statement. Men dette går så stærkt, og man kan ikke kræve at den gennemsnitlige befolkning har sat sig ind i hvad den nyeste forskning indenfor AI kan.
Brugeravatar
Holger
Audio Alchemist
Audio Alchemist
Indlæg: 34160
Sted: Fyn

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 20. maj 2019, 10:39

Mike-air skrev:Det er indenfor områder som dette hvor EU også kan bevise sit værd, ved at man hurtigere kan implementere lovgivning i alle medlemslande og derved beskytte borgerne. Det er et meget rødt statement.

En absolut fornuftig ting at beskytte imod.

Det har ikke noget med "rødt" at gøre, hvis du her tænker politisk dog.

Både rødt og blåt aka. venstre og højre er ca. lige usympatiske hvad angår overvågning og registrering af borgerne i den vestlige verden, men ofte med forskellige rationaler.

Historisk set har de mest røde haft den mest omsiggribende overvågning, både under Sovjet og ikke mindst i dag i Kina, hvor borgerne mikroovervåges og bliver tildelt social scores.

Gult er ofte associeret med libertarianismen, så måske et gult statement.
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 21. maj 2019, 11:57

Jeg er langtfra ekspert på de begreber, specielt når det bliver internationalt :-)

En lillesidenote er at jeg tilbage i 2017 hvor Elon Musik foreslog at regulere AI, mente (som størstedelen af feltet) at det var lidt vandvittigt at skulle gøre det. Men idag begynder det at give mere og mere mening: ligesom man regulerer færdsel i trafikken, konkurrence vilkår, og beskytter forbrugeren, så er man nødt til at gøre det med AI, da det strækker sig over _alle_ sektorer.

Når du pludselig kan opnå super-human performance på kognitive tasks på tværs af industrier, så er det ikke særlig vanskeligt at komme med idéer til hvordan dette kan udnyttes. Til gengæld er det vanskeligt at komme på regler/designs som beskytter uvidende mennesker.
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 21. maj 2019, 14:16

Brugeravatar
Hald
Forum Donator
Forum Donator
Indlæg: 8598
Sted: Vind / Holstebro

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 21. maj 2019, 14:24

Men på den anden side kan han lave en podcast ved bare at skrive et manus og bede en AI om at læse det op og poste det til en service.

Spørgsmålet er hvor længe der går før radioavisen bliver AI, så behøver folk heller ikke stå til rådighed ud på de sene timer. Det lyder koldt, men virkeligheden er at flere "DJ's" bliver erstattet af en playliste, der er ikke en garanti for at DJ'en er bedre, men playlisten bliver aldrig lige så god til at fange øjeblikket, ligesom en AI nok ikke ville kunne kommunikere alvorlige emner med empati i stemmen.
"Knobs? Where we're going, we don't need knobs!" - 10 år med ørene i Lydmaskinen -
Brugeravatar
Hald
Forum Donator
Forum Donator
Indlæg: 8598
Sted: Vind / Holstebro

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 21. maj 2019, 14:32

Så kan man nok også snart leje sig ind til en AI der kan lave Speaks.. "In a WOOORLD, without unicorns, but with talking bee's"
"Knobs? Where we're going, we don't need knobs!" - 10 år med ørene i Lydmaskinen -
Brugeravatar
Hald
Forum Donator
Forum Donator
Indlæg: 8598
Sted: Vind / Holstebro

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 27. maj 2019, 15:35

"Knobs? Where we're going, we don't need knobs!" - 10 år med ørene i Lydmaskinen -
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 27. maj 2019, 16:13

Hald skrev:https://www.macrumors.com/2019/05/23/u-s-senate-passes-bill-to-cut-down-on-robocalling/

Stærkt! Tak for deling :-)
Brugeravatar
Joachip
Forum Superstar
Forum Superstar
Indlæg: 1861
Sted: Vesterbro

Re: Robocalls

Indlæg Skrevet: 27. maj 2019, 19:43

John Oliver har også haft det emne oppe og vende:


Check mine gratis plugins ud: www.robotplanet.dk/audio_plugins
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 27. maj 2019, 23:05

Næste skridt: predikere ansigt, baseret på stemmen!

DC63D0B9-C42E-41F9-A29B-6E8890DA5EF9.jpeg
DC63D0B9-C42E-41F9-A29B-6E8890DA5EF9.jpeg (57.85 KiB) Vist 554 gange


Fuld artikkel:
https://arxiv.org/pdf/1905.09773.pdf
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med Trump og Eminem!

Indlæg Skrevet: 29. maj 2019, 15:00

Så er der satme nogen der har brugt teknikken på Trumps taler. Lyder dog lidt som om at modellen har svært ved at generalisere til ord trump måske ikke har sagt så ofte:


Brugeravatar
Christoffer I. N.
Lydmaskinist
Lydmaskinist
Indlæg: 30237
Sted: Hørsholm

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 29. maj 2019, 16:23

Grinern, lyder som en blanding af timestretching og høj FFT size processering.
Gravity Assist - First Contact - Mit første forsøg med programmet Paulstretch, fra April 2016:
https://youtu.be/d5gpvYRPglk
Brugeravatar
Mike-air
Forum Superstar
Forum Superstar
Indlæg: 8034

Re: Deepfakes, nu med lyd!

Indlæg Skrevet: 29. maj 2019, 21:51

Jeg får vitterligt lyst til at lege med dette, men jeg har hverken GPU-kraft eller tiden til det..

Tilbage til "Branche & Teori"

Hvem er online

Brugere der læser dette forum: Mr. Soundman og 1 gæst