una nuova “intervista attorno al computer”. Binary intervistato Arshia cont, ricercatore in informatica musicale. Arshia ha messo la sua ricerca sul confine tra le sue due passioni, la scienza informatica e la musica. Li condivide. Claire Mathieu e Serge Abiteboul.

Arshia CONT © Arshia
Arshia CONT © Arshia

Musica mista: musicisti e computer

B: Arshia, qual è la tua ricerca?
AC: Lavoriamo nel campo di calcolo musicale. La gente ha iniziato a fare musica con i computer dalle informazioni di informatica. Già Ada LoveLace parlava esplicitamente la musica nei suoi testi. Siamo interessati a ciò che non sappiamo ancora. Quando diversi musicisti giocano insieme, ogni musicista ha compiti specifici per realizzare in tempo reale, ma deve coordinare le sue azioni con gli altri musicisti. Vengono ad ascoltare e sincronizzare, per giocare un quartetto Mozart per esempio. Il lavoro è scritto su una partizione, ed è sempre lo stesso lavoro che sta ascoltando, ma ad ogni esecuzione, è sempre diverso e tuttavia è senza colpa. E anche se ci sono errori, il concerto non si fermerà. Questa capacità di ascoltarci, coordinarsi e sincronizzare, con un’incredibile tolleranza alle varianti, persino gli errori, è una straordinaria capacità umana che vorremmo dare la macchina.
Prendiamo tre musicisti che sono abituati a giocare insieme. Sono aggiunti a loro un quarto musicista, vale a dire un computer che giocherà con loro, e chi, per quello, deve ascoltare gli altri e adattarsi a loro. Il computer deve essere in grado di interagire, comunicare con gli umani. Questa associazione di musicisti e musicisti umani computer è una pratica musicale chiamata musica mista, e che è diffusa oggi in tutto il mondo.
Il dialogo avviene durante l’esecuzione, ma prende anche una lingua per descrivere la ricchezza di tali scenari che sono entrambi atteso (poiché la partizione è nota) e allo stesso tempo ogni volta diverso.

Arshia cont davanti a un violino Arshia contro di fronte a un violino intelligente di IRCAM. Un sensore e un ecciter sono posizionati direttamente all’interno della scatola del violino per amplificare i suoni esistenti, ma anche creare nuovi suoni. © Serge Abiteboul

La lingua della musica

B: Lavori sulle lingue per Musica mista?
AC: Sì. Prendere lavori scritti per grandi orchestre, con venti o trenta voci diverse in parallelo. Il compositore che ha scritto che non aveva accesso a un’orchestra nella sua sala da pranzo mentre lo ha scritto. Per secoli, i musicisti sono stati costretti a inventare una lingua, una modalità di comunicazione, che è comprensibile dai musicisti, che possono essere condivise, e che è abbastanza ricco di non rendere il risultato rigido. Mozart, Beethoven o Mahler sono stati costretti a scrivere su grandi fogli di carta, partizioni di orchestra, in una lingua compresa dai musicisti che avrebbero giocato a questi pezzi. Questa lingua, con elementi fissi e elementi liberi, consente un passaggio diretto di scrivere alla produzione del lavoro. Qui uno scopo principale nella scienza informatica dei linguaggi di programmazione, è possibile effettuare operazioni complesse, con azioni da eseguire, a volte diversi contemporaneamente, con vincoli temporali imposti dall’ambiente.
prendere l’esempio di “A aereo. Vorremmo che l’aereo seguire il suo percorso praticamente senza colpa ma anche qui non è sempre la stessa cosa. Ci vuole una lingua che ti permette di esprimere ciò che vorremmo andare avanti qualunque sia la situazione.
Per la musica, la lingua deve consentire un passaggio immediato all’immaginario. Per questo, lavoriamo con musicisti, e ciò che è particolarmente interessante è quando hanno idee molto chiare, ma hanno problemi a esprimerli. Stiamo sviluppando lingue che permettono loro di esprimere la musica che sognano e gli ambienti per comportarlo.

b: Sembra avere molti collegamenti con linguaggi di programmazione del computer. Puoi spiegarlo?
AC: la musica è un’organizzazione di suoni in tempo. Una partizione con trenta voci, è un accordo di azioni umane che hanno nature temporali molto varie, ma che coesistono.Questa preoccupazione per “dialogare” diverse nature temporali, è molto presente nei sistemi informatici, specialmente nei sistemi in tempo reale. Quindi ci sono molti collegamenti tra ciò che facciamo e le lingue utilizzate per sistemi critici in tempo reale, il lingue utilizzate ad esempio in aereo Airbus o in centrali nucleari. È anche un’area in cui la Francia è piuttosto leader.

Dimostrazione di AntescaFo, @youtube

b: parli del tempo reale. In una partizione c’è un tempo quasi assoluto, quello della partizione, ma quando l’orchestra gioca, c’è il tempo di ogni musicista, più complesso e variabile? AC: piuttosto che un tempo assoluto, preferisco Per parlare di un orologio. Ad esempio il metronomo utilizzato nella musica occidentale può battere il ritmo di un ritmo del secondo, ed è il tempo “nero = 60” che è scritto sulla partizione, ma è solo un’indicazione. Infatti, in esecuzione, nessuna musica rispetta questo orologio, nemmeno il 90%. Il tempo è sempre una nozione relativa (a differenza delle note, che in alcune tradizioni musicali è assoluta). In un quartetto di corda, non c’è un tempo unico ideale, non un modo ideale unico per sincronizzare. Nella musica, c’è la nozione di frase musicale, e quando hai azioni che hanno una misura temporale, possiamo avere relazioni temporali varie. Ad esempio, di solito vogliamo finire le frasi insieme. In alcune pratiche di musica indiana, ci sono griglie ritmiche che i musicisti usano quando giocano insieme: li hanno in mente, e un musicista sa quando iniziare così che dieci minuti dopo finisca insieme ad altri! Questo tipo di condizione deve essere in lingua. Questo è ciò che è molto difficile. I musicisti che vengono a finire insieme hanno una capacità di anticipazione quasi magica. Sanno come giocare il tempo t per finire insieme al momento T + n. È la “ante” di AntescaFo, il nostro software. Come i musicisti che sanno come anticipare in modo incredibile, Antescafo cerca di anticipare.

Antescofo di IRCAM-CGP

B: E il conduttore, lì–Sin. Il suo ruolo è quello di sincronizzare tutti? I musicisti lavorano con l’ipotesi che la velocità del suono è infinita, sia che senta un suono da un altro musicista al momento in cui questo suono è emesso. Ma in una grande orchestra questa ipotesi non funziona. Il suono sull’altra estremità dell’orchestra arriva dopo un ritardo e, se ci fidiamo l’un l’altro. Per rimediare, mettiamo un leader dell’orchestra che tutti possono vedere e la sincronizzazione vengano fatti a vista, con l’ipotesi che la velocità della luce è infinita. Abbiamo anche un progetto sul follow-up del corso, in modo che il computer del computer possa seguire anche il gesto del conduttore. Ma è complicato. È necessario adattarsi ai leader dell’orchestra che usano gesti complessi.

La macchina deve imparare ad ascoltare

B: Usi molto Tecniche di apprendimento automatico. Puoi parlarci a riguardo?
AC: utilizziamo metodi di apprendimento statistico. Impariamo dalla macchina per ascoltare la musica. La musica è definita da altezze, ritmi, diverse dimensioni che possiamo catturare e fornire i nostri programmi per computer. Ma anche la definizione di queste dimensioni non è semplice, ad esempio, la definizione di una “altezza” del suo funziona indipendentemente dallo strumento. Soprattutto, siamo in tempo reale, in una situazione di totale incertezza. I suoni sono complessi e “fruscianti”. Noi umani, quando ascoltiamo, non abbiamo una singola macchina d’ascolto ma molti che usiamo. Siamo come una macchina multi-agente, ad esempio focalizzata sull’altezza dei suoni, un altro sugli intervalli, un altro sui ritmi pulsati. Tutte queste macchine hanno pesi diversi a seconda delle persone e secondo la musica. Se noi umani possiamo avere un ascolto quasi perfetto, non è il risultato di una macchina perfetta ma perché il nostro cervello sa come analizzare il risultato di diverse macchine ingiustificanti. È tecnicamente eccitante. Hai diverse macchine probabilistiche in concorrenza permanente, cercando di anticipare il futuro, partecipando a un sistema di apprendimento online adattivo altamente dinamico. È grazie a quello che Ongofo funziona così bene. AntescaFo sa come ascoltare e grazie a questo, reagire correttamente. Reagire, è quasi facile.

Sentimenti di macchine

B: Ci sono musica triste o sentimentale. Un musicista sa come esprimere sentimenti. Possiamo sperare di riportare i sentimenti nel modo di giocare al computer?
AC: è un vecchio sogno.Ma come quantificare, qualificare e controllare questo effetto magico chiamato sentimento? C’è una competizione internazionale, una sorta di tester di sentimenti musicali, per tutte le macchine guadagna il concorso Chopin. Molte persone lavorano sull’emozione musicale. Di nuovo, possiamo provare a fare affidamento sull’apprendimento automatico. Un po ‘come un umano impara durante le ripetizioni, proviamo a fare che il computer può imparare ascoltando il gioco. In termini tecnici, è l’apprendimento supervisionato e offline. Antescafo impara sul palco, e ogni momento sta adeguando e researning.

La composizione musicale mista © Arshia cont Composizione musicale mista © Arshia cont

b: Ci sono altre domande di quelle che avresti voluto metterti? AC: c’è una dimensione collettiva in L’uomo che mi affascina. Centocinquanta musicisti che giocano insieme e producono un risultato armonioso, è magico! È un divertimento incredibile. Possiamo arrivare a tali orchestrazioni, tali livelli di collaborazione, con esso? È una vera sfida.
Altre domande, la musica trasporta molti elementi umani e influenza anche la nostra privacy. Oggi tutti consumano musica – come possiamo renderlo più disponibile per tutto tramite esso? Recentemente abbiamo iniziato a lavorare su mini computer a 50 euro. Come fare il karaoke disponibile per tutti? Come far sì che tutti possano rendere musica anche senza formazione musicale? Forse darebbe alle persone un desiderio di sviluppo personale – quando un bambino può giocare con l’Orchestra di Parigi, è una prospettiva grigia, e il computer può rendere questi tesori accessibili.

La passione della musica e del computer

b: Per concludere, puoi dirci perché hai scelto questo lavoro?
AC: Sono appassionato dalla creazione musicale dall’adolescenza, ma ero anche bravo Nella scienza, quindi mi sono fatto la domanda: musica o scienza? Con questo lavoro, non ho dovuto scegliere: Io faccio entrambi. Non potrei essere più felice. Questo è un primo messaggio ai giovani: se hai una passione, non lasciarlo abbassare. Per quanto riguarda la scienza informatica, l’ho scoperto per caso. Durante i miei studi ho fatto la matematica, l’elaborazione del segnale. Dopo la mia tesi, esplorando la nozione di linguaggio, mi sono reso conto che mancava la conoscenza fondamentale di esso. È un mondo intero, è una scienza fantastica. È oggi nel cuore della mia ricerca. Il mio secondo messaggio sarebbe, qualunque sia la tua passione, in tutte le probabilità, studia anche la scienza informatica …

Arshia cont, IRCAM
Direttore di ricerca in un team INRINA / CNRS / IRCAM
Direttore Il Dipartimento di Interfacce di ricerca / creatività

per scoprire di più con due elementi di interstizia su questo argomento:

https://interstices.info/interaction-musicale

Sessioni di lavoro AntescofoFO © Inria
Sessioni di lavoro di AntescaFo © Inria

Leave a comment

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *