Audio & Interaction - Home di homes.di.unimi.it

Audio & Interaction

Corso di Laurea in Comunicazione DigitaleCorso di Realtà Virtuali - a.a. 2009/10Prof. Paolo PasterisTutor: Stefano Baldan

Protocolli di comunicazione

Sound Design

Da Wikipedia (02-05-2010): Sound design is the art and process of manipulating audio elements to achieve a desired effect

Nel nostro caso l'effetto ricercato è di tipo narrativo: vogliamo sottolineare momenti, contestualizzare situazioni, evocare stati d'animo

Come per gli ambienti grafici, la priorità nella costruzione di un



Come per gli ambienti grafici, la priorità nella costruzione di un ambiente sonoro non è il realismo bensì la verosimiglianza e la coerenza:

● Con le nostre abitudini percettive

● Con il senso della narrazione

● Con la natura del materiale da sonorizzare

L'importanza del contesto



L'influenza è reciproca: l'immagine guida l'interpretazione del suono così come il suono guida l'interpretazione dell'immagine.

E' possibile giocare sull'interazione audio/video per creare pathos, effetti comici ecc. ecc.

Informazione “di serie B”?

Gran parte dell’informazione che percepiamo dal mondo circostante proviene dal nostro udito. Quando si parla di ambienti interattivi tuttavia esso viene spesso ignorato. Perché?

• Non sempre fruibile in ambienti rumorosi e affollati, o viceversa dov’è richiesto il silenzio

• Feedback acustico costante potenzialmente fastidioso per



• Feedback acustico costante potenzialmente fastidioso per l’utente

• Dinamiche meno comprese e studiate rispetto a quelle della visione

Utilizzi comuni

Nonostante le difficoltà, progettare l’interazione anche da un punto di vista acustico arricchisce notevolmente la capacità comunicativa del prodotto.

Generalmente l’informazione sonora è usata come:

• icona sonora rappresentativa di un’azione compiuta (es. suono di un click alla pressione di un pulsante)



un click alla pressione di un pulsante)

• messaggio associato ad un particolare oggetto o concetto (es. jingle pubblicitario)

• aiuto alla simulazione di ambienti o oggetti (es. riverberazione di una stanza, annuncio entità fuori scena…)

• messaggio a sé, come il suono di uno strumento musicale

• trigger emozionale, utile a creare il mood e l’atmosfera

Interagire con l’audio

Nella stragrande maggioranza dei casi il suono rappresenta uno degli output di un sistema interattivo… ma può essere usato anche come input!

Tramite microfoni o sensori piezoelettrici possiamo catturare l’audio nell’ambiente per ricavarne informazioni. Le più usate:

• intensità, come livello variabile o come switch on/off



• intensità, come livello variabile o come switch on/off

• pitch, ovvero la composizione frequenziale del segnale (acuto/grave), utilizzabile in modo simile all’intensità

• localizzazione, calcolando ad esempio la differenza di intensità tra due o più microfoni

• analisi vocale, di difficile realizzazione e utilizzata per impartire comandi in linguaggio naturale

Alcuni esempi

REACTABLE

VERSUM

SOUND OF KISS

MUSIC FROM A TREE



Che cos'è il suono?

Variazioni periodiche di pressione atmosferica (onde sonore) generalmente prodotte da un corpo in oscillazione

Frequenze udibili dall'orecchio umano: 20-20000 Hz. Vibrazioni più gravi percepibili a livello corporeo

Soglia dell'udibile 20 �Pa, soglia del dolore 63,2 Pa. Range vastissimo, per misurarlo si usa una scala logaritmica, i decibel di



vastissimo, per misurarlo si usa una scala logaritmica, i decibel di pressione sonora: 20*log(P/P0). Attenzione: vi sono altri tipi di dB!

Il nostro orecchio è più sensibile alle frequenze tipiche del parlato (1-4 kHz) e sempre meno sensibile man mano che ci si avvicina agli estremi dello spettro udibile. Decadimento fisiologico sulle alte frequenze col passare dell'età.

Codifica dell'audio

La più semplice codifica audio è quella analogica: un apparato trasduttore (es. microfono) trasforma la variazione di pressione atmosferica in variazione di tensione all'interno di un circuito. Il segnale ottenuto può essere poi riconvertito in onda sonora da un attuatore (es. altoparlante)

E' possibile digitalizzare il segnale analogico campionandolo ad intervalli di tempo prefissati e quantizzandolo rispetto ad un



intervalli di tempo prefissati e quantizzandolo rispetto ad un numero finito di livelli

Codifica CD audio (44.1 kHz, 16 bit) giustificata dalla psicofisiologia: la frequenza di campionamento è più del doppio della massima udibile (teorema di Nyquist), e i 16 bit tengono il rumore di quantizzazione sotto la soglia dell'udibile (SNR > 90 dB)

Sintesi sonora



Sintesi additiva

Giustificata dal teorema di Fourier: qualsiasi segnale periodico è scomponibile in una somma pesata di segnali sinusoidali

Un sintetizzatore additivo fornisce una serie di oscillatori sinusoidali, regolabili in frequenza e volume, che sono poi sommati assieme per creare una determinata timbrica

Vantaggi:



Vantaggi:

� controllo fine sul timbro

� output prevedibile

Svantaggi:

� timbri complessi richiedono

moltissimi oscillatori

Sintesi sottrattiva

Utilizza l'approccio inverso: un generatore sonoro molto ricco in frequenze passa attraverso un banco di filtri, che ne rimuove le componenti indesiderate

La maggior parte dei sintetizzatori “classici” miscela in maniera additiva due o tre oscillatori con diverse forme d'onda (sinusoidale, a dente di sega, quadrata, rumore bianco ecc.) e poi opera una sottrazione di frequenze tramite uno o due filtri passa-



opera una sottrazione di frequenze tramite uno o due filtri passa-basso o passa-alto

In questo modo è possibile creare timbri piuttosto complessi, a scapito di un minore controllo su ogni singola componente. Suoni poco realistici a causa della loro stazionarietà

Modulazione in ampiezza

Tecnica “presa in prestito” dalle trasmissioni radiofoniche: l'ampiezza di un segnale portante viene regolata da un segnale modulante. Con due segnali f e g di frequenza �1 e �2:

h(t) = [A + B * g(�2t + �2)] * f(�t + �)

Nello spettro compaiono la somma e la differenza tra le



somma e la differenza tra le frequenze nella portante e quelle nella modulante

Se la modulante è unipolare la portante si conserva, altrimenti si parla di ring modulation e la portante scompare

Modulazione in frequenza

Amata per le timbriche particolarissime che si possono generare, odiata per la scarsissima prevedibilità dei risultati! Usata in alcuni synth leggendari come lo Yamaha DX7

Stavolta andiamo ad agire sulla frequenza della portante. Con due segnali f e g di frequenza �1 e �2:

h(t) = A * f[�1t + B * g(�2t + �2) + �1]



h(t) = A * f[�1t + B * g(�2t + �2) + �1]

In questo caso l'arricchimento dello spettro è notevole e come già accennato poco prevedibile

A volte viene denominata impropriamente FM anche la modulazione in fase (è il caso del DX7), poiché equivalente

Altri tipi di sintesi

� Waveshaping – la forma d'onda viene distorta in base ad opportuni polinomi matematici

� Granulare – la forma d'onda viene scomposta in piccolissime porzioni di massimo 50 ms, dette grani, che possono essere poi ricombinate assieme e riprodotte a differenti velocità, fasi e volumi



� A modelli fisici – simulazione della fisica di uno strumento

� PCM – semplice riproduzione a differenti velocità di campioni sonori preregistrati

Analisi sonora



Dominio temporale

Possiamo considerare l'informazione sonora da due punti di vista principale: quello del tempo e quello delle frequenze

Le informazioni relative al dominio temporale sono estratte direttamente dal segnale audio in esame. Alcuni parametri:

● Potenza di picco – il valore assoluto maggiore presente in una sequenza di campioni



sequenza di campioni

● Potenza RMS - la media delle radici dei quadrati dei campioni all'interno di una sequenza

● DC Offset – la media dei campioni all'interno di una sequenza

● Zero crossing – punti in cui il segnale attraversa lo zero

Dominio frequenziale

Per passare al dominio frequenziale dobbiamo applicare una trasformazione al segnale, detta trasformata di Fourier

Il risultato è uno spettro del segnale a valori complessi, la cui parte reale rappresenta il modulo di ogni frequenza e la cui parte immaginaria ne rappresenta la fase

Lo spettro del segnale è utilizzato per diversi scopi, tra cui:



Lo spettro del segnale è utilizzato per diversi scopi, tra cui:

● Equalizzazione – si suddivide lo spettro in porzioni che sono poi amplificate o attenuate in modo da uniformarne la potenza media

● Stima del pitch – picchi nello spettro suggeriscono la presenza di suoni intonati

● Guida alla sintesi – creazione di modelli atti ad emulare il suono in esame con un sintetizzatore

La trasformata di Fourier

Nella sua formulazione continua:

In ambito digitale si utilizza una versione leggermente diversa, adatta alla natura discreta dei sistemi su cui è implementata

Si tratta di un'operazione invertibile:



Si tratta di un'operazione invertibile:

Possiamo dunque passare da dominio temporale a dominio frequenziale e viceversa (quasi) senza perdita di informazione

Elaborazione sonora



Manipolazione audio

Il principale vantaggio di operare con informazione sonora digitale è la possibilità di manipolarla tramite tecniche di elaborazione numerica, ovvero operazioni matematiche effettuate sui valori numerici dei campioni del nostro segnale

Fino a non molti anni fa per elaborare l'audio in tempo reale occorreva costoso hardware dedicato, ora la maggior parte degli algoritmi DSP (Digital Signal Processing) può girare su comuni PC



algoritmi DSP (Digital Signal Processing) può girare su comuni PC

E' possibile lavorare nel dominio temporale agendo su durata e volume della sequenza da manipolare, o nel dominio frequenziale per modificarne il timbro

Elaborazioni comuni

● AMPLIFICAZIONE - aggiustamento del volume

● MIXAGGIO – sovrapposizione (somma) di sue sequenze audio

● FADE - aumento graduale del volume fino al massimo (fade in), diminuzione fino al minimo(fade out) o mix dei due (crossfade)

● RITARDO/ANTICIPO – traslazione temporale dei campioni

TIME STRETCH: aggiunta o rimozione di campioni per accelerare



● TIME STRETCH: aggiunta o rimozione di campioni per accelerare o rallentare il campione. Influenza il contenuto frequenziale!

● EQUALIZZAZIONE: bilanciamento del volume per diverse bande di frequenza

● FILTRAGGIO: rimozione selettiva di alcune frequenze

● PITCH SHIFT: traslazione di tutto lo spettro frequenziale per ottenere suoni più acuti o più gravi

Sistemi

Esistono svariati tipi di “effetti” che è possibile applicare a un segnale audio, spesso realizzati mediante una combinazione di operazioni più semplici come quelle appena descritte

Un semplice riverbero, ad esempio, potrebbe essere realizzato mixando tra loro repliche ritardate di una stessa sequenza, a valori di amplificazione via via decrescenti



In generale, una qualsiasi operazione su un segnale audio viene vista come un sistema, ovvero una sorta di scatola nera che, data una funzione in ingresso (il segnale da elaborare) restituisce un'altra funzione in uscita (il segnale elaborato)

Alcuni tipi di sistemi godono di proprietà estremamente interessanti... ma lo scopriremo alla prossima puntata!

Audio & Interaction - Home di homes.di.unimi.it

Documents

Transcript of Audio & Interaction - Home di homes.di.unimi.it