Guerino MazzolaGuerino MazzolaU & ETH Zürich U & ETH Zürich guerino@mazzola.ch guerino@mazzola.ch www.encyclospace.orgwww.encyclospace.org

GestesGestes

LLE RAPPORT DES SYMBOLES MUSICAUX ÀE RAPPORT DES SYMBOLES MUSICAUX ÀL‘INTELLIGENCE DES GESTESL‘INTELLIGENCE DES GESTES

Comment réchauffer les gestes surgelés Comment réchauffer les gestes surgelés d‘une partition de Carl Czerny d‘une partition de Carl Czerny

par exemple?par exemple?

GestesGestes

LLE RAPPORT DES SYMBOLES MUSICAUX ÀE RAPPORT DES SYMBOLES MUSICAUX ÀL‘INTELLIGENCE DES GESTESL‘INTELLIGENCE DES GESTES

Comment réchauffer les gestes surgelés Comment réchauffer les gestes surgelés d‘une partition de Carl Czerny d‘une partition de Carl Czerny

par exemple?par exemple?

Cecil TaylorCecil

Taylor

„„Abstraktmotiv“Abstraktmotiv“

http://www.vocame.de/spicker/taylor/ctinh.htmlhttp://www.vocame.de/spicker/taylor/ctinh.html

Kunio KomparuKunio Komparu

The Noh Theater—Principles and PerspectivesThe Noh Theater—Principles and PerspectivesWeatherhill/Tankosha, Tokyo & New York 1983Weatherhill/Tankosha, Tokyo & New York 1983

http://www.artsci.wustl.edu/~rlneblet/nohhttp://www.artsci.wustl.edu/~rlneblet/noh

http://etext.lib.virginia.edu/japanese/noh/index.htmlhttp://etext.lib.virginia.edu/japanese/noh/index.html

http://www.iijnet.or.jp/NOH-KYOGEN/english/english.htmlhttp://www.iijnet.or.jp/NOH-KYOGEN/english/english.html

Chaque pièce nô est une section Chaque pièce nô est une section dans la vie d‘une personne, le dans la vie d‘une personne, le shiteshite..

Le shite a une apparition (démon, etc.)Le shite a une apparition (démon, etc.)et un sujet = un des cinq éléments et un sujet = un des cinq éléments

(feu, eau, bois, terre, métal) (feu, eau, bois, terre, métal)

Le Le wakiwaki est est une espèce de co-su-une espèce de co-su-

jet et personne miroir jet et personne miroir du shite.du shite.

•période muromachi 1336 — 1568période muromachi 1336 — 1568•nôgakunôgaku = = nônô + + kyogenkyogen

= divertissement parfait = divertissement parfait

•musique vocale = musique vocale = utaiutai•musique instrumentale = musique instrumentale = hayashi hayashi (1 flûte + 3 (1 flûte + 3

percussions)percussions)•technique d‘action = technique d‘action = katakata (poses de danse + action) (poses de danse + action)•éléments de danse = éléments de danse = maimai (kata + utai + hayashi) (kata + utai + hayashi)•art décoratif = masques, robes, instrumentsart décoratif = masques, robes, instruments•architecture = scène nôarchitecture = scène nô•temps = mode de productiontemps = mode de production•espace = espace unifié (= scène + publique)espace = espace unifié (= scène + publique)

types de temps et espaces:types de temps et espaces:

•temps condensétemps condensé•glissement de tempsglissement de temps•temps disparaissanttemps disparaissant•temps renversétemps renversé•temps scindétemps scindé

•décalage de l‘espacedécalage de l‘espace•espace oscillantespace oscillant•espace affluant espace affluant •espace dilatant et contractantespace dilatant et contractant•espace qui emmène le publique sur scèneespace qui emmène le publique sur scène

masques:masques:

femmefemme démondémon foufou dieudieu guerrierguerrier

vêtements et vêtements et art décoratif:art décoratif:

guerrierguerrier

dieudieudémondémon femmefemme

unités des fushi dans utaiunités des fushi dans utaifushi ~ neumesfushi ~ neumes

Pourquoi les geste sont-ils dominant dans nô?Pourquoi les geste sont-ils dominant dans nô?

Trois languages d‘expression humaine:Trois languages d‘expression humaine:• vocalvocal• facialfacial• gestuelgestuel

• le facial est impossible à cause des masquesle facial est impossible à cause des masques• le vocal is ambigu en japonais, mauvais pour expression le vocal is ambigu en japonais, mauvais pour expression

de volonté, donc reservé aux évocations lyriquesde volonté, donc reservé aux évocations lyriques

nô est drame de danse, pas d‘opéra ou balletnô est drame de danse, pas d‘opéra ou ballettous les caractères sont choréographiéstous les caractères sont choréographiéstous les mouvements consistent tous les mouvements consistent

d‘unités de mouvement = kata (formes)d‘unités de mouvement = kata (formes)d‘unités de chant = phrase (ligne de 12-syllabes)d‘unités de chant = phrase (ligne de 12-syllabes)d‘unités de musique = unités mélodiques + rythmiquesd‘unités de musique = unités mélodiques + rythmiquesd‘unités d‘espace = za (hiérarchie des lieux!)d‘unités d‘espace = za (hiérarchie des lieux!)

Tout est Tout est

modulaire!

modulaire!

katakata: formes de mouvement: formes de mouvement

Les gestes de nô sont réduits aux unités kata Les gestes de nô sont réduits aux unités kata et rendus symboliques.et rendus symboliques.

Ceci permet une communication plus riche Ceci permet une communication plus riche avec le publique que par les gestes quotidiens.avec le publique que par les gestes quotidiens.

Important pour nous:Important pour nous:

• Shite tisse une texture de fantaisie moyennantShite tisse une texture de fantaisie moyennantdes des courbes.courbes.

• Waki dessine la réalité moyennantWaki dessine la réalité moyennantdes des lignes droiteslignes droites..

Classification desClassification des kata kata

Trois types:Trois types:• Réaliste, e.g., Réaliste, e.g., tenir un livre dans la main,tenir un livre dans la main,

sauter dans une clochesauter dans une cloche• Symbolique, e.g., Symbolique, e.g., pleurer = mener la main aupleurer = mener la main au

visage et retourvisage et retour• Abstrait, e.g., Abstrait, e.g., zigzag = début et fin de zigzag = début et fin de

nombreuses danses nombreuses danses

Trois catégories:Trois catégories:• danse puredanse pure• descriptivedescriptive• dramatiquedramatique

Nô = expression d‘un espace-tempsNô = expression d‘un espace-temps

La sémiotique des gestes est renversée:La sémiotique des gestes est renversée:

Les gestes servent de préférence à l‘expressionLes gestes servent de préférence à l‘expressionde mouvements à l‘intérieur de cet espace-temps,de mouvements à l‘intérieur de cet espace-temps,la sémantique (ordinaire) est de second ordre.la sémantique (ordinaire) est de second ordre.

I

IV

II

VIV

III

VII

structuresstructures

ŸŸ1212

ŸŸ1212

ŸŸ1212

ŸŸ1212

TT44

TT22

TT55.-1.-1 TT1111.-1.-1DD

33 77

22 44

procèsprocès

gestesgestes

ProcèsProcès(limites(limitesglobales de globales de diagrammes)diagrammes)

!!

??

??

StructuresStructures((compositionscompositionsglobales)globales)

GestesGestes(courbes...)(courbes...)

Gestes symboliques??

Gestes symboliques??

√√partitionpartition

HH

EE

hh

ee

√√gestesgestes

WasedaWasedawabot IIwabot II

QuickTime™ and aTIFF (Uncompressed) decompressor

are needed to see this picture.

Ryukoku Ryukoku violin robotviolin robot

Ceslaw Marek:Ceslaw Marek:Lehre des Lehre des

KlavierspielsKlavierspielsAtlantis-VerlagAtlantis-VerlagZürich 1972/77Zürich 1972/77

Folie 2

Folie 2

gamme degamme deDo-majeurDo-majeur

Folie 2

——positionposition

touchetouche

tempstemps 00

11

11

22

2 2 + + 11

t.t.

22

11

1 1 22

hh

ee

ll

événementsévénementssonoressonores

positionposition

touchetouche

tempstemps

gestesgestes

partitionpartition

analyseanalyse

interfaceinterfaceinstrumentaleinstrumentale

√√dégelerdégeler surgeler (MIDI)surgeler (MIDI)

instrumentaliserinstrumentaliserinstrumentaliserinstrumentaliser

gestualisergestualisergestualisergestualiser

√√gestesgestes

√√partitionpartition

hh

eell

HH

EE

LL

positionposition

touchestouches

EE

Partition symboliquePartition symbolique(a) sans annotation (a) sans annotation des doitsdes doits

(b) avec annotation (b) avec annotation des doigtsdes doigts

Dissertation de Stefan Müller (ICMC 2003)Dissertation de Stefan Müller (ICMC 2003)

Courbes gestuellesCourbes gestuellessymboliquessymboliquesindépendantesindépendantespour les doigts pour les doigts 22et et 33

paramètre de courbe tparamètre de courbe tsur l‘axe horizontalesur l‘axe horizontale

√√gestesgestes

√√partitionpartition

HH

EE

LL

hh

eell

positionposition

touchestouches

tempstemps

Do3Do3

DIN8996DIN8996

QuickTime™ and aTIFF (Uncompressed) decompressorare needed to see this picture.

Z Y

Xxx

zz yy

bb55

bb22

dd55

dd22

11(t(t))

66(t(t))

22(t(t))

33(t(t))

44(t(t))

55(t(t))

Une main Une main produit produit = = 112233445566

de 6 courbes gestuelles dans espace-temps (x,y,z;e) du pianode 6 courbes gestuelles dans espace-temps (x,y,z;e) du pianoj=1, 2, ... 5: bouts de doigts,j=1, 2, ... 5: bouts de doigts,j = 6: le carpe, j = 6: le carpe, 6 6 = = rootroot

paramètre t paramètre t séquence de points: séquence de points:

(t) = ((t) = (11(t),...,(t),...,66(t))(t))

deux vecteurs dedeux vecteurs dede base de doigtsde base de doigtsdd22, d, d55

du carpe.du carpe.

e = tempse = temps

Contraintes géométriques: six boîtesContraintes géométriques: six boîtes

La condition de Newton pour doigts ou carpe j estLa condition de Newton pour doigts ou carpe j est

mmjj dd2 2 espaceespacej j /de/de22(t)(t) < K < Kj j

pour tout 0 ≤ t ≤ 1. pour tout 0 ≤ t ≤ 1.

Avons masses mAvons masses mjj et et

Force maximales KForce maximales Kjj

pour doigts/carpe j.pour doigts/carpe j.

Avons masses mAvons masses mjj et et

Force maximales KForce maximales Kjj

pour doigts/carpe j.pour doigts/carpe j.

dd2 2 espaceespace3 3 /de/de22

Utilisent des polynômes cubiques pour coordonnées Utilisent des polynômes cubiques pour coordonnées gestuelles, i.e., 76 variables de coéfficients:gestuelles, i.e., 76 variables de coéfficients:

xxjj(t)(t) = x= xj,3 j,3 tt33 + x + xj,2 j,2 tt22 + x + xj,1 j,1 t + xt + xj,0j,0

yyjj(t)(t) = y= yj,3 j,3 tt33 + y + yj,2 j,2 tt22 + y + yj,1 j,1 t + yt + yj,0j,0

zzjj(t) = z(t) = zj,3 j,3 tt33 + z + zj,2 j,2 tt22 + z + zj,1 j,1 t + zt + zj,0j,0

ee(t) (t) = e= e3 3 tt33 + e + e2 2 tt22 + e + e1 1 t + et + e00

Contraintes géométriques et physiques Contraintes géométriques et physiques inégalités polynomiales: P(t) > 0 pour tout 0 ≤ t ≤ 1.inégalités polynomiales: P(t) > 0 pour tout 0 ≤ t ≤ 1.

Garantie de telles inégalités via Garantie de telles inégalités via chaînes dechaînes de SturmSturm..

Courbe gestuelleCourbe gestuelle(déduite de la (déduite de la courbe) symboliquecourbe) symbolique

Courbe gestuelleCourbe gestuellephysiquephysique

doigts 2, 3: contraintes géométriquesdoigts 2, 3: contraintes géométriques doigts 2, 3: contraintes physiquesdoigts 2, 3: contraintes physiques

Graphique d‘une séquence de courbes gestuelles physiquesGraphique d‘une séquence de courbes gestuelles physiques

QuickTime™ and aTIFF (Uncompressed) decompressor

are needed to see this picture.

doigt 3doigt 3doigt 2doigt 2

Do4Do4

Intégration du Intégration du calcul des calcul des courbes courbes gestuelles dans le gestuelles dans le procès procès d‘animation avec d‘animation avec un modèle de la un modèle de la main humainemain humaine

Interprétation gestuelle de l‘op. 500 de Carl CzernyInterprétation gestuelle de l‘op. 500 de Carl Czerny

Zur Anzeige wird der QuickTime™ Dekompressor „“ benötigt.