Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes...

61
1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau des scientifiques évangéliques, Suisse Romande 2.6.2018

Transcript of Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes...

Page 1: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

1

Imiter la nature et comprendre les

organismes au travers des robots

Auke Jan Ijspeert

Le meilleur des mondes robotiques

Réseau des scientifiques évangéliques, Suisse Romande

2.6.2018

Page 2: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

2

Je me présente

• Né à Genève

• Parents hollandais

• Etudes de physique à l’EPFL, 1995

• Doctorat en Intelligence Artificielle à l’Université

d’Edimbourg, 1999

• Postes de recherche à l’EPFL et à University of Southern

California

• Professeur à l’EPFL depuis 2002, Laboratoire de

Biorobotique

• Chrétien

Page 3: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

3

Robotics applications

Manufacturing Automated warehouses

Military applicationsHouse holds

https://store.irobot.com/

https://www.actemium.com/

http://www.military.com

https://spectrum.ieee.org

Page 4: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

4

Robotics applications

Field/space robotics Mobility

EntertainmentSurgery / rehabilitation

www.davincisurgery.com

https://www.nasa.gov

http://wowwee.com/robosapien-x

http://stanford.edu/

Page 5: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

5

Biorobotics

=

Biologically-inspired

or

Biomimetic robotics

Page 6: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

6

Legged robots

BigDog,

Boston Dynamics, USAAsimo, Honda, Japan

StickyBot, Stanford, USA

RHex robot, USA

Aibo, SONY, Japan

ANYmal

ETHZ, Switzerland

Page 7: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

7

Impressive recent results

from Boston Dynamics

Page 8: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

8

Impressive recent results

from Boston Dynamics

Page 9: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

9

Flying robots

Ornithopter robot, U. Berkeley, USA

Hummingbird,

AeroVironment, USA

Micro aerial vehicle, Harvard Univ., USA SmartBird, Festo, Germany

Feathered Drone, LIS, EPFL

Page 10: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

10

Swimming and crawling robots

ACM robot, Tokyo Inst of

Tech Japan

Penguin robot, Festo,

Germany

Lamprey robot, U. of Northeastern, USA

Lamprey robot, SSSA, Italy

Snake Robot, CMU, USA

Manta Ray

EvoLogics, Germany

G6 Fish Robot,

University of Essex, UK

Page 11: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

11

Biorobotics

Ijspeert 2014: Biorobotics: Using

robots to emulate and investigate agile

locomotion, Science 346, 196, 2014

Insp

irati

on

Scie

nti

fic t

oo

l

Neuroscience

Biomechanics

Hydrodynamics

Field robotics

Search and rescue

Transport

Agriculture

Environmental monitoring

Robotics

Biology

Page 12: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

12

Why is locomotion important?

Engineering:

Having robots that move better in

unstructured and unknown

environments is absolutely

necessary for multiple applications

Science:

Moving is fundamental to animals.

Society:

Having motor deficits is one of the

worst handicaps

Page 13: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

13

The beauty of animal movement control

Page 14: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

14

Four essential ingredients

in animal motor control

Spinal cord

Reflexes

Central pattern

generators

Musculoskeletal system, “Clever” mechanics

Descending

modulation

Page 15: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

15

Modeling spinal cord circuits

Descending modulation

Central pattern generators

ReflexesRes

pec

tive

Rol

ein

mot

or c

ontro

l

lamprey salamander cat human

Musculo-skeletal system

Page 16: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

16

Modeling spinal cord circuitsR

esp

ectiv

e R

ole

in m

otor

con

trol

lamprey salamander cat human

Page 17: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

17

Bimodal locomotion (cartoon)

Pleurodeles Waltl

Swimming:

•Traveling wave in axial muscles

•Wavelength ≈ body length

•Limb retractors are tonic

•High frequencies

Walking:

• Standing wave

• Limb retractors/protactors are

phasic

• Low frequencies

Page 18: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

18

A mathematical model to study the

transition from swimming to walking

[Ijspeert et al, Science, March 2007].

B BBody CPGL L

Forelimb

CPG

Hindlimb

CPG

System of coupled oscillatorsGait transition due to an increase

of the descending drive

Walking Swimming

Page 19: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

19

Gait transition in the salamander

by modulating descending drive

Ijspeert et al, Science, March 2007.

Crespi et al, IEEE TRO, 2013

J.M. Cabelguen

U. of Bordeaux

Page 20: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

20

Modeling spinal cord circuitsR

esp

ectiv

e R

ole

in m

otor

con

trol

lamprey salamander cat human

Page 21: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

21

Four essential ingredients

in animal motor control

Spinal cord

Reflexes

Central pattern

generators

Musculoskeletal system, “Clever” mechanics

Descending

modulation

Page 22: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

22

The bridge: Body dynamics

Sensory feedback Central pattern generators

Musculoskeletal system

Page 23: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

23

The bridge: Body dynamics

Passive walker

Collins, S. H., Wisse, M., Ruina, A. (2001)

International Journal of Robotics Research,

Vol. 20, No. 2, Pages 607-615

Dead trout swimming

Liao, J. C. (2004).

Journal of Experimental Biology,

Vol. 207(20), 3495-3506.

MIT tow tank, Lauder Lab Harvard

http://web.mit.edu/towtank/www/

Sensory feedback Central pattern generators

Musculoskeletal system

Page 24: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

24

Scientific question:

What are the key principles

underlying the agility of cats’

locomotion?

Hypothesis:

self-stabilizing property of

the musculoskeletal

system

Key properties:

1) light-weight

2) Viscoelastic

3) segmented leg with a

pantograph structure

~ Pantograph

structure

Cheetah-Cub: a compliant quadruped robot

Page 25: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

25

Robustness and Self-stabilization

Page 26: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

26

Robustness and Self-stabilization

Page 27: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

27

Cheetah-Cub swimming!!

Work of MSc student Andrea Andreoli, together with Peter Eckert, Behzad Bayat

Page 28: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

28

Key transition

from amphibians/reptiles to mammals

studyblue.com

Sprawling posture Upright posture

Large support polygon

Low center of mass

Small support polygon

High center of mass

Salamander Mammal

Page 29: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

29

Modeling spinal cord circuitsR

esp

ectiv

e R

ole

in m

otor

con

trol

lamprey salamander cat human

Page 30: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

30

Dzeladini et al, The contribution of a central pattern generator in a reflex-based neuromuscular model, Frontiers in Human Neuroscience, Vol 8, 371, 2014

Neuromechanical model of human locomotion

Page 31: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

31

3D CPG-based controller

Page 32: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

32

Link to neuroprosthetics

Descending

modulation

Central pattern

generators

Musculoskeletal

system

Reflexes

Spinal cord

Page 33: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

33

Zurich, October 2016

Exoskeletons: ReWalk (ReWalk Robotics, Israel)Twiice (EPFL), Pilot: Silke Pan

Page 34: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

34

Ekso Bionics eLEGS

HAL CyberdineReWalk REX

Lower limb exoskeleletons

TWIICE

Page 35: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

35

Torques

Joint angle states,Ground contacts

Controllers for exoskeletons

Symbitron project: U. Twente, TU Delft, Imperial College, Santa Lucia Fondation, Össur, EPFL

Simulated neuro-mechanicalcontroller

Wearableexoskeleton

Page 36: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

36

Surprisingly fast gaits:

Speed modulation 0.8 m/s to 1.1 m/s

S08

Spinal-cord injured (SCI) subjects with complete lesion and

no motor function of legs

Wu et al, WeRob 2016

Page 37: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

37

Robustness against

swing foot perturbations

S08 Wu et al, WeRob 2016

Page 38: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

38

Tests with the wearable exoskeleton

Page 39: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

39

Beyond biology

Robots for biology

Robots for assistance

Field robots

Pollution

monitoring

Search and

Rescue

Page 40: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

40

Envirobot

Modular robot for pollution monitoring:

• Dynamic mapping of pollutants

• Gradient-climbing

Page 41: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

41

Pollution monitoring, Envirobot

Interesting properties:

• Portable

• Reconfigurable

• Low drag swimming

• Not dangerous

• Low risk of getting stuck

Page 42: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

42

42

Robots for search and rescue

Page 43: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

43

Tohoku, Japan, March 2011

Page 44: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

44

Amphibious robots for rescue

• Multimodal locomotion

(swimming/crawling/

walking)

• Ability to move through

small holes/pipes

• Stable crouched

posture

• Portable

• Reconfigurable

Page 45: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

45

K-Rock2

Page 46: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

46

Locomotion in pipes with K-Rock2

Horvat et al, IROS 2017

Page 47: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

47

Hardware development for amphibious robots

Page 48: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

48

Robots for filming wild lifeLatest robot: K-Rock Robot developed for «Spy in the Wild» BBC 2017

T. Horvat

K. Melo

Page 49: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

49

Robotics

applications

Scientific

applications

Edutainment applications

Inspection

Monitoring

Search and rescue

Transport

Pollution monitoring

Agriculture

Neuroscience

Biomechanics

Sport science

Ethology

Neuroprosthetics

Paleontology

Toys

Animatronics

Artificial pets

Filming wild life

Museums

Recreating extinct animals

Biorobotics

Page 50: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

50

Quelques réflexions

Page 51: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

51

Emerveillement et humilité

Page 52: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

52

Emerveillement et humilité

Page 53: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

53

Evolution et Création

• L’évolution est un magnifique outil de création

• Genèse 1: 20-21:

• «Dieu dit: Que les eaux produisent en abondance des

animaux vivants, et que des oiseaux volent sur la terre

vers l'étendue du ciel.

• Dieu créa les grands poissons et tous les animaux vivants

qui se meuvent, et que les eaux produisirent en

abondance selon leur espèce; il créa aussi tout oiseau ailé

selon son espèce. Dieu vit que cela était bon.»

Page 54: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

54

Evolution et Création

• L’évolution est un magnifique outil de création

Page 55: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

55

Les robots augmenteront-ils le nombre de chômeurs ?

Page 56: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

56

Les robots feront-ils la guerre?

Page 57: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

57

Qui sera juridiquement responsable en

cas d’accident?

Riken ROBEAR

Page 58: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

58

Est-ce que les robots vont changer qui nous sommes?

Wall-E, Pixar

Page 59: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

59

La robotique et la religion

International Journal of Social Robotics special issue on

"Religion in Robotics". Call for papers, April 2018

Aspects of interest involving religion and robotics include, but are not

limited to the following:

* Robots for religious use

* Impact of religion on the history of robotics

* Impact of religion on culturally-aware robotics

* Impact of religion on the Uncanny Valley

* Religion-friendly aesthetic design of robots

* Religion and science

* Religion and AI

* Ethics in robotics

* Anthropological insights on humanoids

* Transhumanism

Page 60: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

60

People at BIOROB

A. Guignard

A. Crespi

ALUMNI

A. Ijspeert

S. Fiaux

A. TuleuR. ThandiackalF. DzeladiniT. Horvat P. Eckert

B. Bayat K. Melo

N. van der NootS. Faraji F. Longchamp

J. Lanini

O. Michel, M. Asadpour, J. Buchli, L. Righetti, Y. Bourquin, P.A. Mudry, M. Taric, S.

Dégallier, M. Porez, , R.Ronsse , A. Gams, R. Moeckel, K. Karakasiliotis, S. Pouya, A.

Sproewitz, J. Knuesel, A. Bicanski, Y. morel, J.v.d. Kieboom, D. Renjewski, T. Petric, L.

Colasanto, S.Bonardi, M. Ajallooeian, M. Vespignani

H. Razavi P. MüllhauptA. Wu

S. Hauser M. Mutlu

S. Lipfert

R. Baud

S. Ramalingasetty

Page 61: Imiter la nature et comprendre les organismes au …1 Imiter la nature et comprendre les organismes au travers des robots Auke Jan Ijspeert Le meilleur des mondes robotiques Réseau

61

More info: http://biorob.epfl.ch

Financial support:

Swiss National Science Foundation, NCCR in robotics, US National Science Foundation,

European Commission (IST, 6th and 7th Frameworks), CTI, French « Ministère de la

Recherche et de la Technologie », European Space Agency, EPFL (FIFO + Equipment),

Microsoft Research Cambridge, SystemsX

The human-robot race!!