XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de...

@xebiconfr #xebiconfr

Choisissez votre style avec Docker & Amazon Web ServicesAlexis Kinsella / Gérôme Egron

@xebiconfr


Usage du Cloud chez Xebia

2


Usage de Docker

3


Docker pour :

Le développement

L’usine logicielle

L’infrastructure

Quels usages ?

4


Docker pour le développeur

5


POCer facilement

Éviter les installations manuelles et laborieuses

Clusteriser simplement

Utiliser plusieurs versions d’un outil

6


Fournir des mocks de services développés par d’autres équipes

Mocks

7


Docker pour l’usine logicielle

8

@xebiconfr #xebiconfr 9

Docker Docker-compose

Développeur

git push

ECR


Docker pour l’infrastructure

10


Le mode artisanal

11


Gestion directe des instances

Responsabilités du provisioning & du monitoring

Instances EC2

12


Utiliser l’AMI Amazon Linux officielle 2016.09

ou,

Installer manuellement Docker

2 Solutions

13


Pet vs Cattle

14


Le mode industriel

15


Automatiser les déploiements

Uniformiser les déploiements

Optimiser l’usage des ressources

Pour répondre à des besoins modernes :

16


Utiliser Dockeravec des

Orchestrateurs

Une solution ?

17


1ère solution - Distributions spécialisées

18


2ème solution - Les outils d’orchestration

Nomad KubernetesMesos / Marathon / ZooKeeper

19


3ème solution - Docker for AWS

Basé sur CloudFormation

Nœuds de type manager et worker

S’appuie sur les services AWS pour fonctionner

AMI Customisées

20


Le setup de ces solutions est à votre charge !

Problème

21


Elastic Beanstalk avec Docker

Elastic Container Service

4ème solution - Les services AWS

22


Elastic Beanstalk

23


Historiquement utilisé avec des stacks préconfigurées Node.js ou Java

Succès historique sur nos projets

Utilisation de Jenkins et l’Elastic Beanstalk Command Line Interface (EB CLI) pour construire & déployer les livrables

24


Mono application

25


Mono & Multi container

2 Modes

26


Plusieurs options de déploiement :

● Dockerfile ● Dockerrun.aws.json● Un Bundle de déploiement

Mono Container

27


Authentification

Référence de l’image à déployer

Configuration complémentaire:

● Ports● Volumes● Logging

Dockerrun.aws.json

28


{ "AWSEBDockerrunVersion": "1", "Image": { "Name": "janedoe/image", "Update": "true" }, "Ports": [ { "ContainerPort": "1234" } ], "Volumes": [ { "HostDirectory": "/var/app/mydb", "ContainerDirectory": "/etc/mysql" } ], "Logging": "/var/log/nginx"}

Dockerrun.aws.json

29


Supporte le déploiement d’applications multi-container

Utilise Elastic Container Service

Se charge de la gestion du cluster ECS, des définitions de tâches et des exécutions

Multi Container

30


app1.elasticbeanstalk.com:80

app2.elasticbeanstalk.com:80Instance 1 Instance 2

80

9000

Auto Scaling Group / ECS Cluster

Elastic Beanstalk Environment

Task 1-1 Task 1-2

Container 1 Container 2

Container 3


Container 3

31


Le format v2 supporte des instances multi-containers

Les images doivent être pré-construites

Dockerrun.aws.json v2

32


AMI optimisée pour ECS

Agent ECS pré-installé

Multi Container

33


Blue-Green Deployment

Multi Environment Management

Rolling Update

Easy Rollback

Pourquoi utiliser Elastic Beanstalk avec Docker ?

34


Un mot sur CloudFormation

35


Fichiers de configuration au format JSON

Rendre répétable la création de vos infrastructures

Garder les définitions dans un gestionnaire de source

Donner la capacité de tester les déploiements

Pourquoi utiliser CloudFormation ?

36



37


Gérer soi-même un cluster est une tâche complexe

38


Load-Balancing

Auto-Scaling

CloudWatch

Elastic Container Registry

Cloud Formation ...

Intégration avec les services AWS

39


Intégration End-to-End

Stockage sécurisé des images

Accès fiables aux images

Elastic Container Registry

40


Régions AWS & Disponibilité d’ECS

41


Clusters, Task Definitions, Services


42


Pas de Cluster / Orchestrateur à faire fonctionner

Contrôle & Monitoring via des API et la console

Scaling

Avantages

43


C’est avant tout un pool de ressources

Clusters

44


Unités de travail

Regroupent des containers liés

Tournent sur des instances

Tasks

45


Adapté pour les tâches à durée de vie longue

Load balance le trafic entre les instances

Rétablit les instances défaillantes

Services

46


Métriques enregistrées chaque minute pour une durée de 2 semaines

Métriques: CPUReservation, MemoryReservation, CPUUtilization, MemoryUtilization

Dimensions: ClusterName, ServiceName

Possibilité d’envoyer des métriques customisées

Métriques & Cloud Watch

47


CloudFormation pour lier les services entre eux

Route53 avec une zone privée

Outils tiers de service discovery (Consul, Etcd)

Service Discovery

48


TaskTask

TaskTask

TaskTask

TaskTask

Task

TaskTask

Task

Application router, e.g.

nginxRoute 53 private

zone, e.g. example.com

ECS Service

Internal ELB withCNAME, e.g.

api.example.com

Service Discovery avec Route53

49


Scheduler par tâches- Exécute les tâches une unique fois- Lancement de jobs batchés (Jusqu’à 10)- Permet de lancer les jobs en random (RunTask) ou placés (StartTask)

Scheduler de services- Gestion de la santé des tâches (Relance les tâches au besoin)- Scale Up & Scale Down- Availability Zone awareness

Schedulers ECS

50


Support des Elastic Load Balancing

Permet d’associer un port de l’ELB avec un port d’un container (Classic & Dynamic port mapping)

Si un healthcheck de Load Balancer est en erreur, la tâche est killée puis redémarrée

Services ECS

51


Lors de la mise à jour des tâches, il est possible de jouer avec les paramètres de minimumHealthyPercent et maximumPercent pour assurer des déploiements sans coupure

Rolling Update - Jobs à durée de vie longue

52


Rolling Update - Jobs à durée de vie longue (min: 50%, max: 100%)

#ContainerdayFR

Instance 1 Instance 2 Instance 3 Instance 4Step 1

Task 2Task 1 Task 4Task 3




Task 4Task 3Task 2Task 1

53


Rolling Update - Jobs à durée de vie longue (min: 100%, max: 200%)



Instance 5 Instance 6 Instance 7 Instance 8



Instance 5 Instance 6 Instance 7 Instance 8


Instance 1 Instance 2 Instance 3 Instance 4Step 3 Instance 5 Instance 6 Instance 7 Instance 8

Task 8Task 7Task 6Task 5

Intéressant si le nombre d’instances ne peut être réduit54


Définir 2 services

Chaque service est associéà un ELB

Chaque service est associéà une même entrée Route53 avec une policy par poids(Primaire: 100%, Secondaire: 0%)

Switcher les poids pour changer le routage DNS d’un service à l’autre

TaskTask

Task

Route 53 record set

with weighted routing policy

Blue-Green Deployments

TaskTask

Task

55


Elastic Search Cluster


Container 3

ECS Instance

Container 4


Container 3

ECS Instance

Container 4

Gelf

Plugin Logstash

Gestion des logs avec ELK

56



Container 3

ECS Instance

Container 4


Container 3

ECS Instance

Container 4

AWS Log Driver

Gestion des logs CloudWatch Logs

57


Cloud Hybride

58


Direct Connect

VPN

Virtual Private Cloud

Intégrer un DataCenter avec AWS

59


Conclusion

60

@xebiconfr #xebiconfr#ContainerdayFR

EC2

Beanstalk

ECS

Une solution pour chaque besoin

61


Questions

62

XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de...

Technology

Transcript of XebiCon'16 : Choisissez votre style avec Docker & Amazon Web Services Par Alexis Kinsella, CTO de...