08 avril 2016

Retour d’expérience du CNG sur les ECNi tests de mars 2016

Projet ECNi

2

Organisation du CNG prévue pour chaque session d’épreuves

08 avril 2016

Cellule de

supervision et

de coordination

technique

Prestataires

Supervision

fonctionnelle

des épreuves

JURY

CS

3

7%

23%

70%

Suivi des conformités suite aux audits de labélisation

6%

94%

Suivi des conformités en date d'aujourdhui

Point d’avancement sur la labélisation des centres d’épreuves

Pré-labélisation Les 34 centres d’épreuves sont tous pré-labélisés (levée des non-conformités majeures)

Labélisation en vue des ECNi de juin 9 centres d’épreuves sont déjà labélisés, 6 sont en cours de labélisation

5 centres d’épreuves n’ont pas encore répondu : Bordeaux, Nancy, Poitiers, Strasbourg, Tours

08 avril 2016

4

Liste des universités / facultés labellisées

08 avril 2016

Université / Faculté Date du PV Université / Faculté Date du PV

NICE 25 mars 2016

DIJON 25 mars 2016

CAEN 1er avril 2016

LILLE 2 1er avril 2016

MARSEILLE 1er avril 2016

PARIS 6 – UPMC 1er avril 2016

RENNES 1er avril 2016

ROUEN 1er avril 2016

SAINT-ETIENNE 1er avril 2016

5

Problèmes de sécurité identifiés pendants les épreuves de mars 2016

Accès illicites par certains candidats à des images liées aux épreuves S’explique par le caractère prédictible du nom des images transmises par IPOMEN

Ne permet toutefois pas d’accéder en avance aux épreuves (sujets chiffrés)

Les tentatives d’accès illicites sont détectées en temps réel par la supervision applicative, ce qui permet d’identifier le

candidat et de prévenir le centre d’épreuves le cas échéant

Nécessité de rendre non prédictible le nom des images (action en cours)

Accès à des données stockées en cache sur la tablette Certains candidats semblent avoir pu accéder à SIDES ou à des épreuves ECNi avant le démarrage de l’épreuve

Investigations en cours mais semble être lié à la présence de données en « cache » (historique de navigation Safari)

Pas d’impact car cela ne concerne pas les épreuves en cours ou à venir, et les données ne sont pas réellement exploitables

(pas de navigation possible du fait que la session ait expiré)

Hétérogénéité dans la configuration des tablettes Informations remontées comme quoi certains candidats auraient pu accéder à d’autres ressources sur leur tablette que

l’application ECNi (Safari)

Laisse à penser que certaines tablettes n’étaient pas configurées en mode « kiosque » (application unique)

Nécessité de mettre en place un profil iPad type pour « durcir » l’ensemble des tablettes pendants les épreuves (action en

cours)

08 avril 2016

Solution technique mise en œuvre

pour les ECNi

• Architecture réseau mise en place : L3VPN dédié afin d’isoler les flux ECNi + raccordement direct des Datacenters sur le réseau RENATER

• Les 34 centres d’épreuves sont désormais tous inscrits dans le L3VPN-ECNi

• Aucun incident n’a été identifié sur le réseau RENATER durant les ECNi tests de mars

• Le CERT RENATER a actionné des mécanismes de mitigation afin de contrer des attaques. Celles-ci ne ciblaient pas les ECNi.

• A ce jour, 13 accès de secours 4G sont déjà déployés, une dizaine d’autres est en cours de déploiement. Un test unitaire est réalisé systématiquement pour validation du bon fonctionnement. Un test en « conditions réelles » via SIDES sera réalisé avec les universités qui le souhaite

• Trois sites en attente de confirmation pour la solution de secours : Besançon, Paris 11, Reims

08 avril 2016 6

Métrologie réseau

Datacenter

7

Incoming : Flux ECNi Datacenter -> Centres d’épreuves

Outgoing : Flux ECNi Centres d’épreuves -> Datacenter

09 mars

2016

Raccordement du

Datacenter CNG au réseau

RENATER : confirmation

que le dimensionnement

réseau est adapté aux

volumes de données ECNi

échangés (pic d’utilisation :

20 % de la capacité totale)

08 avril 2016

08 mars

2016

Métrologie réseau

d’un centre d’épreuves

8

Incoming : Centre d’épreuves -> Datacenter Outgoing : Datacenter -> Centre d’épreuves

08 mars

2016

09 mars

2016

08 avril 2016

© 2011 – Gfi Informatique

Bilan global

> Le mécanisme de télédistribution fonctionne bien

• Les cas aux limites sont gérés par l’organisation mise en place

> Le mécanisme de démarrage de l’épreuve est satisfaisant

• Environ 95% des démarrage se font automatiquement dans les 20 secondes suivant l’ordre

• Le reste est résolu par un rafraichissement de la page par le candidat

> Composition

• La composition des DCP et des QI est fluide

• Activation de la fonctionnalité d’ordre aléatoire des propositions de réponses

• Une dizaine de type d’anomalies recensées sur l’ensemble de ces épreuves à investiguer

pour analyser des comportements non prévus

• Détection et analyse de micro-coupures réseaux qui peuvent provoquer la nécessité de

recharger la page par le candidat

08 avril 2016

9

© 2011 – Gfi Informatique

Reste à faire pour Juin 2016

> Consolider l’interface de composition

• Quelques aspects d’affichage identifiés à améliorer

• Corriger les quelques anomalies détectées

> Améliorer la sécurité

• Prendre en compte l’audit sécurité de Solucom

• Rendre non prédictible l’accès aux images

> Améliorer

• Fonctionnalités de supervision

• Correction automatique (temps de traitement)

• Fonctionnalités « back-office » diverses

08 avril 2016

10

© 2011 – Gfi Informatique

Focus LCA

08 avril 2016

> Constat

• Epreuve LCA le 09/03/2016 matin : volumétrie des connexions simultanées très élevée et

soudaine (vers 9h45) atteignant la limite de 20 000 connexions simultanées

• Epreuve LCA de réserve le 10/03/2016 matin : phénomène identique par 2 fois en début

d’épreuve (vers 9h05) et en milieu d’épreuve (vers 10h50)

> Explications

• L’épreuve de LCA permet au candidat (en plus de pouvoir répondre à des questions sur le

module de composition) d’annoter / surligner un article

• Le nombre d’annotations est variable tant sur la fréquence d’utilisation que sur la volumétrie

• La fonction de surlignement a été très fortement utilisée durant les épreuves de LCA

11

© 2011 – Gfi Informatique

Focus LCA

08 avril 2016

> Forte activité sur le nombre de requêtes sur le système d’annotation (surlignage) en

vert (article 1) et violet (article 2)

12

© 2011 – Gfi Informatique

Focus LCA

> Identification d’un goulot d’étranglement sur un composant d’infrastructure de

répartition de charge (limitation à 20 000 connexions simultanées)

> Ce composant limitait les entrées sur les autres composants de la plateforme

largement dimensionnés :

> Cette limitation a été atteinte plusieurs fois par la fonction de surlignement. Une fois

la limite atteinte, un phénomène de contention apparait.

08 avril 2016

Trafic des tablettes

Capacité d’absorption

de l’application et de

l’infrastructure

serveurs

Limitation des connexions simultanées

13

© 2011 – Gfi Informatique

Focus LCA

08 avril 2016

> Focus sur l’épreuve de LCA du jeudi 10 mars

• Limitation du nombre de connexions simultanées à 20 000

Ecrêtage

14

Gestion de la capacité serveurs

08 avril 2016

Performances

Serveurs PHP

Profil d’utilisation des serveurs applicatifs pendant les épreuves

de QI et DCP du mardi 8 mars

15

Gestion de la capacité serveurs

08 avril 2016

Performances

Serveur PostgreSQL

Profil d’utilisation du serveur de base de données pendant les

épreuves de QI et DCP du mardi 8 mars

16

Gestion de la capacité serveurs

08 avril 2016

Performances

Serveurs PHP

Profil d’utilisation des serveurs applicatifs pendant les épreuves

de LCA du mercredi 9 mars et du jeudi 10 mars

17

Gestion de la capacité serveurs

08 avril 2016

Performances

Serveur PostgreSQL

Profil d’utilisation du serveur de base de données pendant les

épreuves de LCA du mercredi 9 mars et du jeudi 10 mars

18

Gestion de la capacité serveurs

08 avril 2016

Conclusions :

Les épreuves de QI et de DCP sont conformes en termes de comportement à ce qui a été

constaté au cours des sessions précédentes et au cours des tests de performances réalisés.

Constat sur la LCA : la limite de 20 000 connexions simultanées sur le Load Balancer est

atteinte et provoque une indisponibilité de l’accès à l’application. L’explication de ce

dysfonctionnement (comportement non attendu) pourrait résider a priori dans le nombre

d’articles (2), et dans l’utilisation plus importante qu’estimée des fonctions d’annotations des

étudiants. Les tests de performances menés jusque-là n’avaient rien révéler d’anormal.

Des investigations sont toujours en cours pour expliquer ce nombre de connexions simultanées

très important, et des améliorations ont été réalisées pour porter la limite à 60 000 connexions

simultanées.

19

20

Points positifs • Satisfaction de la part de l'ensemble du personnel d’avoir le même intervenant

• Bon accueil des intervenants S30 par le personnel des facultés

• Valorisation du rôle des techniciens et augmentation des responsabilités

• L’implication de tous les participants

• L’accès à la supervision pour les techniciens

• Le chat interne S30 pour la remontée rapide des anomalies

• Le bon déroulement des épreuves (hors LCA)

• La bonne communication avec les étudiants particulièrement dans les

moments de stress

• Une nette amélioration du système constatée qui a permis de rassurer

l’ensemble des acteurs du projet

Axes d’amélioration • Améliorer la communication en temps réel (blocage du chat CNG et problème de

lenteur)

• Mettre en place un compte à rebours en début et fin d’épreuve

• Instaurer un profil identique sur toutes les tablettes au niveau national

• La visualisation des reports de temps sur la tablette pour éviter les interruptions

• Le suivi des incidents déclarés

8 avril 2016

21

En synthèse : une qualification du système (hors LCA)

08 avril 2016

Modules qualifiés :

Inscriptions / convocations

Transmission des sujets / Validation eBAT

Connexion des centres / Démarrage technique

Connexion des étudiants / Mot de passe chiffré

Composition DCP-QI / Réponses aléatoires

Supervision nationale / locale

Correction automatique / Classement

Module non qualifié à ce jour :

Module LCA permettant l’annotation/surlignement des articles

(il est à noter que la composition fonctionne normalement,

étant de type DCP)

Décision prise le 29 mars de fournir les 2 articles LCA en papier

22

Synthèse des résultats du questionnaire étudiant

08 avril 2016

3440 réponses reçues

Un taux de réponse (sur nombre d’inscrits) de 41%

Merci à tous les étudiants ayant pris le temps de répondre

Un taux de satisfaction global, hors LCA, de 84 %

Principal problème remonté : la LCA

23

Conventions – Etat des lieux

08 avril 2016

A cette date, 32 conventions reçues, dont 21 signées par le CNG

Il nous manque encore 2 conventions :

Brest

Strasbourg

Nous comptons sur un retour désormais rapide

de ces 2 dernières conventions

24

Session de juin : planning prévisionnel

08 avril 2016

Inscriptions candidats (CELINE) : du 31 mai au 14 juin

Livraison application ECNi corrigée V6 : le 13 mai

Tests de performances : du 18 mai au 10 juin

Transmission des sujets par le CS : au plus tard le 27 mai

Validation des sujets et génération e-BAT : entre le 30 mai et le 10 juin

Epreuves : du 20 au 22 juin (secours les 23 et 24 juin)

Correction par le Jury : 27 et 28 juin

Publication des résultats : le 29 juin après-midi

Merci pour votre attention !