Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau FranceEcole délectronique...

Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 2006

Distribution d'horloge, etc

Ecole d'électronique numériqueEcole d'électronique numérique

Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau France Ecole d’électronique numérique in2p3, Roscoff 25 juin - 1 juillet 20062/34

Laboratoire Leprince-RinguetLaboratoire Leprince-Ringuet

http://earth.google.com/

Ecole Polytechnique

LLR : latitude 48°42'44.18"N longitude 2°12'28.18"E


Distribution d'horloge, etc

Ecole d'électronique numériqueEcole d'électronique numérique

Mise en œuvre des désérialiseursà faible latence.

Un cas concret pour CMS :La carte TCC68


Electroniciens : M. Bercher, Y. Geerebaert, C. Jauffret, A. Karar, A. Mathieu, L. ZlatevskiElectroniciens : M. Bercher, Y. Geerebaert, C. Jauffret, A. Karar, A. Mathieu, L. Zlatevski

+ M. Bouchel (LAL)+ M. Bouchel (LAL)

Physiciens : P. Busson, P. PaganiniPhysiciens : P. Busson, P. Paganini

Informaticiens : M. Cerruti, J. GillyInformaticiens : M. Cerruti, J. Gilly

TCC :Trigger Concentrator Card

Électronique hors détecteur (OD)du calorimètre électromagnétique (ECAL)

de l’expérience CMS (CERN)

Carte TCC68Carte TCC68


Une TCC, pour quoi faire ?

Les différentes phases du projet

Où en sommes nous aujourd’hui ?

Et après ?



CMS est l’un des 4

détecteurs présents

sur l’accélérateur

du CERN, le LHC.

Environnement de la carte TCC68Environnement de la carte TCC68


Le détecteur CMS

est composé de plusieurs sous-détecteurs dont :

ECAL, le calorimètre électromagnétique



Supercrystal DataTrigger primitives

APD/VPTPreamp

ADC

Front-end board

Le tonneau d’ECAL est composé de :

– 36 supermodules composés de :

• 68 Supercristaux composés de :

– 25 cristaux

Soit 61200 cristaux ou 1700 supercristaux



1 supermodule en test au

Batiment 867 du CERN




2 supermodules installés

dans le détecteur CMS


Tour de déclanchement

25 cristaux (T

T)

TCC(LLR)

CCS(CERN)

SRP(CEADAPNIA)

DCC(LIP)

TCSTTC

Primitives de déclanchement

@800 Mbits/s

OD

DAQ

@100 kHzL1

Global TRIGGER

RegionalCaloTRIGGER

Classification des tours de déclanchement (TTF)

Indicateurs de lecture sélective (SRF)

SLB (LIP)

Données des cristaux

@100KHz (Xtal Datas)

Trigger Concentrator Card

Synchronisation & Link Board

Clock & Control System

Selective Readout Processor

Data Concentrator Card

Timing, Trigger & Control

Trigger Control System

Déclanchement de premier niveau (L1A)

Auteur : R. Alemany LIP



Réception série : solutions comparéesRéception série : solutions comparées

Composant Récepteur

Avantages:

Faible latence ~ 3 périodes

Inconvénients:

Nombre de composants

Consommation électrique

Coût

Récepteur intégré au FPGA

Avantages:



Coût

Inconvénients:

latence élevée ~ 25 (9) périodes

Auteur : T. Romanteau LLR

16 bits – 40 MHz


Réception série : solutions comparéesRéception série : solutions comparées

Composant Récepteur

Avantages:

Faible latence < 3 périodes

Inconvénients:



Coût

Récepteur intégré au FPGA

Avantages:



Coût

Inconvénients:

latence élevée ~ 25 (9) périodes

Auteur : T. Romanteau LLR

Vue partielle de

Carte TCC68

Vue partielle de

la carte DCC


Les différentes phases du projet TCC68Les différentes phases du projet TCC68

Validation du choix du composant de déserialisation à faible latence :

Agilent

HDMP-1034A

Avec son émetteur HDMP-1032A


Les différentes phases du projet TCC68Les différentes phases du projet TCC68

Validation du choix du composant de déserialisation à faible latence :

Agilent

HDMP-1034A

Avec l’émetteur ASIC du CERN

« GOL »


Composition de la carte TCC68Composition de la carte TCC68

ALTERA

FPGA

for VME

P1

P2

P0Clock

Fanout

1:90

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

// Datas

// Datas

// Datas

// Datas

// Datas

// Datas

Carte VME 9U (2 slots)

68 entrées optique @ 800 Mb/s =un supermodule (68 TT)

9 cartes filles SLB

6 récepteurs optiques 12 voies

72 désérialiseurs faible latence

6 FPGA (957 broches)

1 FPGA avec sérialiseur intégré

1 circuit TTCrx (interface CCS)

Circuits de distribution d’horloge

1 FPGA (VME64x «plug & play»)

Principaux problèmes :

Densité d’interconnexions, consommation électrique (~130W), distribution d’horloge « propre ».

OD

Connector

XILINX

FPGA

Virtex2 pro

Transciver E/O

TTCrx Chip

To DCC

FromCCS

To SRP

68 x 800 Mb/s = 54,4 Gb/s 68 x 9bits / 25ns = 24,48 Gb/s

720 Mb/s @ L1A1,6 Gb/s @ L1A


Composition de la carte TCC24Composition de la carte TCC24

ALTERA

FPGA

for VME

P1

P2

P0Clock

Fanout

1:90

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

AglientHDMP1034A

// Datas

// Datas

Carte VME 6U (2 slots)

24 entrées optique @ 800 Mb/s

3 cartes filles SLB

2 récepteurs optiques 12 voies

24 désérialiseurs faible latence

2 FPGA (957 broches)

Circuits de distribution d’horloge

1 FPGA (interface VME64x)

Analyseur logique


QPLL

24 voies série //

Sorties vers Analyseur logique

TCC24 TCC24 ((TriggerTrigger Concentrator Card 24 channels) Concentrator Card 24 channels)

Interface VME

24 voies série //2xVirtex2 xc2v3000

SLB 1

La TCC24 en chiffres :

Plus de 900 composants

Plus de 4500 connexions

Plus de 4200 vias

– dont ~300 µ-vias


Vue en coupe du circuit imprimé (PCB) de la TCCVue en coupe du circuit imprimé (PCB) de la TCC

Composant BGA 957 pins

µ-via percé au laser (120 µm)

via adapté en impédance (50 ohms)

Lignes différentielles pour signaux rapides (800 Mb/s)

PCB 10 couches

Classe 6 (120µm)

µ-vias laser

Vias adaptés 50

366 x 400 mm

Épaisseur : 2mm

Isolant HTG 180°


PCB à empilement séquentielPCB à empilement séquentiel

Atlantec / ACB

Core percé et métalisé

(1 double face)

Prepreg + µ-viasCoreprepreg + µ-vias




Banc de test TCC24Banc de test TCC24

TCC 24

TCC Tester

GOL Test Board

Fibres optiques

Oscilloscopes numériques rapides

Analyseur logique

Alimentations


Tests de Latence de la TCC24Tests de Latence de la TCC24

GOL NGK Tx

TCC Tester

NGK Rx Agilent FPGA

TCC 24

0.15 c.u.

0.95 c.u.

2.33 c.u.

Master transition (CIMT): b”1100”

Signal serie x”8FB5” et x“8FB5”

16b 4b


GOL NGK Tx

TCC Tester

NGK Rx Agilent FPGA

TCC 24

0.15 c.u.0.95 c.u. 2.33 c.u.

Temps passé dans la TCC 24 + fibre = 3.13 clock unit

Estimation : 2 c.u dans le FPGA + alignementLatence ≤ 6 clock unit

(Cahier des charges : 7 clock unit Max, Ouf…)

≈ 4 m de fibre optique

Tests de Latence de la TCC24Tests de Latence de la TCC24

(1 clock unit = 25 ns)


Tests de la TCC24: BER et diagramme de l’oeil Tests de la TCC24: BER et diagramme de l’oeil

NGK

Agilent

Diagramme del’oeil très ouvert


jitter très faible ≈ 20 ps

cf. Agilent AN1448-1

625 ps

20 ps 20 ps

Tests de la TCC24: BER et diagramme de l’oeil Tests de la TCC24: BER et diagramme de l’oeil

Ici : 625 / 20 = 31



PCB 10 couches

Classe 6 (120µm)

µ-vias laser

Vias adaptés 50

366 x 400 mm

Épaisseur : 2mm

Isolant HTG 180°, low CTE

Coût du prototype :

~20 K€uros

La TCC68 en chiffres :

Plus de 2700 composants

Plus de 13900 connexions

Plus de 14000 vias



PCB 10 couches

Classe 6 (120µm)

µ-vias laser

Vias adaptés 50

366 x 400 mm

Épaisseur : 2mm

Isolant HTG 180°, low CTE

Coût du prototype :

~20 K€uros


NB100LVEP224

Clock fanout

1:24

MC100EPT26

PECL to TTL

1:2

AGILENT HDMP-1034A

x68

x12

x12

TTCrx

External clocks

VIRTEX2

VIRTEX2

XC2VP4

Clk for Rio

x6 + 1 V2pro

AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

MC100EPT26

PECL to TTL

1:2AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

x7

SLB 9x9 (Cf. AN1568/D

onsemi.com)

External clock

Uni to diff

40

80

MC100LVEP111

Clock fanout

1:10Rx_BC0 from CCS

Rx_CLK from CCS

TTCrx CLK

SLB 1

Tx Clock

TTCsig from CCS

x9

differential

unipolar

QPLL

MC100LVEP111Clock fanout

1:10

Distribution d’horloge sur la TCCDistribution d’horloge sur la TCC

1 entrée d’horloge venant de la carte voisine (CCS)

68 + 6 + 1 + 9 circuits à alimenter avec cette horloge

Niveaux logiques différents (LVTTL, LVDS, dLVPECL)

Lignes longues (par rapport à la fréquence effective)


NB100LVEP224

Clock fanout

1:24

MC100EPT26

PECL to TTL

1:2

AGILENT HDMP-1034A

x68

x12

x12

TTCrx

External clocks

VIRTEX2

VIRTEX2

XC2VP4

Clk for Rio

x6 + 1 V2pro

AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

MC100EPT26

PECL to TTL

1:2AGILENT HDMP-1034A

AGILENT HDMP-1034A

AGILENT HDMP-1034A

x7

SLB 9x9 (Cf. AN1568/D

onsemi.com)

External clock

Uni to diff

40

80

MC100LVEP111

Clock fanout

1:10Rx_BC0 from CCS

Rx_CLK from CCS

TTCrx CLK

SLB 1

Tx Clock

TTCsig from CCS

x9

differential

unipolar

QPLL

MC100LVEP111Clock fanout

1:10


1 entrée d’horloge venant de la carte voisine (CCS)

68 + 6 + 1 + 9 circuits à alimenter avec cette horloge

Niveaux logiques différents (LVTTL, LVDS, dLVPECL)

Lignes longues (par rapport à la fréquence effective)

Terminaison : R = 1 Kohms

Terminaison : R = 100 ohms


Carte TCC68, où en sommes nous aujourd’hui ?Carte TCC68, où en sommes nous aujourd’hui ?

Tests effectués au LLR

Ecriture firmware (VHDL)

Ecriture Software (C++,

root, Xdaq, Hal,…)

Intégration au CERN avec

les cartes voisines.

Lancement de la

production de 40 cartes(Les 3 premières sont testées avec succès)

Coût : ~ 10000 € / carte


Et après ?Et après ?

Mai / Juin 2006 : 1 carte TCC pour la validation d’un

supermodule en faisceau test H4 au CERN

De août à octobre 2006 : Test de la production (40 cartes)

Intégration au CERN jusqu’à fin 2006

Correction du code VHDL et ajout de fonctionnalités


Conception d’une carte numérique rapide à l’in2p3Conception d’une carte numérique rapide à l’in2p3

Achat, négoce

Conversiond’énergie puissance

Veilletechnologique

Connaissancedes fabricantsde composants

Numériqueanalogique

mécanique

physiquedes particules

UtilisationLogiciels CAO

SimulationInterprétation

schémaroutage

VERILOGVHDL etc.

Etre mobile

Rédacteurorateur

RecruterTravailleren équipe

Relationsinternationales

testabilité

Banc test

JTAG

intégration

thermique

optique

Electronique

Gestionde projet

Compétences requises

Logiciel de pilotageC, assembleur, etc.…

Savoir s’entourer de spécialistes dans chaque

domaine


Liens & RéferencesLiens & Réferences

« High-Speed Digital Design: A Handbook of Black Magic » by Howard Johnson, Ph.D.

and Martin Graham, Ph. D

« Integrity Issues and Printed Circuit Board Design » by Douglas Brooks

« QPLL home page » : http://proj-qpll.web.cern.ch/proj-qpll/

« Articles on PCB design by D. Brooks» http://www.ultracad.com/article_outline.htm

« CMS home page » : http://cms.cern.ch/

Documents Atlantec / ACB : http://www.atlantec.fr/vf/htm/capa/capa.htm

Réseau des électroniciens : http://web-ast.dsi.cnrs.fr/rdeprd/pck_res_pge_accueil.ini_page

Personnes à contacter au LLR : utilisation RocketIO : Clément Jauffret, Thierry

Romanteau. Conception de cartes rapides : Irakli Mandjavidzé (CEA), moi-même.

voir ici : http://polywww.in2p3.fr/services/llr_annuaire/search.php?lang=fr&groupID=14

Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau FranceEcole délectronique...

Documents

Transcript of Yannick Geerebaert LLR / IN2P3 / CNRS / Ecole Polytechnique Palaiseau FranceEcole délectronique...