Systeme de vision utilisant le flou optique: application a larecherche automatique de defauts d'aspects

Joseph Ciccotelli, Michel Dufaut, Rene Husson, et Jacques Moirez

The possibilities of a hybrid image processor, entitled Net Flou, used for the automatic detection of defectsare presented. In this paper, the new idea is to optimize the Net-Flou system to detect defects with particu-lar spatial frequency characteristics. An application example in detecting visual defects of mechanicalobjects (connecting rods) will be illustrated.

1. Introduction

En d6tection automatique, l'ensemble des operationsde recherche des d6fauts s'effectue actuellement partraitement num6rique d'6l6ments d'image. Ce proced6reste cependant tres cofiteux en temps de traitement.

Dans certains cas, les buts recherch6s par des moyensnum6riques peuvent tre directement obtenus par desmoyens optiques.1- 3

Nous utilisons dans ce sens un systeme opto-6lec-tronique dont nous effectuons la modelisation completedans le but d'optimiser les parametres de r6glage pourune classe donn6e de d6fauts a d6tecter.

II. Description du Systeme

Le systeme comporte un capteur d'image4 et un ma-t6riel informatique pourvu d'un logiciel d'analyse et dereconnaissance de d6fauts (Fig. 1). Cet ensemble estr6alis6 et commercialise par la Societ6 Sopelem.

A. Le capteur d'image

Celui-ci est d6crit Fig. 2. I comporte une sourced'6clairage, une partie optique compos6e d'un objectifformant une image sur un photo-d6tecteur et d'uns6parateur deviant une partie du faisceau lumineux surun deuxieme photod6tecteur plac6 perpendiculairementau premier.

J. Ciccotelli and J. Moirez are with Societe d'Optique, PrecisionElectronique et Mecanique, B.P. 5020, 75960 Paris CEDEX 20,France; the other authors are with Centre de Recherche en Automa-tique de Nancy, B.P. 850, 54011 Nancy CEDEX, France.

Received 25 April 1984.0003-6935/85/060758-05$02.00/0.© 1985 Optical Society of America.

Les photod6tecteurs peuvent 8tre des barrettes oumatrices CCD. Ce systeme est capable de former uneimage nette sur l'un des photod6tecteurs et une imagefloue sur le second par d6focalisation r6glable (voir V.B).Les signaux 6mis par ces senseurs sont pr6sent6s a unamplificateur diff6rentiel pour former un signal dit NetFlou. Cette op6ration permet de s'affranchir d'6v-entuelles variations de luminosite parasites. Le dis-positif fait ressortir les variations brutales d'eclairementdans l'image (accentuation des contours) et 6limine lesvariations lentes (fond). La fonction correspond donca un filtrage passe-haut. Le signal filtr6 Net Flou subitensuite une transformation non lineaire (seuillage)r6duisant l'image a ses seuls contours.

B. Materiel informatique et logiciels

Cette partie du systeme exploite les signaux pro-venant du capteur dans le but d'automatiser la d6tec-tion de d6fauts d'aspect sur des pieces industrielles. Unlogiciel d'analyse5 implante sur calculateur HP 1000 E6tudie les rpartitions statistiques des points imagespour dtecter les alignements ou amas ventuelscaract6ristiques d'une certaine classe de defauts.

Le r6sultat de l'analyse indique le nombre de d6fauts,leur classe et leurs propri6t6s geom6triques (position,longueur, surface .. ).

La compression de l'information produite par lecapteur decrit en II.A facilite consid6rablement letraitement des donnees et rend le systeme compatibleaux cadences demand6es en milieu industriel dans lesproced6s de controle (2 pieces/mn en industrie auto-mobile).

III. Modelisation du Systeme

Le probleme est de determiner le r6glage optimal ducapteur permettant de mieux mettre en 6vidence unsignal connu f(x,y) noy6 dans un champ image b (x,y)(Fig. 3), ceci afin de faciliter l'analyse informatique quenous ne d6taillons pas ici.

758 APPLIED OPTICS / Vol. 24, No. 6 / 15 March 1985

| Traitement

Conversion I

Seuillage

Signalnet

PhotodtecteuL , Signal"NET-FLOU"

Objet Object f parateur ' ..Photodtecteur

Capteur

Fig. 2. Capteur optoelectronique.

Num6risation Interface

Analyse Calculateur

DcisionZI~W Dd~auts | 6sultats

Fig. 1. Synoptique du systeme.

A. Etude du systeme optique

Le systeme optique est compos6 de deux parties:l'une parfaitement mise au point et limitee simplementpar la diffraction forme le signal net; et l'autre soumisea une aberration d'erreur de mise au point forme unsignal flou que nous tudions ci-apres.

1. Effets du defaut de mise au point sur la fonctionde transfert

La F.T.O. H d'un systeme optique est lie lafonction pupille P(x,y) par la relation d'autocerrela-tion6 :

H (f.,fy)

+- /l + 2d, , 7I + df,) p __ dif_,f-~ V 2 ?2j 2

+

r6glage

Fig. 3. Schema du systame.

H4(f)

0,

1 Faibles dfocalisationsw = 0.2X

5-

0.5 X

fort Wf o rtca '1 f0,5 1 1,5 2

Fig. 4. F.T.O. du systeme defocalise.

_ hdfy) dSd

I (1)

avec X = longueur d'onde,di = distance pupille de sortie-plan image, et

fA fy = frequences spatiales.Le d6faut de mise au point s'integre dans la fonction

pupillaire7 qui devient:

P(xy) = expj(2r/X)]w(X 2+ y

2) A l'int6rieur de la pupille, (2)

tO en dehors de la pupille,

avec w = cart minimal de chemin optique caracterisantl'erreur de mise au point. En introduisant ce dfaut demise au point dans (1), la F.T.O. s'ecrit d'apres Hop-kins8 :

Les courbes de la Fig. 4 representent l'allure de la F.T.O.Elles font apparaitre une att6nuation des composanteshautes frequences de l'image.

2. Approximation de la F. T. O. d6focaliseLa complexit6 de l'expression theorique de la F.T.O.

obtenue en (3) nous conduit a adopter une representa-tion simplifiee de celle-ci. Nous choisissons de la rep-r6senter par un filtre du type passe-bas d6fini par:

4 -Cos r sin~n/H(f) =-cos- fI WJi(8) + Z (-l)nl2 [J2 n-1 (A) -J2n+l(t)]

-- sin /1,uf) (-1) 2n + 1 1J2n(Y)-J2n+2(9)inA ~2 n= n0+ (3)

avec u= [(47r)/X]wf,= arccos(f/2),

f = [X/(n sina)Jv'727 f72 (n sina = caract6r-istiques de 1Ioptique,

Jn = fonction de Bessel de re espece d'ordren.

15 March 1985 / Vol. 24, No. 6 / APPLIED OPTICS 759

= -

y)

1IGf1=1 + (f/fh)2

n (4)

avec f = frequence spatiale le long d'un rayon,fc = frequence de coupure, etn = ordre du filtre.

La fr6quence de coupure f, constitue le parametre der6glage du systeme correspondant a une d6focalisationdonn6e. Pour la gamme exp6rimentale de r6glage ded6focalisation du systeme (O < w < 0.5X) la meilleureapproximation apparait pour n = 1 (Fig. 5). Pour n >2 (Fig. 6), l'approximation n'est valable que pour lesfortes d6focalisations.

B. Modelisation du champ image

Le filtre d6fini en (4) poss6dant une symetrie circu-laire, la connaissance des modeles de champ imageb(x,y) et de d6fauts f (x,y) suivant la direction x suffitpour la recherche de la fr6quence optimale d6crite enIV. Le champ image est assimil6 a un processus sto-chastique dont nous recherchons les caract6ristiquesenerg6tiques: moyenne m, variance o2, fonction d'au-tocorellation 0(r) necessaires a la mod6lisation.

1. Estimation de la fonction de correlationLe support de l'image 6tant fini de dimension N X N,

la fonction d'autocorrelation 0(r) est obtenue par l'es-timateur k(1) tel que9 :

k f)

0.5 7

fC=0.- f

0. 1 .__T 2 w f

Fig. 5. Comparaison de la F.T.O. au filtre I G(f) 12 avec n = 1.

'(f)

0.51.

0

' \

N

1.5 2f

Fig. 6. Comparaison de la F.T.O. au filtre I G(f) 12 avec n = 2.

1 N-1-1 N-1-m = Nj Zn b(n,n')b(n + 1, n'),

N(N - 1) n=0 n'='O(5)

avec 0(0) = o.2 + m2. Cet estimateur est non biais6:E[M(1)] = 0(1), (6)

et consistant:

lim var[¢(1)] = 0.N--

(7)

Les chantillons tant centres, nous avons: = 0, d'ou:0(0) =

2 . La Fig. 8 repr6sente la fonction (1) de l'i-mage Fig. 7.

2. IdentificationLes estimations M(1) sont identifies par m6thode des

moindres carr6s au modele 0(r) d6fini par1 0

(r) = U2 exp-alfI. (8)

La Fig. 8 donne les resultats de l'identification dans lecas de l'image Fig. 7. La densit6 spectrale de puissancedu champ image s'ecrit:

b (() = F [,0 (r) =2au 24~bW) F[b(T] =a2 + W2

Fig. 7. Partie de piece mecanique (bielle moteur) dfectueuse (fis-sure au centre).

Fig. 8. Fonction d'autocorr6lation de l'image Fig. 7: M(1), estima-teur; ¢b(T), fonction identifiee.

(9)

avec w = pulsation spatiale,a = coefficient de correlation, et

(72 = variance.

C. Modelisation du defaut

Le signal f associ6 au d6faut correspond a une varia-tion brutale de la distribution d'eclairement. Unemod6lisation de type impulsionnelle repr6sent6e Fig.9 est adopt6e pour le d6faut. La fonction f (x) s'6critalors:

f(x) = I exp(-ax)r(x),

avec I = I'a,I' = intensit6 maxi-

male,1/a = largeur, et

r(x) = fonction 6chelon.Sa densit6 spectrale d'6nergie 4Žf s'exprime par

I2tf ( ) = + 2

(10)

(11)

760 APPLIED OPTICS / Vol. 24, No. 6 / 15 March 1985

Ds; -| - - b

1

-% Ie -axr(x) r(x

N -

N

) : fonction chelon

b r --------- 1net f + I O

L- i

Fig. 10. Schema fonctionnel.x

Fig. 9. Modble de defaut.

IV. Optimisation du Systeme

Le systeme peut tre represente par le diagrammesuivant (Fig. 10.)G (jc) = fonction de transfert de la voie floue telleque:

IGUw12 = 1 + (W/IW )2

H(jw) = fonction de transfert globale telle que:

IH(jw)12 = (WIWc)2

La structure du systeme 6tant totalement imposee,nous proc6dons a l'optimisation du parametre c quiregle l'erreur de mise au point par minimisation d'uncritere quadratique.

Le principe de minimisation est donn6 par la Fig. 11.L'expression de l'erreur c(co) s'erit:

E(W)

Fig. 11. Principe d'optimisation.

(12)

(13)

e(w) = G(jw)F(w) - H(jw)B(w). (14)

Les grandeurs d'entr6es et de sorties representees parleur densit6 spectrale donnent:

CM = IG iw)12.k,(&o) + IH(iw)1

2.4 b(W,).

Nous proc6dons la minimisation du criterevant"l:

~2=IJ'rf -Pw)dw

d'ou:?2 1 , + a(I2 a + 2ca 2) + 2aa2cy2

2a W+ (a+a)+aa

(15)

sUl-

(16)

(17)

( 2 min est obtenu pour

WCO = a - a vec I > 0, w > 0. (18)

La pulsation de coupure CO (parametre de rglage dufiltre) obtenue en (18) correspond au meilleur rglagepour d6tecter un dfaut (I,a) connu dans une image((72 ,a) donn6e.

V. Resultats Experimentaux

La Fig. 7 visualise une piece m6canique comportantun dfaut (fissure) rv616 par proc6d6 magn6tosco-pique.

A. Parametres de l'image

L'image est 6chantillonnee sur 256 X 256 6l6ments etquantifi6e sur 64 niveaux de gris (1 ng = 1 unite d'in-tensit6). L'analyse de cette image fournit les param-

(a)

(b)

(C)

Fig. 12. Filtrage et seuillage de l'image: (a) reglage infrieur A We,,;(b) reglage optimal; (c) reglage sup6rieur A w,,.

etres suivants: a = 0.05 pel-1 et o2 = 13.4 ng2 -pel-1.Les parametres du d6faut sont: I' = 4 ng; a = 1 pel-'.La pulsation optimale permettant la meilleure d6tectionest calcul6e d'apres (18) d'ou: wco = 0.34 rd/pel.

B. Rglage du systeme et rsultats

La Fig. 12 repr6sente l'image filtree pour trois rgla-ges diff6rents de w, avec un seuillage invariant: w =0.24, 0.34, 1.05 rd/pel. On constate que pour c = CO[Fig. 12(b)], l'information utile correspondant au dfautest pr6pond6rante dans l'image, en revanche, pour cc< oco [Fig. 12(a)] l'information restituee est sura-

15 March 1985 / Vol. 24, No. 6 / APPLIED OPTICS 761

f(x)

I

l - - - W

bondante et g~nante pour la prise de d6cision ult6rieure,pour wC, > co,, [Fig. 12(c)] tout le d6faut tend a dispar-aitre. Le r6glage de d6focalisation du capteur (objectifa ouverture num6rique F15) correspondant a c optimalest obtenu en deplagant le plan image de 2.4 mm parrapport au plan de meilleure mise au point.

VI. Conclusion

Le champ d'application du systbme pr6sent6 se situedans le domaine tres vaste du contr6le de d6fauts d'as-pect. De nombreux essais de dtection de dfautsd'usinage tels que chocs, rayures, coulure de peinture,etc. se sont r6v6l6s concluants.

Dans cette tude, seule la partie filtrage optimal(accentuation du dfaut) a ete pr6sent6e. Nous pro-cedons actuellement a l'optimisation du seuillage (d6-tection du dfaut) visant l'adaptativit6 de l'ensembleaux variations d'eclairage et aux caract6ristiques desd6fauts.

References1. J. Jahns and A. W. Lohmann, "Opto Electronical Bandpass Fil-

tering Applied to Incoherent Image Subtraction," Opt. Commun.46, 85 (15 June 1983).

2. T. Sato, K. Sasaki, and R. Yamamoto, "Image Processing SystemUsing Incoherent Image Feedback," Appl. Opt. 17, 717 (1978).

3. H. Maitre and J. Fleuret, "Contour Detection: Numerical, Op-tical and Hybrid Methods," in Proceedings, Eleventh Interna-tional Commission for Optics Conference, Madrid (publisher,location, 1978), pp. 383-386.

4. J. Moirez and B. Grandjacques, "Capteur electronique de saisied'images," Brevet Sopelem No. 83-1168 (1983).

5. B. Grandjacques, "Analyse d'images industrielles," Rev. Prat.Controle Industriel 72, 53 (juin 1982).

6. J. W. Goodman, Introduction a l'optique de Fourier et a l'holo-graphie (Masson et Cie, Paris, 1972), Chap. 6; Introduction toFourier Optics (McGraw-Hill, New York, 1968).

7. M. Born and E. Wolf, Principles of Optics (Pergamon, New York,1965).

8. H. H. Hopkins, Proc. R. Soc. London Ser. A 231, 91 (1955).9. M. Kunt, "Traitement numerique des signaux," in Traite d'E-

lectricite, J. Neirynck (Dunod, Paris, 1981), Chap. 3.10. W. K. Pratt, Digital Image Processing (Wiley, New York, 1978),

pp. 18-22.11. B. Levine, Fondements theoriques de la radiotechnique statis-

tique (Mir, Moscow, 1973), Tome 2, pp. 233-239.

Patter continued from page 736MIRROR SURFACE

Lightweight metal mirrorsFlat mirrors fabricated by a new process are less than half the weight of

previous constructions. The new design is a nearly symmetrical version of theegg crate structure that is often used when fabricating large, lightweight re-flectors.

A mirror of the new type (see Fig. 7) is made from two plates of beryllium.Pockets are machined into each plate, leaving a face sheet on the nonmachinedsurface and thin walls between the pockets. About 85% of the material is re-moved from the original solid plates. (Beryllium is toxic; designers may preferto consider the use of other materials wherever weight is less critical.)

Figure 8 shows a cross section of a mirror of the new type. The two machinedhalves are brazed together in an oven with 1100 aluminum alloy as the brazingmaterial. Since the brazing surfaces are located at the centroid of the crosssection, differential thermal expansion (bimetallic effect) between the structuraland brazing materials will cause little bending if any, and the mirror will remainflat over a range of temperatures. Some care must be taken to prevent thebrazing alloy from flowing onto the back of the face sheet or the bimetallic effectwill slightly distort the mirror when it is taken to different temperatures. Thisdistortion can manifest itself as a deviation of the overall mirror surface fromflatness or as a print-through of the wall pattern that gives a quilted surface.

Fig. 7. Lightweight flat mirrors are fabricated by machining pocketsin two plates of beryllium, and then brazing the machined halves to-gether. The mirror shown is less than half the weight of the same

mirror made by the previous design.

Fig. 8. Mirror is fabricated from two machined halves, using thewell-known eggcrate configuration. The brazing surface is at the

middle to minimize the bimetallic effect.

To produce an adequate braze fillet, a ledge is machined into the top of thewall in the back half of the mirror. Alternatively, a splitter plate (fabricatedby photoetching) can be used in place of the machined ledge; this results in twiceas many braze joints (one on each side of the splitter plate).

The bimetallic effect is further minimized by thermal cycling to relieve theresidual brazing stresses. In addition, care must be taken to account for stressrelief caused by mirror polishing and thermal distortions caused by thermalcycling before and after polishing.

Flat mirrors of the new type were made with a thickness of 4 cm, ellipticalprofile of 53 by 41 cm, and a mass of 2 kg. The same mirrors made by the pre-vious design would have mass of 5.2 kg.

This work was done by E. Gossett and P. Winslow of Hughes Aircraft Co. forGoddard Space Flight Center. Refer to GSC-12743

762 APPLIED OPTICS / Vol. 24, No. 6 / 15 March 1985