La fréquence est ses effets

Types et occurrences

Deux hommes parurent.

L'un venait de la Bastille, l'autre du Jardin des Plantes. Le plus grand, vêtu de toile, marchait le chapeau en arrière, le gilet déboutonné et sa cravate à la main. Le plus petit, dont le corps disparaissait dans une redingote marron, baissait la tête sous une casquette à visière pointue.

Quand ils furent arrivés au milieu du boulevard, ils s'assirent à la même minute, sur le même banc.

Le type le et deux occurrences du type

D’autres exemples ?

Le lemme et ses formes

Comment s'étaient-ils rencontrés? Par hasard, comme tout le monde.

Comment s'appelaient-ils? Que vous importe? D'où venaient-ils? Du lieu le plus prochain. Où allaient-ils? Est-ce que l'on sait où l'on va? Que disaient-ils? Le maître ne disait rien; et Jacques disait que son capitaine disait que tout ce qui nous arrive de bien et de mal ici-bas était écrit là-haut.

Le lemme ALLER et deux formes du lemme

D’autres exemples ?

Quelques notions de base sur la fréquence

Échantillon

Population

Le corpus : un échantillon basé sur les mêmes conditions de production

La fréquence absolue et la fréquence relative

Corpus A

1000 mots

Fréquence de table = 45

Corpus B

100 mots

Fréquence de table = 5

Dans lequel des deux corpus le mot table est-il le plus fréquent ?

Un point de comparaison: les pièces de monnaie

- prendre la pièce

- faire 10 essais de pile ou face

- compter le nombre de piles

Nombre de piles sur 10 essais

a b c d e f g h i j k l m n o p ...

10987654321

Convergence sur une valeur ?

Les mêmes données classées par fréquence descendante

g d l m a e ...

10987654321

Quelle est la correspondance entreun essai et l’essai qui suit ?

Premier essai: pileDeuxième essai: faceTroisième essai: ?

Calculez le nombre de fois que pilesuit face et le nombre de fois que face suit pile sur 20 essais.

Un générateur linguistique basé sur le hasard

1 = le 2 = livre 3 = bleu 4 = est 5 = sur6 = la

7 = table

La relation entre un mot et le mot suivant ?

Au niveau des mots: les coocurrences

Les cooccurrences lexicales: l’exemple de faut (1900-1999)

Exemple tiré de la banque ARTFL

À faire: un générateur linguistique basé sur les transitions

sur ________

_____ très ________

______ à coup

La fréquence des symboles orthographiques en français

À faire :

- compter les occurrences de chaque lettre

- trier par la fréquence

Le 15 septembre 1840, vers six heures du matin, la Ville-de-Montereau, près de partir, fumait à gros tourbillons devant le quai Saint-Bernard.

Des gens arrivaient hors d'haleine ; des barriques, des câbles, des corbeilles de linge gênaient la circulation ; les matelots ne répondaient à personne ; on se heurtait ; les colis montaient entre les deux tambours, et le tapage s'absorbait dans le bruissement de la vapeur, qui, s'échappant par des plaques de tôle, enveloppait tout d'une nuée blanchâtre, tandis que la cloche, à l'avant, tintait sans discontinuer.

Enfin le navire partit ; et les deux berges, peuplées de magasins, de chantiers et d'usines, filèrent comme deux larges rubans que l'on déroule.

Un jeune homme de dix-huit ans, à longs cheveux et qui tenait un album sous son bras, restait auprès du gouvernail, immobile. A travers le brouillard, il contemplait des clochers, des édifices dont il ne savait pas les noms ; puis il embrassa, dans un dernier coup d'oeil, l'île Saint-Louis, la Cité, Notre-Dame ; et bientôt, Paris disparaissant, il poussa un grand soupir.

Tiré de L’éducation sentimentale, Flaubert, http://abu.cnam.fr/cgi-bin/go?educati1

M. Frédéric Moreau, nouvellement reçu bachelier, s'en retournait à Nogent-sur-Seine, où il devait languir pendant deux mois, avant d'aller faire son droit. Sa mère, avec la somme indispensable, l'avait envoyé au Havre voir un oncle, dont elle espérait, pour lui, l'héritage ; il en était revenu la veille seulement ; et il se dédommageait de ne pouvoir séjourner dans la capitale, en regagnant sa province par la route la plus longue.

Le tumulte s'apaisait ; tous avaient pris leur place ; quelques-uns, debout, se chauffaient autour de la machine, et la cheminée crachait avec un râle lent et rythmique son panache de fumée noire ; des gouttelettes de rosée coulaient sur les cuivres ; le pont tremblait sous une petite vibration intérieure, et les deux roues, tournant rapidement, battaient l'eau.

Tiré de L’éducation sentimentale, Flaubert, http://abu.cnam.fr/cgi-bin/go?educati1

Flaubert

Une page d'histoire sera bientôt tournée. Après 127 ans de présence à Oka, les moines trappistes s'apprêtent à déménager. Dans quelques semaines, les 24 derniers résidants de l'abbaye Notre-Dame-du-Lac iront refaire leur vie dans un nouveau monastère, construit à Saint-Jean-de-Matha, dans Lanaudière. Une belle occasion de repartir à neuf, même si, pour certains, la transition s'annonce plus difficile... Ce déménagement, on en parle depuis 2003. Mais cette fois, l'heure est proche. À l'abbaye, les moines ont commencé à faire leurs valises. Les 30 000 livres de la bibliothèque sont déjà dans des boîtes. Soixante palettes de bouquins dorment dans le sous-sol, prêtes à partir. L'ancienne salle du réfectoire, transformée en vaste entrepôt, est remplie de meubles, d'icônes, de statues bibliques et de crucifix, empilés les uns par-dessus les autres. «Ce que nous n'apportons pas sera vendu aux enchères - silencieuses bien sûr! - ou donné à la Corporation qui a racheté l'abbaye», explique le frère Luc-André, père abbé de la communauté. Pas de doute, c'est une page d'histoire qui se tourne. Pour la communauté elle-même, enracinée à Oka depuis 1881. Mais aussi pour certains moines plus âgés, qui s'efforcent de prendre la chose avec philosophie.

Tiré de La Presse, http://www.cyberpresse.ca/actualites/quebec-canada/national/200901/17/01-818508-les-moines-trappistes-preparent-leurs-valises.php

La Presse

Flaubert La Presse Flaubert La Presse

Flaubert La Presse Flaubert La Presse

Notezl’ordredes diacritiquese-é, a-à,etc.

Fréquence des lettres dans Frantexte

Données tirées de lexique.org

Défi : qu’est-ce qu’il y a d’étrange dans le texte suivant?

Anton Voyl n'arrivait pas à dormir. Il alluma. Son Jaz marquait minuit vingt. Il poussa un profond soupir, s'assit dans son lit, s'appuyant sur son polochon. Il prit un roman, il l'ouvrit, il lut; mais il n'y saisissait qu'un imbroglio confus, il butait à tout instant sur un mot dont il ignorait la signification.

Il abandonna son roman sur son lit. Il alla à son lavabo; il mouilla un gant qu'il passa sur son front, sur son cou.

Son pouls battait trop fort. Il avait chaud. Il ouvrit son vasistas, scruta la nuit. Il faisait doux. Un bruit indistinct montait du faubourg. Un carillon, plus lourd qu'un glas, plus sourd qu'un tocsin, plus profond qu'un bourdon, non loin, sonna trois coups. Du canal Saint-Martin, un clapotis plaintif signalait un chaland qui passait.

Sur l'abattant du vasistas, un animal au thorax indigo, à l'aiguillon safran, ni un cafard, ni un charançon, mais plutôt un artison, s'avançait, traînant un brin d'alfa. Il s'approcha, voulant l'aplatir d'un coup vif, mais l'animal prit son vol, disparaissant dans la nuit avant qu'il ait pu l'assaillir.

Tiré de Georges Perec: La disparition, Paris, 1969

La fréquence lexicale

www.lexique.org

142,694 formes distinctes

fréquence par million d’occurrences

triées par la fréquence décroissante

Le début de la liste : caractéristiques ?

Entre 150 et 200 occurrences par 1,000,000 ...

Les fréquences autour de 100 sur 1,000,000 ...

<100/1,000,000 <20/1,000,000 <1/1,000,000

< 0.1 mot par 1,000,000

À faire :

- allez dans lexique.org

- trouvez tous les mots, triez par la fréquence des formes (lexique3.freqlivres)

- des 10 premiers mots, combien ont la même fréquence ?

Ensuite :

- combien de mots ont une fréquence entre 99 et 101 (lexique3.freqlivres = <101 >99) ?

- combien de mots ont une fréquence entre 9 et 11 (lexique3.freqlivres = <11 >9) ?

- combien de mots ont une fréquence entre 0 et 2 (lexique3.freqlivres = <2 >0) ?

The long tail...

mots outils mots pleins

+ fréquence -

- classe fermée- ex. sur, la

- classe ouverte- ex. table, marcher

La relation entre la fréquence et les sortes de mots

Les travaux de G.K. Zipf

- la relation entre fréquence et longueur du mot

- la relation entre fréquence et rang

- la relation entre fréquences et formes irrégulières

À faire :

- allez dans lexique.org

- trouvez tous les verbes (VER)

- classez-les par fréquence décroissante du lemme (freqlemlivres)

- trouvez les cinq verbes les plus fréquents par lemme

- est-ce que ce sont des verbes réguliers ou irréguliers ?

Ensuite :

- allez dans lexique.org

- trouvez tous les verbes (VER)

- classez-les par fréquence croissante du lemme (freqlemlivres)

- trouvez les cinq verbes les moins fréquents par lemme

- est-ce que ce sont des verbes réguliers ou irréguliers ?

- explication de la différence ?

La question des combinaisons : bigrammes, trigrammes, ngrammes, etc.

Au niveau des lettres

constitutionnel

Le bigramme co

Le bigramme on

constitutionnel

Le trigramme con

Le trigramme ons

Au niveau de l’orthographe: les bigrammes

Exemple tiré de http://www.lexique.org/listes/liste_bigrammes.php

Bigrammes

Nombre de formes avecbigramme

Nombre de formesavec bigramme

pondéré parla fréquence relative des

formes

Au niveau de l’orthographe: les trigrammes

Exemple tiré de http://www.lexique.org/listes/liste_trigrammes.php

À faire :

- prenez un mot français de 5 lettres

- allez au http://www.lexique.org/listes/liste_bigrammes.txt

- décomposez le mot en bigrammes tirés de la liste

- calculez la fréquence totale des bigrammes (3ième colonne)

- écrivez le mot et la fréquence totale sur le tableau

- expliquez les différences

À faire :

- allez dans la liste des trigrammes au http://www.lexique.org/listes/liste_trigrammes.txt

- avec des trigrammes fréquents, créer un non-mot d’au moins cinq lettres

- proposez un nouveau produit basé sur votre séquence