BBL autour de PostgreSQL @Novapost

PostgreSQL quatre ans après

Rodolphe Quiédeville

Novapost

21 mai 2014

Rodolphe Quiédeville (Freelance) PostgreSQL quatre ans après 21 mai 2014 1 / 43

Axes de travail10 axes de travail pour améliorer les performances et monter encharge en étant serein.

pgtunehardwaretablespacesreplicationconnection poolervaccummaterialized viewspartitionnementindexquery???

Axes de travail10 axes de travail pour améliorer les performances et monter encharge en étant serein.

pgtunehardwaretablespacesreplicationconnection poolervaccummaterialized viewspartitionnementindexquery???

Axes de travailpgtune

pgtune

Script d’optimisation des paramètres de postgresql.conf. L’étapenuméro une de toute optimisation.

utilisationpgtune -i /etc/postgresql/9.1/main/postgresql.conf

pgtune

Fait des propositions d’adaptation des paramètres de configuration aumatériel

Postulatpgtune considère qu’un seul cluster tourne sur la machine et quecelle-ci est dédiée au serveur de base de données

Restartcertains paramètres nécessite un redémarrage pour leur prise encompte

pgtune

Fait des propositions d’adaptation des paramètres de configuration aumatériel

Postulatpgtune considère qu’un seul cluster tourne sur la machine et quecelle-ci est dédiée au serveur de base de données

Restartcertains paramètres nécessite un redémarrage pour leur prise encompte

pgtune

Sortie du script

Example#custom_variable_classes = ’’ # list of custom variable class namesdefault_statistics_target = 50maintenance_work_mem = 176MBconstraint_exclusion = oncheckpoint_completion_target = 0.9effective_cache_size = 2GBwork_mem = 18MBwal_buffers = 8MBcheckpoint_segments = 16shared_buffers = 704MBmax_connections = 80

Axes de travailpgtunehardware

hardware

PostgreSQL a plusieurs flux de lecture/écriture, il faut en profiter tantque faire se peut.

plusieurs disquesplusieurs contrôlleursRAID10 au lieu de RAID5les WAL d’un coté les données de l’autre

hardware

plusieurs disques

plusieurs contrôlleursRAID10 au lieu de RAID5les WAL d’un coté les données de l’autre

hardware

plusieurs disquesplusieurs contrôlleurs

RAID10 au lieu de RAID5les WAL d’un coté les données de l’autre

hardware

plusieurs disquesplusieurs contrôlleursRAID10 au lieu de RAID5

les WAL d’un coté les données de l’autre

hardware

plusieurs disquesplusieurs contrôlleursRAID10 au lieu de RAID5les WAL d’un coté les données de l’autre

Axes de travailpgtunehardwaretablespaces

Tablespace

Les tablespaces permettent de définir l’emplacement dans le systèmede fichiers où seront stockés les fichiers représentant les objets de labase de données.

séparer les tables des indexséparer les tables d’archives des données fraicheslier les spécificités physique du stockage à l’utilisation logique desdonnées (session en SSD)

Tablespace

séparer les tables des index

séparer les tables d’archives des données fraicheslier les spécificités physique du stockage à l’utilisation logique desdonnées (session en SSD)

Tablespace

séparer les tables des indexséparer les tables d’archives des données fraiches

lier les spécificités physique du stockage à l’utilisation logique desdonnées (session en SSD)

Tablespace

séparer les tables des indexséparer les tables d’archives des données fraicheslier les spécificités physique du stockage à l’utilisation logique desdonnées (session en SSD)

Tablespace

CréationCREATE TABLESPACE espace_rapide LOCATION ’/mnt/sda1/postgresql/data’;

Création de la tableCREATE TABLE foo(i int) TABLESPACE espace1;

Le déplacement de données existantes est également possible.

Axes de travailpgtunehardwaretablespacesreplication

replication

Vaste programme.

replication

Vaste programme. La réplication est un des sujets les plus discutésdes bases de données à ce jour.

replication

synchrone/asynchrone

warn/hot standbysingle/multi mastergranularité au niveau tableincore/middleware (pgpool-II)

replication

synchrone/asynchronewarn/hot standby

single/multi mastergranularité au niveau tableincore/middleware (pgpool-II)

replication

synchrone/asynchronewarn/hot standbysingle/multi master

granularité au niveau tableincore/middleware (pgpool-II)

replication

synchrone/asynchronewarn/hot standbysingle/multi mastergranularité au niveau table

incore/middleware (pgpool-II)

replication

synchrone/asynchronewarn/hot standbysingle/multi mastergranularité au niveau tableincore/middleware (pgpool-II)

replication

synchrone/asynchronewarn/hot standbysingle/multi mastergranularité au niveau tableincore/middleware (pgpool-II)

WarningLa réplication est simple à mettre en oeuvre, la gérer au jour le jour estun travail de tous les jours.

Axes de travailpgtunehardwaretablespacesreplicationconnection pooler

connection pooler

L’utilisation d’un pooler de connection est intéressant quand un grandnombre de connections sont créees pour de courtes durées. Unpooler peut aussi être intéressant conjointement avec une réplication.

pgbouncerpgpool-II

Axes de travailpgtunehardwaretablespacesreplicationconnection poolervaccum

vaccum

La commande VACUUM doit traiter chaque table régulièrement pourplusieurs raisons :

pour récupérer ou ré-utiliser l’espace disque occupé par les lignessupprimées ou mises à jourpour mettre à jour les statistiques utilisées par l’optimiseur dePostgreSQLpour mettre à jour la carte de visibilité qui accélère les parcoursd’index seulspour prévenir la perte des données les plus anciennes à caused’un cycle de l’identifiant de transaction (XID) ou d’un cycle del’identifiant de multixact.

vaccum

pour récupérer ou ré-utiliser l’espace disque occupé par les lignessupprimées ou mises à jour

pour mettre à jour les statistiques utilisées par l’optimiseur dePostgreSQLpour mettre à jour la carte de visibilité qui accélère les parcoursd’index seulspour prévenir la perte des données les plus anciennes à caused’un cycle de l’identifiant de transaction (XID) ou d’un cycle del’identifiant de multixact.

vaccum

pour récupérer ou ré-utiliser l’espace disque occupé par les lignessupprimées ou mises à jourpour mettre à jour les statistiques utilisées par l’optimiseur dePostgreSQL

pour mettre à jour la carte de visibilité qui accélère les parcoursd’index seulspour prévenir la perte des données les plus anciennes à caused’un cycle de l’identifiant de transaction (XID) ou d’un cycle del’identifiant de multixact.

vaccum

pour récupérer ou ré-utiliser l’espace disque occupé par les lignessupprimées ou mises à jourpour mettre à jour les statistiques utilisées par l’optimiseur dePostgreSQLpour mettre à jour la carte de visibilité qui accélère les parcoursd’index seuls

pour prévenir la perte des données les plus anciennes à caused’un cycle de l’identifiant de transaction (XID) ou d’un cycle del’identifiant de multixact.

vaccum

vaccumLa commande VACUUM doit traiter chaque table régulièrement pourplusieurs raisons :

autovaccumSi vous ne savez pas à quoi sert autovaccum, laissez faireautovaccum.

Axes de travailpgtunehardwaretablespacesreplicationconnection poolervaccummaterialized views

Vues matérialisées

Le meilleur de la table et de la vue.

Le meilleur de la table et de la vue. Les meilleures alliées desbusiness analyst.

se crée comme une vuecrée une table physiqueporte ses propres indexscinde les flux de requêtesdoit être mise à jour suivant les besoins !le REFRESH prend un ACCESS EXCLUSIVE LOCK (corrigé en9.4)

New !A partir de PostgreSQL 9.3

se crée comme une vue

crée une table physiqueporte ses propres indexscinde les flux de requêtesdoit être mise à jour suivant les besoins !le REFRESH prend un ACCESS EXCLUSIVE LOCK (corrigé en9.4)

se crée comme une vuecrée une table physique

porte ses propres indexscinde les flux de requêtesdoit être mise à jour suivant les besoins !le REFRESH prend un ACCESS EXCLUSIVE LOCK (corrigé en9.4)

se crée comme une vuecrée une table physiqueporte ses propres index

scinde les flux de requêtesdoit être mise à jour suivant les besoins !le REFRESH prend un ACCESS EXCLUSIVE LOCK (corrigé en9.4)

se crée comme une vuecrée une table physiqueporte ses propres indexscinde les flux de requêtes

doit être mise à jour suivant les besoins !le REFRESH prend un ACCESS EXCLUSIVE LOCK (corrigé en9.4)

se crée comme une vuecrée une table physiqueporte ses propres indexscinde les flux de requêtesdoit être mise à jour suivant les besoins !

le REFRESH prend un ACCESS EXCLUSIVE LOCK (corrigé en9.4)

CréationCREATE MATERIALIZED VIEW resume_ventes AS

SELECTno_vendeur,date_facture,sum(mtt_facture)::numeric(13,2) as mtt_ventes

FROM factureWHERE date_facture < CURRENT_DATEGROUP BY

no_vendeur,date_facture

ORDER BYno_vendeur,date_facture;

CREATE UNIQUE INDEX ventes_resume_vendeurON sales_summary (no_vendeur, date_facture);

Mise à jourREFRESH MATERIALIZED VIEW resume_ventes;

Axes de travailpgtunehardwaretablespacesreplicationconnection poolervaccummaterialized viewspartitionnement

partitionnement

Le partitionnement fait référence à la division d’une table logiquevolumineuse en plusieurs parties physiques plus petites.

utilise l’héritage de tablepartitionnement par échelonpartitionnement par liste

partitionnement

utilise l’héritage de table

partitionnement par échelonpartitionnement par liste

partitionnement

utilise l’héritage de tablepartitionnement par échelon

partitionnement par liste

partitionnement

utilise l’héritage de tablepartitionnement par échelonpartitionnement par liste

partitionnement

Création table maître

SQLCREATE TABLE mesure (

id_ville int not null,date_trace date not null,temperature int,ventes int

partitionnement

Création des tables filles avec contraintes

SQLCREATE TABLE mesure_a2006m02 (

CHECK ( date_trace >= DATE ’2006-02-01’ AND date_trace < DATE’2006-03-01’ )

) INHERITS (mesure);

CREATE TABLE mesure_a2006m03 (CHECK ( date_trace >= DATE ’2006-03-01’ AND date_trace < DATE

’2006-04-01’ )) INHERITS (mesure);...

partitionnement

Création des index

SQLCREATE INDEX mesure_a2006m02_date_trace ON mesure_a2006m02 (date_trace);

CREATE INDEX mesure_a2006m03_date_trace ON mesure_a2006m03 (date_trace);...CREATE INDEX mesure_a2007m11_date_trace ON mesure_a2007m11 (date_trace);

CREATE INDEX mesure_a2007m12_date_trace ON mesure_a2007m12 (date_trace);

CREATE INDEX mesure_a2008m01_date_trace ON mesure_a2008m01 (date_trace);

partitionnement

Création des trigger

SQLCREATE OR REPLACE FUNCTION mesure_insert_trigger()RETURNS TRIGGER AS $$BEGIN

INSERT INTO mesure_a2008m01 VALUES (NEW.*);RETURN NULL;

END;$$LANGUAGE plpgsql;

SQLCREATE TRIGGER insert_mesure_trigger

BEFORE INSERT ON mesureFOR EACH ROW EXECUTE PROCEDURE mesure_insert_trigger();

partitionnement

Attention à l’utilisation

SQLrodo@[local]:5432 rodo=> explain select * from mesure ;

QUERY PLAN--------------------------------------------------------------------------Append (cost=0.00..55.40 rows=3541 width=16)

-> Seq Scan on mesure (cost=0.00..0.00 rows=1 width=16)-> Seq Scan on mesure_a2006m02 (cost=0.00..27.70 rows=1770 width=16)-> Seq Scan on mesure_a2006m03 (cost=0.00..27.70 rows=1770 width=16)

(4 rows)

Axes de travailpgtunehardwaretablespacesreplicationconnection poolervaccummaterialized viewshéritage de tableindex

Il s’avère que la seule chose que les développeurs doiventconnaître est l’indexation. En fait, l’indexation d’une base dedonnées est un travail de développeurs car l’information laplus importante pour une bonne indexation ne se situe ni auniveau de la configuration du système de stockage ni dans laconfiguration du matériel, mais plutôt au niveau del’application :

« comment l’application cherche ses données ».

Markus Winand - http://use-the-index-luke.com/fr

Trop d’index nuit à la performance. Mettre à jour un index qui n’estjamais lu n’est pas forcément nécessaire.

SQLindexrelname | idx_scan | idx_tup_read | idx_tup_fetch

--------------------+----------+--------------+---------------job_job_fkposte_id | 0 | 0 | 0job_job_region_id | 0 | 0 | 0job_job_company_id | 43 | 323 | 305job_job_author_id | 0 | 0 | 0job_job_pkey | 22968 | 22930 | 22911

(5 rows)

Trop d’index nuit à la performance. Mettre à jour un index qui n’estjamais lu n’est pas forcément nécessaire.

SQLindexrelname | idx_scan | idx_tup_read | idx_tup_fetch

--------------------+----------+--------------+---------------job_job_fkposte_id | 0 | 0 | 0job_job_region_id | 0 | 0 | 0job_job_company_id | 43 | 323 | 305job_job_author_id | 0 | 0 | 0job_job_pkey | 22968 | 22930 | 22911

(5 rows)

Axes de travailpgtunehardwaretablespacesreplicationconnection poolervaccummaterialized viewshéritage de tableindexquery

La ré-écriture des requêtes et le travail coté application

la requête la plus rapide est celle qui n’est pas éxecutéerien ne sert de ré-écrire les index si les requêtes ne les utilisentpascertains axes d’optimisation ne sont pas compatible avec lesframework mal conçus

la requête la plus rapide est celle qui n’est pas éxecutée

rien ne sert de ré-écrire les index si les requêtes ne les utilisentpascertains axes d’optimisation ne sont pas compatible avec lesframework mal conçus

la requête la plus rapide est celle qui n’est pas éxecutéerien ne sert de ré-écrire les index si les requêtes ne les utilisentpas

certains axes d’optimisation ne sont pas compatible avec lesframework mal conçus

la requête la plus rapide est celle qui n’est pas éxecutéerien ne sert de ré-écrire les index si les requêtes ne les utilisentpascertains axes d’optimisation ne sont pas compatible avec lesframework mal conçus

Axes de travailpgtunehardwaretablespacesreplicationconnection poolervaccummaterialized viewshéritage de tableindexquery???

Axes de travailpgtunehardwaretablespacesreplicationconnection poolervaccummaterialized viewshéritage de tableindexqueryschema

schema

Last but not least, le schema reste la source numéro un desproblèmes de performance et de montée en charge.

tableviewindex"les jointures c’est bon mangez-en"

schema

viewindex"les jointures c’est bon mangez-en"

schema

tableview

index"les jointures c’est bon mangez-en"

schema

tableviewindex

"les jointures c’est bon mangez-en"

schema

tableviewindex"les jointures c’est bon mangez-en"

Conclusion

Tout modification structurelle doit s’accompagner d’un processus devalidation itératif.

1 rédaction d’un protocole de test avec son jeu de données2 mesure des indicateurs3 modification d’un paramètre4 mesure des même indicateurs5 analyse des résultats6 goto 3 | 1

Conclusion

1 rédaction d’un protocole de test avec son jeu de données

2 mesure des indicateurs3 modification d’un paramètre4 mesure des même indicateurs5 analyse des résultats6 goto 3 | 1

Conclusion

1 rédaction d’un protocole de test avec son jeu de données2 mesure des indicateurs

3 modification d’un paramètre4 mesure des même indicateurs5 analyse des résultats6 goto 3 | 1

Conclusion

1 rédaction d’un protocole de test avec son jeu de données2 mesure des indicateurs3 modification d’un paramètre

4 mesure des même indicateurs5 analyse des résultats6 goto 3 | 1

Conclusion

1 rédaction d’un protocole de test avec son jeu de données2 mesure des indicateurs3 modification d’un paramètre4 mesure des même indicateurs

5 analyse des résultats6 goto 3 | 1

Conclusion

1 rédaction d’un protocole de test avec son jeu de données2 mesure des indicateurs3 modification d’un paramètre4 mesure des même indicateurs5 analyse des résultats

6 goto 3 | 1

Conclusion

1 rédaction d’un protocole de test avec son jeu de données2 mesure des indicateurs3 modification d’un paramètre4 mesure des même indicateurs5 analyse des résultats6 goto 3 | 1

Questions ?

Rodolphe Quiédeville

rodolphe@quiedeville.orghttp://blog.rodolphe.quiedeville.org/

Document publié sous Licence Creative Commons BY-SA 2.0

BBL autour de PostgreSQL @Novapost

Technology

Transcript of BBL autour de PostgreSQL @Novapost

retour D'expérience Migration Oracle Vers Postgresql · Retour d'expérience migration Oracle vers PostgreSQL Vincent Moreau – Adeo Services

Cécile Especel - BBL - Atelier d'initiation à l'agilité

PostgreSQL, PostGIS€¦ · POSTGRESQL Sessions 7 PostgreSQL, PostGIS Les usages pour la sécurité intérieure. 29/09/2015 2 / 2 7 ST(SI)² – Service des Technologies et des Systèmes

Découvrons PostgreSQL - Freedbadialog.free.fr/Conferences/ESIREM/PostgreSQL.pdf · OddbjørnSteffensen(VO) –2005 StéphaneSchildknecht(traductionet ajouts) –01/2006 PostgreSQL

Introduction à PostgreSQL

Postgresql et psqlrc

alphorm.com - Formation PostgreSQL administration

Guide de l’utilisateur de PostgreSQL/PostGISold.postgis.fr/documentation/win32/pdf/doc.pdfGuide de l’utilisateur de PostgreSQL/PostGIS DOCUMENT DE TRAVAIL 4 / 277 SUIVI DU DOCUMENT

BBL Kanban

Concert. Bbl Bbl C MIN A Confirmation D MINI GMlN7 Charlie ...

Bbl sur les tests

Présentation de PostgreSQL - dalibo.org · Présentation de PostgreSQL Présentation de PostgreSQL • Photo disponible sur • Prise par Andy Withers

Formation PostgreSQL - Mahoro Netaterizak/0028pga-administration...Administration PostgreSQL 6 Sponsors & Références.....43 6.1 Sponsors

PostgreSQL : Param trage

Libérez vos talents - version BBL

PoWA 3 - Optimisations avancées de PostgreSQL

Nouveautés de PostgreSQL 9.5

PostgreSQL sous linux

Superviser PostgreSQL

Utilisation de PostgreSQL chez Lengow