Elasticsearch 5.0 les nouveautés

54
elasticsearch 5.0 les nouveautés Mathieu ELIE @mathieuel

Transcript of Elasticsearch 5.0 les nouveautés

Page 1: Elasticsearch 5.0 les nouveautés

elasticsearch 5.0les nouveautés

Mathieu ELIE@mathieuel

Page 2: Elasticsearch 5.0 les nouveautés

Présentation

• Mathieu ELIE• Consultant et formateur elasticsearch• Twitter: @mathieuel• Web: http://www.mathieu-elie.net• Tech freelance depuis 5 ans

Page 3: Elasticsearch 5.0 les nouveautés

Le stack à partir de 5.0

Page 4: Elasticsearch 5.0 les nouveautés

Le stack 5.0

• Toutes les versions callées sur le même numéro.

• Kibana 5.0 logstash 5.0 beats 5.0• X-pack: shields marvel etc… packagé sur tout

le stack.• Meilleur intégration de ses produits sur tout le

stack.

Page 5: Elasticsearch 5.0 les nouveautés

Lucene 6.0

Page 6: Elasticsearch 5.0 les nouveautés

Lucene 6.0

• Dimensionnal points• Numérique, date et géospatial• Half disk space• Index deux fois plus vite• Recherche: +25% de performance• Parfait pour le logging et les metrics

Page 7: Elasticsearch 5.0 les nouveautés

Ingest Node

Page 8: Elasticsearch 5.0 les nouveautés

Ingest node

• Filtre logstash comme grok, split….• Pas besoin de tout logstash sur de nombreux

use cases.• Applique des processeurs au moment de

l’indexation.• Index et bulk.

Page 9: Elasticsearch 5.0 les nouveautés

Painless scripting(with Painless !)

Page 10: Elasticsearch 5.0 les nouveautés

Painless

• Groovy disabled par défaut pour raisons de sécurité

• Nouveau langage enabled par défaut.• Conçut spécifiquement pour es• Donc plus sécure.• Plus performant.

Page 11: Elasticsearch 5.0 les nouveautés

Instant aggregations

Page 12: Elasticsearch 5.0 les nouveautés

Instant aggregations

• Cache ok même avec time.now• Query parser re-écrit• Donc plus de sécu et.• Plus de perfs avec du caching• Query cache enabled par défaut car gros gain

de perfs.

Page 13: Elasticsearch 5.0 les nouveautés

Text/Keyword to Replace Strings

Page 14: Elasticsearch 5.0 les nouveautés

Text / Keyword

• String -> full text | keyword comme tag, email. Domain name

• Text -> full texte et relevance• Keyword -> pour agrégations / filters. Doc

values.• Text: field data disabled / sécurité pour ne pas

loader toute la data en mémoire.

Page 15: Elasticsearch 5.0 les nouveautés

Text/Keyword to Replace Strings

Page 16: Elasticsearch 5.0 les nouveautés

Completion Suggester v2

Page 17: Elasticsearch 5.0 les nouveautés

Completion suggester v2

• Complètement re-écrit.• Prends en compte les documents supprimés.• Retourne des documents entiers.• Score: peuvent être ajustés.

Page 18: Elasticsearch 5.0 les nouveautés

Settings Validation

Page 19: Elasticsearch 5.0 les nouveautés

Settings validation

• Strictement validés.• Valide globalement / atomic.• Unset ! -> null• Les valeurs par défaut peuvent être

récupérées. ?include_defaults

Page 20: Elasticsearch 5.0 les nouveautés

Safety in production

Page 21: Elasticsearch 5.0 les nouveautés

Safety in production

• Bind localhost -> dev• Bind ip -> production• Local -> warn• Production -> do not start

Page 22: Elasticsearch 5.0 les nouveautés

Resilience

Page 23: Elasticsearch 5.0 les nouveautés

Resilience

• Beaucoup d’améliorations• File path name -> hash et pas index.• Cluster state / démarrage.

Page 24: Elasticsearch 5.0 les nouveautés

Migration Helper

Page 25: Elasticsearch 5.0 les nouveautés

Migration helper

• Aide à préparer la migration de 2.0 vers 5.0• Cluster checkup.• Re-index helper.• Deprecation logging.

Page 26: Elasticsearch 5.0 les nouveautés

Deleted Index Tombstones

Page 27: Elasticsearch 5.0 les nouveautés

Deleted Index Tombstones

• Au restart d’un cluster ->• Des indices deletés pouvaient re-apparaitre !• -> fixed

Page 28: Elasticsearch 5.0 les nouveautés

Indexed Scripts/Templates are now Stored

Page 29: Elasticsearch 5.0 les nouveautés

Indexed Scripts/Templates are now Stored

• Avant -> stocké dans un index.• Doit etre démarré avant les autres• -> cluster state

Page 30: Elasticsearch 5.0 les nouveautés

So long Environment Vars and thanks for all the fish

Page 31: Elasticsearch 5.0 les nouveautés

So long Environment Vars and thanks for all the fish

• Jvm.options• Ligne de commande re-factorée.

Page 32: Elasticsearch 5.0 les nouveautés

Safety Measures

Page 33: Elasticsearch 5.0 les nouveautés

Safety Measures

• Bootstrap ->• Check heap size correcte ->• Mmapfs nead virtual memory

Page 34: Elasticsearch 5.0 les nouveautés

Bootstrap Checks

Page 35: Elasticsearch 5.0 les nouveautés

Bootstrap checks

• Local -> warnings• Production -> stop

Page 36: Elasticsearch 5.0 les nouveautés

Indexing Performance

Page 37: Elasticsearch 5.0 les nouveautés

Indexing performance

• Travaux sur les locks• + 15 a 20 % sur l 'index des petits documents

grace aux locks de concurrent update• aussi des gains sur le fsync du transaction log

Page 38: Elasticsearch 5.0 les nouveautés

Dots in Field Names

Page 39: Elasticsearch 5.0 les nouveautés

Dot in fields name

• Removed in 2.0• En 5.0 -> se comporte comme un objet

(hiérarchie).

Page 40: Elasticsearch 5.0 les nouveautés

Shard Allocation

Page 41: Elasticsearch 5.0 les nouveautés

Shard allocation

• Failed -> possible -> mais ? Pourquoi ?• Api dédiée pour répondre à cette question.

Page 42: Elasticsearch 5.0 les nouveautés

Java REST client

Page 43: Elasticsearch 5.0 les nouveautés

Java REST client

• Client léger bas niveau.• Pas transport (protocole).• Moins de dépendences: code et version de

server.

Page 44: Elasticsearch 5.0 les nouveautés

Rollover indexing

Page 45: Elasticsearch 5.0 les nouveautés

Rollover indexing

• Gestion de time based indices.• Rollover index alias if too old or too big.• Shrink multiple shards to one shard.

Page 46: Elasticsearch 5.0 les nouveautés

Wait for refresh

Page 47: Elasticsearch 5.0 les nouveautés

Wait for refresh

• Wait for refresh a l’index.• Near real time !

Page 48: Elasticsearch 5.0 les nouveautés

Index creation friendly to sysadmins

Page 49: Elasticsearch 5.0 les nouveautés

Index creation friendly to sysadmins

• waits for the primay shard allocated before responding

• -> plus de red status furtifs -> plus d’alertes.

Page 50: Elasticsearch 5.0 les nouveautés

Netty4

Page 51: Elasticsearch 5.0 les nouveautés

Netty4

• Upgrade de la library de networking• -> super important mais risqué• Switch back netty 3.0 possible si bugs ou

autres problêmes.

Page 52: Elasticsearch 5.0 les nouveautés

Security improvements in X-Pack

Page 53: Elasticsearch 5.0 les nouveautés

Security improvements in X-Pack

• Plus simple pour gérer les certificats SSL• Outils helpers.

Page 54: Elasticsearch 5.0 les nouveautés

THE END

• Question ?• Follow @mathieuel