elasticsearch 5.0les nouveautés

Mathieu ELIE@mathieuel

Présentation

• Mathieu ELIE• Consultant et formateur elasticsearch• Twitter: @mathieuel• Web: http://www.mathieu-elie.net• Tech freelance depuis 5 ans

Le stack à partir de 5.0

Le stack 5.0

• Toutes les versions callées sur le même numéro.

• Kibana 5.0 logstash 5.0 beats 5.0• X-pack: shields marvel etc… packagé sur tout

le stack.• Meilleur intégration de ses produits sur tout le

stack.

Lucene 6.0

Lucene 6.0

• Dimensionnal points• Numérique, date et géospatial• Half disk space• Index deux fois plus vite• Recherche: +25% de performance• Parfait pour le logging et les metrics

Ingest Node

Ingest node

• Filtre logstash comme grok, split….• Pas besoin de tout logstash sur de nombreux

use cases.• Applique des processeurs au moment de

l’indexation.• Index et bulk.

Painless scripting(with Painless !)

Painless

• Groovy disabled par défaut pour raisons de sécurité

• Nouveau langage enabled par défaut.• Conçut spécifiquement pour es• Donc plus sécure.• Plus performant.

Instant aggregations

Instant aggregations

• Cache ok même avec time.now• Query parser re-écrit• Donc plus de sécu et.• Plus de perfs avec du caching• Query cache enabled par défaut car gros gain

de perfs.

Text/Keyword to Replace Strings

Text / Keyword

• String -> full text | keyword comme tag, email. Domain name

• Text -> full texte et relevance• Keyword -> pour agrégations / filters. Doc

values.• Text: field data disabled / sécurité pour ne pas

loader toute la data en mémoire.

Text/Keyword to Replace Strings

Completion Suggester v2

Completion suggester v2

• Complètement re-écrit.• Prends en compte les documents supprimés.• Retourne des documents entiers.• Score: peuvent être ajustés.

Settings Validation

Settings validation

• Strictement validés.• Valide globalement / atomic.• Unset ! -> null• Les valeurs par défaut peuvent être

récupérées. ?include_defaults

Safety in production

Safety in production

• Bind localhost -> dev• Bind ip -> production• Local -> warn• Production -> do not start

Resilience

Resilience

• Beaucoup d’améliorations• File path name -> hash et pas index.• Cluster state / démarrage.

Migration Helper

Migration helper

• Aide à préparer la migration de 2.0 vers 5.0• Cluster checkup.• Re-index helper.• Deprecation logging.

Deleted Index Tombstones

Deleted Index Tombstones

• Au restart d’un cluster ->• Des indices deletés pouvaient re-apparaitre !• -> fixed

Indexed Scripts/Templates are now Stored

Indexed Scripts/Templates are now Stored

• Avant -> stocké dans un index.• Doit etre démarré avant les autres• -> cluster state

So long Environment Vars and thanks for all the fish

So long Environment Vars and thanks for all the fish

• Jvm.options• Ligne de commande re-factorée.

Safety Measures

Safety Measures

• Bootstrap ->• Check heap size correcte ->• Mmapfs nead virtual memory

Bootstrap Checks

Bootstrap checks

• Local -> warnings• Production -> stop

Indexing Performance

Indexing performance

• Travaux sur les locks• + 15 a 20 % sur l 'index des petits documents

grace aux locks de concurrent update• aussi des gains sur le fsync du transaction log

Dots in Field Names

Dot in fields name

• Removed in 2.0• En 5.0 -> se comporte comme un objet

(hiérarchie).

Shard Allocation

Shard allocation

• Failed -> possible -> mais ? Pourquoi ?• Api dédiée pour répondre à cette question.

Java REST client

Java REST client

• Client léger bas niveau.• Pas transport (protocole).• Moins de dépendences: code et version de

server.

Rollover indexing

Rollover indexing

• Gestion de time based indices.• Rollover index alias if too old or too big.• Shrink multiple shards to one shard.

Wait for refresh

Wait for refresh

• Wait for refresh a l’index.• Near real time !

Index creation friendly to sysadmins

Index creation friendly to sysadmins

• waits for the primay shard allocated before responding

• -> plus de red status furtifs -> plus d’alertes.

Netty4

Netty4

• Upgrade de la library de networking• -> super important mais risqué• Switch back netty 3.0 possible si bugs ou

autres problêmes.

Security improvements in X-Pack

Security improvements in X-Pack

• Plus simple pour gérer les certificats SSL• Outils helpers.

THE END

• Question ?• Follow @mathieuel