Elasticsearch: Wat is het en welke voordelen heeft het?

Wat is Elasticsearch?

Elasticsearch is een in 2010 gecreëerde analytics tool en zoekmachine die gebruik maakt van open source technologie. De oplossing is gebouwd met Apache Lucene en ontwikkeld in Java. Met Elasticsearch kun je in near-realtime grote datasets opslaan, doorzoeken en analyseren.

Resultaten van een zoekopdracht verschijnen binnen enkele milliseconden op je beeldscherm. Elasticsearch kan die snelheid bieden omdat het een index gebruikt in plaats van teksten rechtstreeks te doorzoeken. Hoogwaardige REST API’s zorgen voor het efficiënt opslaan en doorzoeken van data.

Wanneer we het over Elasticsearch hebben, spreken we meestal over de zogenoemde ‘Elastic Stack’. Die bestaat uit een drietal componenten.

• Elasticsearch is de analytics engine die verantwoordelijk is voor het opslaan en doorzoeken van data.
• Logstash zorgt voor het verzamelen, verrijken en samenbrengen van al jouw data, onafhankelijk van het format (beeld, tekst, audio, video). Het zorgt tevens voor realtime-verwerking van alle informatie en is bijzonder krachtig in combinatie met Kibana en Beats.
• Kibana visualiseert data. Je kunt gegevens analyseren en tonen in overzichtelijke en aantrekkelijke dashboards.
• Beats is een verzameling ‘data shippers’ die data afvangen van applicaties en die informatie doorsturen naar Elasticsearch- of Logstash-toepassing.

Hoe werkt het?

De eerste stap is het invoeren van ruwe data. Die kan in Elasticsearch afkomstig zijn van diverse bronnen. Denk bijvoorbeeld aan logs, webapplicaties, IoT-apparaten of software die de performance van je systemen monitort. Vervolgens gaat Logstash over tot het opnemen van gegevens (data ingestion). Tijdens dit opnameproces zorgt de tool voor het ontleden, opschonen en verrijken van alle data.

Daarna indexeert Elasticsearch de gegevens. Vanaf dat moment kunnen gebruikers nauwkeurige queries uitvoeren en hun data aggregeren voor het maken van complexe opsommingen en samenvattingen van alle ingevoerde gegevens. Met behulp van Kibana visualiseer je de data en presenteer je ze in handige dashboards.

Een Elasticsearch-index bestaat uit een collectie aan elkaar verwante documenten of gegevens. Elk document correleert met een verzameling sleutels (de namen van bepaalde velden of eigenschappen) en hun corresponderende waarden (denk bijvoorbeeld aan cijfers, datums, locaties of booleaanse grootheden). Middels een geïnverteerde index (een gegevensstructuur die je van een woord naar een document of webpagina leidt) registreert Elasticsearch elk uniek woord dat in een document voorkomt. Vervolgens toont de tool ook hoe vaak en in welke documenten die woorden terugkomen.

De backend van Elasticsearch bestaat uit diverse onderdelen die samenwerken om het verwerken en analyseren van data een stevige kwaliteitsboost te geven.

• Een cluster zorgt voor het distribueren van taken en het doorzoeken en indexeren van data.
• Een node is een server die deel uitmaakt van een cluster. Een node slaat data op en draagt bij aan de zoek- en indexeringsfunctie van een cluster. Binnen Elasticsearch onderscheiden we de master node, data nodes en client nodes. De master node is verantwoordelijk voor een aantal kritieke taken binnen het cluster. Denk aan het creëren en verwijderen van indexen het opsporen van ‘ondergeschikte’ nodes en het toewijzen van shards aan nodes. Data nodes zijn verantwoordelijk voor het vasthouden van data en uitvoeren van datagerelateerde werkzaamheden (indexeren, zoeken). Client nodes zijn alle nodes die geen master zijn.
• De index is op te delen in meerdere shards. Elke shard kan opereren als een onafhankelijk en volledig functioneel minicluster. Je kunt een shard hosten in elke node binnen een cluster. Het is ook mogelijk om replica’s te maken van zo’n shard, waardoor het makkelijker wordt om je data te beschermen tegen hardwarefouten.

Waarvoor wordt Elasticsearch gebruikt?

Elasticsearch wordt voor diverse datagerelateerde doeleinden gebruikt. We tonen je een paar voorbeelden.

• Het ondersteunen van applicaties die een zoekplatform nodig hebben voor het toegankelijk maken, ontsluiten en rapporteren van data.
• Het doorzoeken van websites met veel content. Zelfs op websites met vele duizenden documenten in diverse formaten, zoals html, pdf en Word, vindt Elasticsearch per direct het juiste document.
• Het doorzoeken van complete bedrijfssystemen. Denk bijvoorbeeld aan documenten, productcatalogussen, webshops, blogs en mensen of functietitels binnen een organisatie.
• Het in realtime en op een schaalbare manier analyseren van logdata. Dit levert belangrijke operationele informatie op die je helpt om processen en de performance van apparaten gericht te verbeteren.
• Het monitoren van IT-infrastructuren en containers.
• Het screenen van het veiligheidsniveau van je IT-omgeving. Met Elasticsearch doorzoek je access logs en andere security-oplossingen op een gerichte manier. Zo krijg je een compleet en realtime-overzicht van wat er allemaal gebeurt binnen je netwerk.

Wat levert het op? De voordelen van Elasticsearch

Maar wat zijn nu de belangrijkste voordelen die gepaard gaan met het gebruiken van Elasticsearch? Wat levert het jou onder de streep op?

Snelheid

Met Elasticsearch gaat data doorzoeken en analyseren sneller dan ooit. Het platform werkt in near-realtime, wat betekent dat er amper vertraging zit tussen de indexering en doorzoekbaarheid van een document of dataset.

Distributie en redundantie

De documenten in Elasticsearch worden gedistribueerd en gespreid over verschillende containers (de eerder genoemde shards). Het platform dupliceert die shards en zorgt zo voor kopieën van alle data. Erg handig als je hardware een keer niet thuis geeft. De architectuur van Elasticsearch maakt het mogelijk om het platform op te schalen voor honderden servers en meerdere petabytes (1 petabyte is 1000 terabytes) aan data te verwerken en analyseren.

Extra functionaliteiten

Behalve snelheid en schaalbaarheid, herbergt Elasticsearch nog een paar handige features. Denk bijvoorbeeld aan applicatie- en veiligheidsmonitoring, realtime-datavisualisatie via Kibana (waardoor je makkelijker waardevolle inzichten uit data haalt) en lifecyclemanagement voor je indexen. Met dit laatste bedoelen we dat je kunt automatiseren hoe je indexen in de loop van de tijd wilt beheren. In plaats van simpelweg beheeracties uit te voeren volgens een vast schema, kun je acties ook baseren op andere factoren, zoals shardgrootte en prestatievereisten.

Hoe zet ik het in?

Elasticsearch is een platform dat continu wordt verbeterd. Je kunt het als managed service afnemen via Elasticsearch Service (beschikbaar in AWS, Google Cloud en Alibaba Cloud), maar ook downloaden op je eigen hardware of in je eigen cloudomgeving.

Op de website van Elastic vind je de instructies die je nodig hebt voor het downloaden, installeren en configureren van het platform. Elasticsearch kan ingezet worden, onafhankelijk van de programmeertaal waarin de applicatie wordt ontwikkeld, bijvoorbeeld aan Java, JavaScript, Go, .NET, PHP, Perl of Python.

Hoewel je natuurlijk helemaal zelfstandig aan de slag kunt met Elasticsearch, moet je daarvoor wel over de nodige programmeerkennis beschikken. Het implementeren van Elasticsearch gaat stukken sneller als het door iemand wordt gedaan met de nodige ervaring in de materie.

Elasticsearch in de praktijk: IDFA

Tot slot een praktijkvoorbeeld dat laat zien hoe Elasticsearch organisaties helpt om in datarijke omgevingen informatie snel toegankelijk te maken voor eindgebruikers. IDFA is als grootste documentairefestival ter wereld inmiddels een begrip in de nationale en internationale filmwereld. Het jaarlijkse festival wordt gefaciliteerd door het bijbehorende festivalplatform waarop je alle informatie over het programma en de verschillende films vindt.

Het platform heeft ook een enorme database met alle belangrijke gegevens (titels, regisseurs, acteurs, speelduur, onderwerp, synopsis) en metadata over de films die te zien zijn (geweest) op het festival. Het gaat in totaal om honderden titels. De bezoeker van het platform kan zoeken op alle denkbare aspecten van een documentaire en krijgt dankzij Elasticsearch binnen een kwart seconde de gesorteerde resultaten op zijn of haar scherm.

Meer informatie

Spreekt het IDFA-voorbeeld je aan? Streef je ernaar om de gegevens op jouw website of platform makkelijker ontsluitbaar te maken voor bezoekers of klanten? En wil je meer weten over Elasticsearch en samen met Oberon de mogelijkheden van deze zoekmachine verkennen? Geen probleem! Neem gerust vrijblijvend contact met ons op voor meer informatie.