Stage Automated load-test reporting

Specifiek voor Sitecore Experience Commerce hebben we Mercury E-commerce ontwikkeld, een accelerator waarmee het mogelijk is om veel sneller live te gaan. Voor Mercury willen we onze load-test setup verbeteren.

Situatieschets

Mercury bevat op dit moment ongeveer 120 aanpasbare e-commerce componenten. Deze zijn onderdeel van features als guided navigation, check-out, product comparison en product presentation. Met deze componenten kunnen wij (en partners) onze klanten beter bedienen door in een korte tijd een hoogwaardige e-commerce oplossing te realiseren.

Aan Mercury wordt volop doorontwikkeld en om te waarborgen dat deze nieuwe ontwikkelingen geen negatief effect hebben op de performance van de klantwebsites maken we gebruik van load-testing. Deze load-test wordt voor iedere nieuwe release uitgevoerd om de performance inzichtelijk te maken. Het resultaat hiervan is onderdeel van de kwaliteitscontrole en mede bepalend voor de go-or-no-go van een release. 

Een load-test bestaat uit een aantal scenario’s die uitgevoerd worden tegen een testsysteem. Een overzicht van de huidige load-test wordt getoond in onderstaand diagram.


Het bezoekersgedrag op de e-commerce website wordt bepaald aan de hand van historische gebruikersdata. Deze data komt bijvoorbeeld uit Google Analytics. Aan de hand van deze data worden de load-test scenario’s bepaald. Deze scenario’s modelleren het bezoekersgedrag: bv. welke pagina’s worden er bezocht, met welke frequentie, en hoe lang blijft een gebruiker op een pagina.

Dit model is de input voor de load-test. De load-test wordt uitgevoerd tegen het testsysteem, en de resultaten worden opgeslagen in de Influx database. Tenslotte worden de resultaten van de load-test met behulp van Grafana gebaseerde tabellen en grafieken geanalyseerd.

Jouw stageopdracht 

Het huidige load-test proces bevat veel handmatige stappen en is er geen (formele) validatie aanwezig om te bepalen of deze stappen juist zijn uitgevoerd. Voor de eerste stap, waar vanuit historische data scenario’s worden gegenereerd, is een proof-of-concept gemaakt. Met behulp van dit POC kan een load-test uitgevoerd geworden. De metrieken en rapporten die hier uitkomen zijn echter niet gedefinieerd;

• Welke metrieken zijn goede performance indicatoren?
• Wat is een indicatie voor een performance probleem?
• Hoe deze metrieken te presenteren in een overzichtelijk online & realtime rapport?

Aan jou de taak om bovenstaande vragen te beantwoorden en uit te werken in een werkend dashboard dat gebruikt kan worden door QA-engineers. Voor deze opdracht zijn we op zoek naar een HBO- of WO-student met ervaring in het programmeren van Javascript. Een pre is kennis van software (load-)test-strategieën en -technieken.