Statistische Analyse von Performancetests
Statistischer Umgang mit dem Zufall
Diese Schulung behandelt die Messung des Leistungsverhaltens von IT-Systemen im Rahmen von Performancetests. Der gedankliche Leitfaden hierzu lautet wie folgt:- Ein Performancetest ist ein physikalisches Experiment, in welchem ein IT-Zentralsystem mittels Lasttreiber in offener oder geschlossener Form über einen längeren Zeitraum hinweg künstlich unter Last gesetzt wird und die damit einhergehenden Systemreaktionen (Antwortzeiten, Durchsätze, Auslastungen etc.) fortlaufend gemessen werden. Das Testziel besteht in der quantitativen Bestimmung des Leistungsverhaltens der Zentrale und ihrer Server.
- Weil jeder Performancetest unkontrollierbaren und unvorhersehbaren Einflüssen unterliegt, ist es angebracht, (i) den Test als ein (abstraktes) dynamisches Zufallsexperiment, (ii) die mit dem Test verbundenen Messvorgänge als (abstrakte) stochastische Prozesse und (iii) die aus den Messvorgängen resultierenden Messreihen als (konkrete) Prozessrealisierungen aufzufassen.
- Vor diesem Hintergrund zielt die Schulung im wesentlichen auf die Beantwortung der folgenden Frage ab: Gegeben sei ein Performancetest und ein damit verbundener Leistungsprozess. Wie lassen sich die interessanten Verteilungsparameter des Prozesses (Erwartungswerte, Varianzen etc.) anhand von ein oder mehreren Prozessrealisierungen möglichst genau schätzen?
- Hierzu ist es notwendig, sich zunächst mit einigen Aspekten der Wahrscheinlichkeitstheorie und der statistischen Schätztheorie auseinanderzusetzen. Dies tun wir, indem wir die wichtigsten Zusammenhänge verständlich motivieren, aber auf deren mathematische Herleitung weitestgehend verzichten.
Zielgruppe
Der Kurs richtet sich an Performance Engineers, die an der Beantwortung der folgenden Frage interessiert sind: Wie geht man mit der Tatsache um, dass identische Wiederholungen eines Performancetests aufgrund seines Zufallscharakters unterschiedliche Ergebnisse produzieren?Inhalte
Stochastische Prozesse
Wahrscheinlichkeitstheorie
Statistische Schätztheorie
- Stochastischer Charakter von Performancetests
- (Asymptotisch) stationäre Prozesse
- Ergodische Prozesse
Wahrscheinlichkeitstheorie
- Axiome, Zufallsvariable, Wahrscheinlichkeitsfunktion und Wahrscheinlichkeitsverteilung
- Erwartungswert, Varianz, Kovarianz und Korrelation
- Spezielle Wahrscheinlichkeitsverteilungen
Statistische Schätztheorie
- Stichprobenmittel, Stichprobenvarianz und Stichprobenkovarianz
- Zentraler Grenzwertsatz der Statistik
- Konfidenzintervalle
- Hypothesenprüfungen und Signifikanztests
Befristete Performancetests
- Lokale und globale Leistungsaussagen
- Bidirektionale Leistungsvergleiche
Unbefristete Performancetests
- Bestimmung der stationären Phase
- Methode der parallelen Gruppierungen
- Methode der seriellen Gruppierungen
- Stufentests