Die meisten Veränderungen in einem Shop merkt man nicht in dem Moment, in dem sie passieren. Der TTFB klettert an einem Dienstagabend, der Traffic bricht nach einem DNS-Wechsel ein, nach einem Release tauchen mehr JavaScript-Fehler auf. Im Dashboard steht das alles. Man muss nur zur richtigen Zeit auf die richtige Kurve schauen.
Wir arbeiten jeden Tag an fastmon, an Bugfixes, an der Oberfläche, an neuen Funktionen. Vieles davon sieht man nie. Heute stellen wir dir etwas vor, das du sehen sollst: Beobachtungen, ab sofort als Beta.
fastmon vergleicht rund um die Uhr Ladezeiten, Fehler und Traffic mit dem, was für deine Anwendung üblich ist. Verändert sich etwas deutlich, legt fastmon selbst eine Beobachtung an, mit Beginn, Ende und den Zahlen dazu. Einrichten musst du dafür nichts.
Bisher konnten nur wir bei fastmon Beobachtungen sehen, als interne Vorschau. Ab heute stehen sie allen Rollen deiner Organisation zur Verfügung, sofern Watchdog für deine Organisation aktiviert ist. Du findest sie in der Seitenleiste unter Beobachtungen.
Üblich heißt: deine Anwendung, nicht ein Grenzwert
Ein fester Grenzwert sagt dir, ob ein Wert schlecht ist. Er sagt dir nicht, ob er sich verändert hat. Ein Shop, der normalerweise in 400 ms antwortet und plötzlich 1.200 ms braucht, hat ein Problem, auch wenn 1.200 ms noch unter der Schwelle für “schlecht” liegen. Deshalb vergleicht fastmon deine Anwendung mit sich selbst.
Dabei gibt es zwei Arten von Beobachtungen: Shifts für das Plötzliche und Trends für das Schleichende.
Shifts: was sich innerhalb einer Viertelstunde ändert
Ein Shift vergleicht eine Viertelstunde mit derselben Viertelstunde der vergangenen sieben Tage, genauer mit deren Median. Dienstag 20:15 bis 20:30 wird also mit 20:15 bis 20:30 an den sieben Tagen davor verglichen. So fällt der ganz normale Peak am Abend nicht auf, ein Einbruch um 20:15 aber schon.
Verglichen werden:
- Traffic, also menschliche Pageviews. Ein Einbruch ist eine Verschlechterung, ein Anstieg nur ein Hinweis: Dahinter steckt genauso oft eine Bot-Welle, die nicht als solche erkannt wurde, wie echte Besucher.
- TTFB und LCP, jeweils als p75 in Millisekunden.
- JavaScript-Fehler, als Anteil der Pageviews mit einem Fehler aus deinen eigenen Skripten.
- Bots, also Pageviews, die nicht von Menschen stammen. Hier ist jede Veränderung ein Hinweis, denn ein Crawler, der kommt oder geht, kostet dich keinen Besucher.
Eine deutliche Verschlechterung, also das Dreifache des Üblichen oder beim Traffic ein Einbruch auf ein Drittel, siehst du nach 30 Minuten, also nach der zweiten auffälligen Viertelstunde in Folge. Alles andere erscheint erst, wenn es zwei Stunden anhält: Verbesserungen, Hinweise und Verschlechterungen, die “nur” beim Doppelten liegen. Damit eine Viertelstunde mit wenig Traffic nichts auslöst, braucht jede einzelne mindestens 150 Pageviews, bei Bots 500. Und weil der Vergleich Vergangenheit braucht, zeigt eine neue Anwendung in ihren ersten vier Tagen noch keine Shifts.
Bei jedem Shift in Richtung Verschlechterung und bei jedem Traffic- oder Bot-Shift zeigt dir die Beobachtung außerdem, wo es passiert: nach Land, Seitentyp, Gerät und Domain. Dazu die Releases, die rund um den Beginn live gegangen sind.
Ein Shift endet von selbst, sobald eine Viertelstunde wieder nah am Üblichen liegt. Hält er vier Tage oder länger an, endet er ebenfalls: Dann gilt der neue Wert als normal. Kommt dieselbe Veränderung innerhalb von sieben Tagen zur gleichen Tageszeit wieder, bleibt es eine einzige Beobachtung, “Shift, wiederkehrend”, mit jedem einzelnen Auftreten darin.
Trends: was sich über Wochen verschiebt
Nicht alles kippt in einer Viertelstunde. Manches wird jede Woche ein kleines bisschen schlechter: ein Bild mehr hier, ein Skript mehr dort. Kein einzelner Tag sticht heraus, und genau deshalb bemerkt es niemand.
Ein Trend vergleicht die letzten sieben Tage mit den 14 Tagen davor. Betrachtet werden LCP, INP, CLS und TTFB, jeweils als Anteil der Pageviews im schlechten Bereich, dazu der Fehleranteil. Ein Trend entsteht, wenn dieser Anteil auf das 1,3-Fache der 14 Tage davor steigt und dabei um mindestens zwei Prozentpunkte zulegt. Umgekehrt gilt dasselbe für eine Verbesserung. Ausgewertet wird einmal täglich, um Mitternacht UTC. Der Trend endet an der ersten Mitternacht, an der die letzten sieben Tage wieder unter dem 1,1-Fachen liegen.
Ein offener Trend sagt dir außerdem, seit wann die Metrik auf dem neuen Niveau liegt, als “seit mindestens” einem bestimmten Tag. Das ist die Frage, die du als Nächstes stellst, denn diesen Tag willst du mit deinen Deploys abgleichen. “Mindestens”, weil der Trend nur die letzten sieben Tage kennt: Begonnen haben kann es auch schon früher.
Gesehen, mit einer Notiz für dein Team
Eine Beobachtung, um die sich schon jemand kümmert, soll nicht weiter alle anspringen. Mit “Als gesehen markieren” oben rechts nimmst du sie aus den offenen Beobachtungen und aus dem Zähler in der Seitenleiste. Dazu kannst du eine Notiz für dein Team schreiben, bis zu 1.000 Zeichen. Zum Beispiel: “Liegt am Release von gestern, der Fix ist unterwegs.”
Gesehen heißt nicht erledigt. Die Beobachtung endet weiterhin von selbst, sobald sich die Werte normalisiert haben, und die Notiz bleibt auch danach erhalten. Kommt ein wiederkehrender Shift erneut, bleibt er gesehen. Markieren können Owner und Member. Viewer sehen, was als gesehen markiert ist, können aber selbst nicht markieren.
Was Beobachtungen nicht tun
Beobachtungen verschicken keine Benachrichtigungen. Sie stehen im Dashboard, wenn du nachsiehst. Die wöchentliche Mail greift allerdings die Trends auf, sofern du sie bekommst: offene Verschlechterungen und die Verbesserungen der Woche.
Und es ist eine Beta. Die Schwellen haben wir an echten Daten getestet und nachgeschärft. Trotzdem können sie sich noch ändern, genau wie die Texte und das Layout der Seite.
Sag uns, was du siehst
Am meisten lernen wir gerade aus den Beobachtungen, die nicht passen: eine, die zu früh kam, eine, die gefehlt hat, eine, deren Text dich ratlos zurückgelassen hat. Schreib uns über “Feedback senden” im Dashboard, und erzähl uns auch, wie du Beobachtungen in deinem Monitoring einsetzt. Alle Regeln im Detail stehen in der Dokumentation.