ip-label is now officially part of ITRS. Read the press release.

ip-label is now officially part of ITRS. Read the press release.

Le tableau de bord lors de la réunion contractuelle

01
Performance fournisseur
& responsabilité
Quand le reporting et l’expérience divergent

Qui décide si votre fournisseur de services était indisponible ?

Les rapports du fournisseur peuvent indiquer qu’un service numérique a respecté ses engagements de performance, même lorsque des clients ou des collaborateurs ont rencontré des défaillances.

Point de vue du fournisseur

Le service a respecté ses engagements.

Les fournisseurs observent les performances depuis leur propre environnement opérationnel, leur infrastructure et leurs systèmes de reporting.

Point de vue utilisateur

Le service a malgré tout échoué pour les utilisateurs.

Les clients et les collaborateurs expérimentent le service depuis l’extérieur de cet environnement, sur l’ensemble du parcours numérique.

Digital Experience Monitoring indépendant

Une trace outside-in de la manière dont le service a réellement fonctionné pour les utilisateurs.

Le Digital Experience Monitoring (DEM) indépendant peut fournir une trace outside-in de la manière dont le service a fonctionné pour les utilisateurs. Une responsabilité efficace suppose de convenir de ce qui sera mesuré, de qui effectuera la mesure et des éléments de preuve que les deux parties accepteront.

01
Que sera-t-il mesuré ? Définir les indicateurs qui représentent une performance de service réellement significative.
02
Qui effectuera la mesure ? Déterminer si les preuves proviennent du fournisseur, du client ou d’un système indépendant.
03
Quelles preuves seront retenues ? Convenir à l’avance des mesures que les deux parties accepteront.

Une vision publique de la performance des fournisseurs de connectivité

Le reporting de la performance des fournisseurs se déroule généralement de manière privée. NHS England constitue une exception particulièrement visible.

Health and Social Care Network

Fournisseurs identifiés. Indicateurs communs. Publication mensuelle.

Chaque mois, NHS England publie un tableau présentant les performances de fournisseurs de connectivité nommément identifiés sur le Health and Social Care Network (HSCN).

Le réseau permet aux organismes de santé et de soins d’accéder à des informations électroniques et de les échanger au moyen de services fournis par plusieurs prestataires.

Ce reporting fournit aux organisations utilisant le HSCN une base commune pour comparer les fournisseurs et examiner leurs performances dans le temps.

Le tableau publié établit une référence commune de performance.

01 Incidents de sévérité élevée Recense les incidents de service majeurs affectant le réseau.
02 Connexions affectées Indique la proportion de connexions touchées par les incidents.
03 Temps de rétablissement Mesure le temps moyen nécessaire au rétablissement du service.
04 Disponibilité du réseau Fournit plusieurs mesures de la disponibilité de la connectivité.
Au-delà du reporting mensuel

Le reporting de performance s’inscrit dans un cadre de gouvernance plus large.

Les fournisseurs doivent respecter des obligations définies avant de fournir une connectivité HSCN. Une fois les services en production, leurs performances et leur conformité au cadre sont suivies régulièrement et réévaluées chaque année.

01
Obligations définies Les exigences doivent être respectées avant la fourniture des services de connectivité.
02
Suivi continu Les services en production sont suivis régulièrement et réévalués chaque année.
03
Investigation & remédiation Les problèmes significatifs peuvent entraîner une investigation et des actions correctives.
En regardant de plus près

Une grande partie des informations de performance provient des fournisseurs eux-mêmes.

Chaque fournisseur déclare ses connexions et leur disponibilité. À la suite d’un incident de sévérité élevée, le fournisseur concerné fournit un compte rendu de son impact, de sa cause, de sa résolution et des actions de suivi.

NHS England définit le cadre de reporting et publie les résultats, mais les fournisseurs restent une source importante des éléments de preuve sous-jacents.

Le fait que les données soient fournies par le fournisseur ne rend pas automatiquement le reporting peu fiable. Les fournisseurs rendent compte selon des définitions communes et des obligations formelles, tandis que NHS England assure la supervision.
L’écart de responsabilité

Que se passe-t-il lorsque la version du fournisseur concernant un service numérique ne correspond pas à l’expérience des personnes qui l’utilisent ?

Cette question dépasse largement les réseaux du secteur public. Dès qu’une organisation dépend d’un service numérique exploité par un tiers, la télémétrie interne du fournisseur et l’expérience réelle des utilisateurs peuvent raconter des histoires différentes.

Un enjeu commun aux écosystèmes numériques

La même question de responsabilité se pose chaque fois qu’un service numérique critique est exploité par un tiers.

Dans tous les cas, le fournisseur observe le service depuis son propre environnement opérationnel. Les utilisateurs, eux, y accèdent depuis un autre point de vue.

Plateforme cloud Application SaaS Prestataire de paiement Interface bancaire Portail de services essentiels Application métier externalisée Site web client Service en ligne tiers
Deux perspectives sur un même service

Le fournisseur observe le service depuis l’intérieur de son environnement. L’utilisateur expérimente l’ensemble du parcours depuis l’extérieur.

03
Reporting fournisseur
& expérience utilisateur
Deux visions d’un même service

Quand le reporting fournisseur et l’expérience utilisateur divergent

Un fournisseur peut indiquer qu’une application a été disponible à 99,9 % sur le trimestre. Pendant cette même période, des collaborateurs peuvent pourtant avoir rencontré des échecs de connexion, des transactions incomplètes ou des pages trop lentes pour être réellement utilisables.

La contradiction apparente

Les deux constats peuvent être exacts.

La différence ne tient pas nécessairement à la précision des mesures, mais à ce que chaque partie mesure réellement.

Des questions différentes, des réponses différentes

La disponibilité de l’infrastructure et la réussite de l’activité utilisateur ne sont pas nécessairement la même chose.

Point de vue du fournisseur

Les composants ont-ils répondu ?

Le fournisseur peut mesurer si l’infrastructure, les applications et les composants techniques ont renvoyé la réponse attendue.

Point de vue de l’utilisateur

L’activité a-t-elle pu être menée à bien ?

Les utilisateurs cherchent surtout à savoir s’ils ont pu mener à bien l’activité numérique qu’ils devaient effectuer.

Ce qu’un pourcentage trimestriel peut masquer

Un taux de disponibilité élevé n’indique ni quand, ni où, ni pour qui la perturbation s’est produite.

01 Périodes de forte activité Une courte interruption peut survenir pendant la période la plus chargée ou la plus critique pour l’organisation.
02 Sites ou réseaux spécifiques Des défaillances répétées peuvent n’affecter que certains bureaux, certaines régions ou certains chemins de connectivité.
03 Certaines populations d’utilisateurs Un problème peut ne concerner qu’une partie des utilisateurs de l’organisation.
Définir la disponibilité

La définition de la disponibilité compte autant que le pourcentage lui-même.

01
La page répond Un serveur web peut renvoyer une réponse techniquement correcte alors même que la page ne contient aucune information à jour.
02
L’écran de connexion s’affiche L’application peut sembler disponible alors que l’authentification échoue lorsque l’utilisateur tente de se connecter.
03
La transaction démarre Une transaction peut atteindre sa dernière étape avant qu’un service dépendant n’empêche sa finalisation.
La distinction essentielle

Le rapport peut être exact — mais il peut répondre à une autre question que celle que le client doit réellement se poser.

Ces situations ne signifient pas nécessairement que le reporting du fournisseur est erroné. L’écart peut simplement refléter le périmètre, le point d’observation et la définition utilisés pour chaque mesure.

Lors de la revue de performance du fournisseur

Le fournisseur et le client peuvent arriver avec des ensembles de preuves différents.

Une revue contractuelle ne consiste donc pas uniquement à comparer un seul taux de disponibilité. Chaque partie peut s’appuyer sur des éléments de preuve différents décrivant le même service.

Éléments de preuve du fournisseur
01 Taux de disponibilité
02 Historique des incidents
03 Périodes de maintenance
04 Calculs des objectifs contractuels
Éléments de preuve du client
01 Tickets de support
02 Réclamations utilisateurs
03 Données métier
04 Données d’expérience numérique
Le « tableau de bord » contractuel

Le tableau de bord présenté lors d’une réunion contractuelle ne désigne pas nécessairement une interface technique unique et partagée.

Il correspond à la synthèse des éléments de performance sur lesquels une partie s’appuie. Plusieurs lectures différentes d’un même service peuvent donc être examinées au cours de la discussion.

Tableau de bord en temps réel Présentation trimestrielle Rapport PDF Feuille de calcul Chronologie des incidents
Avant de tirer une conclusion contractuelle

L’objectif de la revue est de mettre ces différentes lectures en perspective.

Avant qu’un ensemble de preuves puisse étayer une conclusion contractuelle, les parties doivent déterminer si elles mesuraient réellement des conditions comparables.

01 Le même service ?
02 La même période ?
03 Des emplacements comparables ?
04 Les mêmes conditions ?
04
Engagements de service
& mesure
De la promesse contractuelle à la preuve mesurable

Un engagement de service nécessite aussi une méthode de mesure

Un accord de service peut définir la disponibilité, le temps de réponse, la gravité des incidents, les objectifs de rétablissement, les obligations de compte rendu et les crédits de service applicables lorsque les objectifs convenus ne sont pas atteints.

Ce que l’accord définit

La formulation contractuelle peut paraître très précise.

Les accords de service expriment généralement la performance au moyen d’objectifs, de responsabilités et de recours clairement définis.

01
Disponibilité
02
Temps de réponse
03
Gravité des incidents
04
Objectifs de rétablissement
05
Obligations de compte rendu
06
Crédits de service
La précision apparente
99,9 %

Un engagement précis de disponibilité laisse pourtant subsister des questions importantes sur la manière dont une défaillance sera réellement détectée, chronométrée et documentée.

Les questions de mesure encore sans réponse

Qu’est-ce qui permet de déterminer si l’engagement a réellement été manqué ?

? Comment l’indisponibilité sera-t-elle détectée ?
? Quelle horloge fera foi pour déterminer son début ?
? Quelle durée est considérée comme une indisponibilité ?
? Quelles interruptions sont exclues ?
? Quelles mesures feront foi ?
La charge de la preuve

Ces réponses sont importantes, car les clients peuvent supporter une charge de la preuve significative.

Un client peut devoir non seulement subir une interruption admissible, mais aussi la détecter, la documenter, conserver les preuves pertinentes et les transmettre conformément au processus défini par le fournisseur.

Conditions de service publiées

Certains engagements de service exigent explicitement que les clients étayent leur demande de crédit de service.

Ces exemples ne constituent pas des pratiques universelles, mais ils illustrent la manière dont les recours contractuels peuvent dépendre des preuves collectées et fournies par le client.

Exemple 01

Conditions de service AWS CloudFront

Les conditions publiées peuvent exiger qu’un client demandant un crédit identifie les incidents concernés, fournisse les dates et horaires, transmette des journaux de requêtes corroborant l’indisponibilité et respecte un délai défini.

Voir les conditions de service publiées
Exemple 02

Engagement de service Google Cloud

D’autres engagements publiés exigent également que les clients notifient le fournisseur dans un délai défini et fournissent des journaux montrant quand l’indisponibilité s’est produite.

Voir l’engagement de service publié
01
Identifier l’incident Déterminer quel événement de service admissible a affecté le client.
02
Fournir les dates et horaires Documenter le début de la perturbation et le moment où le service a été rétabli.
03
Fournir les journaux justificatifs Produire des preuves techniques permettant de corroborer l’indisponibilité déclarée.
04
Respecter le délai Soumettre la demande et les éléments justificatifs dans le délai contractuel requis.
Ces exemples ne décrivent pas tous les accords conclus avec des fournisseurs. Ils mettent néanmoins en évidence un problème facilement négligé : l’éligibilité à un recours contractuel peut dépendre de la capacité du client à produire les bons éléments de preuve, sous la bonne forme et dans le délai requis.
L’angle mort contractuel

Un accord peut contenir une promesse de disponibilité tout en laissant au client la responsabilité de détecter, documenter et démontrer la défaillance admissible.

L’absence des informations requises peut empêcher un client d’établir son éligibilité à un crédit de service, même lorsque les utilisateurs ont clairement subi une perturbation.

Promesse et preuve

Un engagement contractuel ne devient réellement exploitable que lorsque l’événement concerné peut être démontré.

L’engagement

« La disponibilité sera de 99,9 %. »

L’accord fixe le niveau de service attendu et, le cas échéant, le recours applicable lorsque ce niveau n’est pas atteint.

La preuve

« Pouvez-vous prouver quand et où le service était indisponible ? »

La méthode de mesure détermine si le client peut établir qu’une défaillance admissible s’est réellement produite.

Sans preuves conservées

Le client peut savoir que les utilisateurs ont rencontré un problème tout en ne disposant pas des informations nécessaires pour déterminer quand, où et pendant combien de temps il s’est produit.

Des preuves de performance indépendantes et conservées deviennent donc importantes non seulement pour la visibilité opérationnelle, mais aussi pour mener des échanges pertinents sur la performance du fournisseur.

05
DEM indépendant
& preuves depuis l’extérieur
Observer le service du point de vue de l’utilisateur

Ce que la surveillance indépendante de l’expérience numérique apporte

La surveillance de l’expérience numérique observe un service numérique du point de vue de l’utilisateur, en se concentrant sur la disponibilité, la performance et la qualité de l’expérience au point d’interaction.

À l’intérieur du service

Le fournisseur observe son propre environnement opérationnel.

La surveillance interne peut fournir des informations importantes sur l’infrastructure, les applications et les composants techniques.

À l’extérieur du service

Le DEM observe ce qui se passe au point d’interaction avec l’utilisateur.

Cela crée un point d’observation distinct permettant de vérifier si le service numérique a réellement fonctionné comme prévu.

La perspective depuis l’extérieur

Le DEM fournit des preuves observées depuis l’extérieur permettant de déterminer si le service a réellement fonctionné pour les personnes qui l’utilisent.

Cela confère à la surveillance de l’expérience numérique un rôle spécifique dans l’évaluation de la responsabilité du fournisseur : l’observation est réalisée du point de vue de l’utilisateur, et non uniquement depuis l’environnement interne du fournisseur.

De la perturbation à la preuve

La surveillance depuis l’extérieur peut transformer un problème opérationnel en preuves structurées et conservées.

01
Qu’est-ce qui a échoué ? Identifier le moment où une activité numérique importante n’a pas pu être menée à bien.
02
Pendant combien de temps ? Déterminer quand le problème est apparu et pendant combien de temps la dégradation ou la défaillance a persisté.
03
Depuis quel endroit ? Déterminer si certains sites ou points d’observation ont été affectés.
04
Le problème s’est-il reproduit ? Identifier des schémas récurrents qui ne deviennent parfois visibles qu’avec le temps.
Sans preuves conservées

« Le service était lent cet après-midi-là. »

Les réclamations individuelles et les souvenirs peuvent indiquer qu’un problème s’est produit, mais rendre l’événement difficile à reconstituer avec précision.

Avec des preuves issues du DEM

Des observations horodatées et reproductibles.

Les résultats détaillés de la surveillance peuvent montrer précisément quand la dégradation s’est produite et si le même comportement s’est reproduit.

Visibilité dans le temps

Un trimestre d’observations peut révéler des tendances que des réclamations individuelles ne permettent pas d’identifier.

Les tendances peuvent révéler des dégradations persistantes ou récurrentes qu’il serait difficile de reconstituer à partir de tickets d’assistance isolés, de réclamations ou de souvenirs d’incidents individuels.

Un point d’observation distinct

Le DEM observé depuis l’extérieur ne nécessite pas d’accéder à l’environnement interne du fournisseur.

Cela est particulièrement utile lorsqu’une organisation dépend d’un service numérique qu’elle ne peut pas instrumenter directement. Lorsque la surveillance est également assurée indépendamment du fournisseur, les preuves proviennent d’un troisième point d’observation appliquant sa propre méthode définie.

Fournisseur

Vision opérationnelle interne

Preuves générées depuis l’environnement technique propre au fournisseur du service.

Client

Preuves utilisateurs et métier

Tickets d’assistance, réclamations, données métier et autres observations réalisées côté client.

DEM indépendant

Point d’observation distinct

Preuves produites indépendamment du fournisseur du service numérique selon une méthode de surveillance définie.

Des normes reconnues peuvent renforcer la confiance — mais elles ne rendent pas automatiquement chaque résultat de surveillance incontestable. Les certifications et les normes reconnues peuvent apporter des garanties concernant la sécurité, la gestion des services ou les processus qualité d’un fournisseur de surveillance. La valeur probante de chaque résultat dépend néanmoins toujours de la qualité et de la transparence de la méthode utilisée.
Qu’est-ce qui rend une preuve issue de la surveillance crédible ?

Les deux parties doivent comprendre comment les preuves ont été produites.

La confiance repose sur la possibilité d’examiner la méthode de surveillance, d’en comprendre le périmètre et de déterminer si les observations étayent réellement la conclusion avancée.

01
Qu’est-ce qui a été observé ? Définir l’activité, le parcours ou le comportement du service faisant l’objet de la mesure.
02
Depuis quel endroit ? Identifier les réseaux, les sites ou les points d’observation utilisés.
03
À quelle fréquence ? Comprendre à quelle fréquence le service ou le parcours a été testé.
04
Comment les erreurs ont-elles été confirmées ? Déterminer la méthode utilisée pour distinguer les véritables défaillances des faux signaux générés par la surveillance.
05
Comment les scénarios ont-ils été contrôlés ? Comprendre comment des conditions de surveillance reproductibles ont été maintenues.
06
Comment les résultats ont-ils été conservés ? Vérifier comment les observations historiques ont été stockées et rendues disponibles pour des analyses ultérieures.
La condition pour que des preuves indépendantes soient utiles

Le DEM indépendant est particulièrement utile lorsque sa méthode peut withstand informed examination.

Ses résultats deviennent plus utiles dans l’évaluation de la responsabilité du fournisseur lorsque la méthode d’observation est transparente et que les parties ont convenu de la manière dont ces résultats seront pris en compte lors des revues de performance.

07
Accord avant incident
& règles de mesure
Définir les preuves avant d’en avoir besoin

Que faut-il convenir avant qu’une interruption ne survienne ?

Les organisations incluent régulièrement des objectifs de performance et des obligations de compte rendu dans leurs accords avec les fournisseurs. Pour les services numériques importants, elles devraient également définir la manière dont la performance sera observée.

Avant que le service ne tombe en panne

Le meilleur moment pour définir ce qui constitue une preuve crédible est avant qu’un désaccord n’apparaisse entre le client et le fournisseur.

Un engagement de performance est plus facile à interpréter lorsque les deux parties comprennent déjà le périmètre du service, la méthode de mesure, les preuves qui seront conservées et le processus prévu pour résoudre les divergences.

Questions à clarifier en amont

Les objectifs de performance doivent être accompagnés de règles de mesure concrètes.

La discussion n’a pas besoin de devenir inutilement technique. Elle doit toutefois lever toute ambiguïté sur la manière dont le service sera observé et sur la façon dont les preuves seront interprétées.

01
Quels services ou quelles activités utilisateur caractérisent un service fonctionnel ?
02
Depuis quels sites ou environnements la performance doit-elle être observée ?
03
Quels indicateurs et quels seuils seront utilisés ?
04
Qui collectera et conservera les mesures ?
05
Le compte rendu du fournisseur sera-t-il complété par un DEM indépendant ?
06
Comment les défaillances brèves ou intermittentes seront-elles confirmées ?
07
Comment les périodes de maintenance et les exclusions convenues seront-elles enregistrées ?
08
Pendant combien de temps les résultats de surveillance, journaux et rapports d’incident seront-ils conservés ?
09
Quelles preuves sont nécessaires pour demander un crédit de service ?
10
Comment les mesures contradictoires seront-elles examinées ?
11
Quelles informations peuvent être partagées sans exposer de données personnelles, confidentielles ou sensibles en matière de sécurité ?
Un niveau adapté au service

Tous les services numériques ne nécessitent pas le même niveau de gouvernance de la mesure.

Le niveau de détail doit refléter l’importance du service et les conséquences que sa défaillance pourrait entraîner. Les différents services numériques justifient des niveaux différents d’exigence contractuelle et de gestion des preuves.

NIVEAU 01 Microsite promotionnel Présence numérique temporaire ou à faible impact.
NIVEAU 02 Application interne de réservation de salles Service opérationnel utile avec un impact métier limité.
NIVEAU 03 Service de paiement client Le chiffre d’affaires et l’expérience client peuvent dépendre directement de sa disponibilité.
NIVEAU 04 Plateforme critique externalisée Les opérations essentielles peuvent dépendre d’une fourniture de service fiable et démontrable.
Le principe fondamental

Convenir du niveau de performance attendu sans définir comment il sera mesuré laisse subsister une incertitude évitable.

La mesure n’a pas besoin d’occuper une place centrale dans l’accord, mais les parties doivent comprendre comment une défaillance importante sera détectée, documentée et examinée si elle survient.

08
Les preuves nécessitent une interprétation

Un historique de performance numérique, pas un verdict automatique

Un historique de performance fiable peut établir ce qui a été observé. Il ne permet toutefois pas, à lui seul, de trancher toutes les questions de responsabilité contractuelle.

Ce que montre l’exemple du NHS England

Rendre visible la performance des fournisseurs crée un historique qui peut être analysé dans le temps.

Des comptes rendus nominatifs, des définitions communes et des résultats historiques rendent visible un processus d’évaluation de la performance fournisseur qui resterait autrement privé.

Dans le même temps, le fait qu’une grande partie des données sous-jacentes soit fournie par le fournisseur rappelle que chaque mesure doit être comprise en fonction de son origine et de ce qu’elle représente réellement.

01
Compte rendu nominatif La performance de chaque fournisseur peut être examinée individuellement.
02
Définitions communes Les résultats sont présentés selon un cadre commun.
03
Résultats historiques Les tendances et les performances récurrentes peuvent être analysées dans le temps.
Toujours demander d’où provient la mesure

Un chiffre n’a de sens que lorsque son point d’observation, son périmètre et sa méthode sont compris.

Les comptes rendus fournis par le fournisseur et les mesures réalisées depuis l’extérieur peuvent tous deux être utiles, mais ils décrivent le service depuis des perspectives différentes.

Le rôle du DEM observé depuis l’extérieur

Le DEM peut documenter l’expérience utilisateur. La responsabilité contractuelle nécessite toujours une interprétation.

Ce que le DEM peut établir

Que s’est-il passé du point de vue de l’utilisateur ?

La surveillance depuis l’extérieur peut documenter si les utilisateurs ont pu accéder au service et mener à bien les activités numériques attendues.

Ce qui nécessite encore une analyse

Qui était contractuellement responsable ?

La responsabilité doit encore être évaluée au regard du périmètre contractuel du service, des exclusions applicables et des circonstances de l’incident.

01 Périmètre du service
02 Exclusions convenues
03 Circonstances de l’incident
Pratique, sans être nécessairement public

Une évaluation crédible de la responsabilité fournisseur n’exige pas que toutes les organisations adoptent le même modèle de compte rendu.

Toutes les organisations n’ont pas besoin de publier les performances de leurs fournisseurs, et toutes les relations fournisseurs n’exigent pas un tableau de bord techniquement unifié. Ce qui compte, c’est de disposer d’un historique fiable permettant de déterminer si les services numériques importants ont été fournis comme prévu.

01
La publication des performances est facultative Les preuves du fournisseur n’ont pas besoin d’être rendues publiques pour être utiles.
02
Un tableau de bord unique n’est pas obligatoire Des sources différentes peuvent tout de même être comparées si leurs méthodes et leur périmètre sont compris.
03
Un historique fiable est essentiel Les services numériques importants doivent laisser suffisamment de preuves pour déterminer s’ils ont été fournis comme prévu.
Preuve ≠ responsabilité automatique

Un historique de performance doit établir ce qui s’est passé — pas décider automatiquement qui est responsable.

Cette distinction protège à la fois le client et le fournisseur. Les preuves fournissent une base factuelle commune ; l’interprétation contractuelle détermine ensuite ce qu’elles impliquent en matière de responsabilité et de recours.

La question essentielle lors de la prochaine revue

La question la plus utile n’est pas de savoir quel tableau de bord doit l’emporter. Elle consiste à déterminer si le client et le fournisseur avaient convenu, avant l’interruption, des preuves auxquelles ils seraient tous deux prêts à faire confiance.

Une confiance partagée dans les preuves permet de dépasser plus facilement les débats sur l’existence même de la perturbation et de se concentrer plutôt sur sa cause, les responsabilités, la remédiation et la prévention.

07
Pre-outage agreement
& measurement rules
Agree the evidence before it is needed

What should be agreed before an outage occurs?

Organisations routinely include performance targets and reporting obligations in supplier agreements. For important digital services, they should also consider how performance will be observed.

Before the service fails

The best time to decide what counts as credible evidence is before customer and supplier disagree.

A performance commitment becomes easier to interpret when both parties already understand the service boundary, the measurement method, the evidence that will be retained and the process for resolving differences.

Questions worth resolving in advance

Performance targets should be accompanied by practical measurement rules.

The discussion does not need to become unnecessarily technical. It should, however, remove ambiguity around how the service will be observed and how evidence will be interpreted.

01
Which services or user activities represent a functioning service?
02
From which locations or environments should performance be observed?
03
Which indicators and thresholds will be used?
04
Who will collect and retain the measurements?
05
Will supplier reporting be supplemented by independent DEM?
06
How will short or intermittent failures be confirmed?
07
How will maintenance periods and agreed exclusions be recorded?
08
How long will monitoring results, logs and incident reports be retained?
09
What evidence is required to claim a service credit?
10
How will conflicting measurements be investigated?
11
Which information can be shared without exposing personal, confidential or security-sensitive data?
Proportionate to the service

Not every digital service requires the same level of measurement governance.

The level of detail should reflect the importance of the service and the harm its failure could cause. Different digital services justify different levels of contractual and evidentiary discipline.

LEVEL 01 Marketing microsite Temporary or low-impact digital presence.
LEVEL 02 Internal room-booking app Useful operational service with limited business impact.
LEVEL 03 Customer payment service Revenue and customer experience may depend directly on availability.
LEVEL 04 Critical outsourced platform Core operations may depend on reliable and demonstrable service delivery.
The underlying principle

Agreeing expected performance without agreeing how it will be measured leaves an avoidable source of uncertainty.

Measurement does not need to dominate the agreement, but the parties should understand how an important failure will be detected, documented and examined if it occurs.

08
Evidence requires interpretation

A digital performance record, not an automatic verdict

A credible performance record can establish what was observed. It does not, by itself, decide every question of contractual responsibility.

What the NHS England example illustrates

Making supplier performance visible creates a record that can be examined over time.

Named reporting, common definitions and historical results make an otherwise private supplier-performance process visible.

At the same time, the supplier-provided nature of much of the underlying data reminds us that every measurement should be understood in terms of where it originated and what it represents.

01
Named reporting Provider performance can be examined individually.
02
Common definitions Results are reported against a shared framework.
03
Historical results Trends and recurring performance can be examined over time.
Always ask where the measurement came from

A number becomes meaningful only when its observation point, scope and method are understood.

Supplier-provided reporting and outside-in measurements may both be useful, but they describe the service from different perspectives.

The role of outside-in DEM

DEM can document the user experience. Contractual responsibility still requires interpretation.

What DEM can establish

What happened from the user side?

Outside-in monitoring can document whether users could reach the service and complete expected digital activities.

What still requires analysis

Who was contractually responsible?

Responsibility must still be assessed against the contractual service boundary, relevant exclusions and the circumstances of the incident.

01 Service boundary
02 Agreed exclusions
03 Incident circumstances
Practical, not necessarily public

Credible supplier accountability does not require every organisation to build the same reporting model.

Not every organisation needs public supplier reporting, and not every supplier relationship needs a technologically unified dashboard. What matters is the existence of a credible record of whether important digital services were delivered as expected.

01
Public reporting is optional Supplier evidence does not need to be publicly disclosed to be useful.
02
One dashboard is not mandatory Different sources can still be compared if their methods and scope are understood.
03
A credible record is essential Important digital services should leave enough evidence to determine whether they were delivered as expected.
Evidence ≠ automatic responsibility

A performance record should establish what happened — not automatically decide who is at fault.

That distinction protects both customer and supplier. Evidence provides a common factual basis; contractual interpretation determines what that evidence means for responsibility and remedy.

The question that matters in the next review

The most useful question is not whose dashboard should win. It is whether customer and supplier agreed, before the outage, what evidence they would both be prepared to trust.

Shared confidence in the evidence makes it easier to move beyond disputes about whether disruption occurred and focus instead on cause, responsibility, remediation and prevention.

Article précédent

Laisser un commentaire

En savoir plus sur Ekara by ip-label

Abonnez-vous pour poursuivre la lecture et avoir accès à l’ensemble des archives.

Poursuivre la lecture