ISO/TR 14468:2010

RAPPORT ISO/TR
TECHNIQUE 14468
Première édition
2010-12-15
Illustrations choisies d'une analyse
d'accord d'attribut
Selected illustrations of attribute agreement analysis

Numéro de référence
©
ISO 2010
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.

DOCUMENT PROTÉGÉ PAR COPYRIGHT

©  ISO 2010
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2010 – Tous droits réservés

Sommaire Page
Avant-propos .iv
Introduction.v
1 Domaine d'application .1
2 Références normatives.1
3 Termes et définitions .1
4 Symboles et termes abrégés.3
5 Description générique d'une analyse d'accord d'attribut .3
5.1 Aperçu de la structure d'une analyse d'accord d'attribut .3
5.2 Objectifs globaux de l'analyse d'accord d'attribut .3
5.3 Description du processus de mesure .4
5.4 Méthodologie d'une analyse d'accord d'attribut.4
5.5 Plan d'échantillonnage pour une analyse d'accord d'attribut .5
5.6 Analyse des données.6
5.7 Conclusions et suggestions .7
6 Description des Annexes A à E .7
Annexe A (informative) Fabrication d'écran LCD .8
Annexe B (informative) Triage des problèmes dans le cadre d'une assistance technique .14
Annexe C (informative) Différences de goût de l'eau.21
Annexe D (informative) Défauts de thermistances.27
Annexe E (informative) Évaluation du niveau d'incapacité après un accident vasculaire cérébral .35
Bibliographie.43

Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
Exceptionnellement, lorsqu'un comité technique a réuni des données de nature différente de celles qui sont
normalement publiées comme Normes internationales (cela pouvant comprendre des informations sur l'état
de la technique par exemple), il peut décider, à la majorité simple de ses membres, de publier un Rapport
technique. Les Rapports techniques sont de nature purement informative et ne doivent pas nécessairement
être révisés avant que les données fournies ne soient plus jugées valables ou utiles.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO/TR 14468 a été élaboré par le comité technique ISO/TC 69, Application des méthodes statistiques,
sous-comité SC 7, Applications de techniques statistiques, ou de techniques associées, pour la mise en
œuvre de Six Sigma.
iv © ISO 2010 – Tous droits réservés

Introduction
1)
Les communautés Six Sigma et de normalisation internationale dans le domaine de la statistique partagent
une philosophie d'amélioration continue et de nombreux outils d'analyse. La communauté de normalisation
internationale dans le domaine de la statistique parvient à des documents rigoureux par un consensus
international à long terme. Les disparités en termes de contrainte de temps, de rigueur mathématique et
d'utilisation de logiciels statistiques ont empêché les échanges, la synergie et une appréciation mutuelle entre
les deux groupes.
Le présent Rapport technique considère un outil statistique spécifique, l'analyse d'accord d'attribut, développe
le sujet de manière relativement générale (dans l'esprit des Normes internationales), puis l'illustre au moyen
de cinq applications détaillées distinctes. La description générique se concentre sur les points communs entre
les études conçues pour évaluer l'accord des mesures d'attribut. Les annexes contenant cinq illustrations
suivent le cadre de base, mais identifient également les nuances et les particularités des applications
spécifiques.
1) Six Sigma est une marque commerciale de Motorola, Inc.
RAPPORT TECHNIQUE ISO/TR 14468:2010(F)

Illustrations choisies d'une analyse d'accord d'attribut
1 Domaine d'application
Le présent Rapport technique évalue un processus de mesure dans lequel la (les) caractéristique(s)
mesurée(s) a (ont) la forme de données d'attribut (comprenant des données nominales et des données
ordinales).
Le présent Rapport technique fournit des exemples d'analyse d'accord d'attribut (AAA) et utilise divers
résultats pour évaluer l'étroitesse de l'accord parmi les évaluateurs, tel que l'accord par évaluateur, l'accord
entre les évaluateurs, l'accord de chaque évaluateur par rapport à une référence et l'accord de tous les
évaluateurs par rapport à une référence.
2 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO 3534-1, Statistique — Vocabulaire et symboles — Partie 1: Termes statistiques généraux et termes
utilisés en calcul des probabilités
ISO 3534-2, Statistique — Vocabulaire et symboles — Partie 2: Statistique appliquée
3 Termes et définitions
Pour les besoins du présent document, les termes et définitions donnés dans l'ISO 3534-1, l'ISO 3534-2 ainsi
que les suivants s'appliquent.
3.1
système de mesure
ensemble des opérations, des procédures, des équipements, des logiciels et du personnel qui ont une
incidence sur l'attribution d'une valeur à une caractéristique de mesure
[4]
[IWA 1:2005 , 3.1.9]
NOTE Dans le cadre du présent Rapport technique, le personnel se rapporte à l'évaluateur.
3.2
données nominales
variables de catégorie ayant deux niveaux ou plus, sans ordre logique
3.3
données ordinales
variables de catégorie ayant trois niveaux ou plus, avec un ordre logique
3.4
données binaires
variables de catégorie ayant deux niveaux, sans ordre logique
3.5
accord par évaluateur
étendue de l'accord par chaque évaluateur vis-à-vis de lui-même sur tous les essais lorsque chaque
évaluateur réalise plus d'un essai
3.6
accord entre les évaluateurs
étendue de l'accord de tous les évaluateurs les uns vis-à-vis des autres sur tous les essais lorsque plusieurs
évaluateurs réalisent une ou plusieurs appréciations
3.7
accord de chaque évaluateur par rapport à la référence
étendue de l'accord de chaque évaluateur vis-à-vis de lui-même et par rapport à la référence lorsqu'une
référence connue est spécifiée
3.8
accord de tous les évaluateurs par rapport à la référence
étendue de l'accord de tous les évaluateurs les uns vis-à-vis des autres sur tous les essais et par rapport à la
référence lorsqu'une référence connue est spécifiée
3.9
pourcentage d'accord
P %
accord, exprimé en pourcentage, pour de multiples appréciations réalisées par un seul évaluateur ou par
différents évaluateurs
3.10
kappa
κ
statistique indiquant le degré de concordance des évaluations nominales ou ordinales réalisées par de
multiples évaluateurs lorsqu'ils évaluent les mêmes échantillons
NOTE Les statistiques kappa sont couramment utilisées dans les applications à tableaux croisés et dans l'analyse
d'accord d'attribut.
3.11
kappa de Fleiss
statistique utilisée pour évaluer la fiabilité de l'accord lorsqu'un ou plusieurs évaluateurs sont choisis au
hasard dans un groupe d'évaluateurs disponibles
3.12
kappa de Cohen
statistique utilisée pour évaluer la fiabilité de l'accord lorsque le ou les évaluateurs sont choisis
spécifiquement et sont fixes
3.13
valeur p
probabilité d'obtenir la valeur de la statistique de test observée ou toute autre valeur défavorable à l'hypothèse
nulle
[ISO 3534-1:2006, 1.49]
NOTE Ce concept est utilisé dans les tests d'hypothèse pour faciliter la décision de rejet ou d'impossibilité de rejet
d'une hypothèse nulle.
3.14
statistique Z
statistique de test qui suit la loi normale réduite
2 © ISO 2010 – Tous droits réservés

4 Symboles et termes abrégés
IC 95 % intervalle de confiance à 95 %
AAA analyse d'accord d'attribut
ASM analyse du système de mesure
σ erreur type d'une statistique kappa
κ
n effectif de l'échantillon
P % pourcentage d'accord
Z valeur de la statistique Z
5 Description générique d'une analyse d'accord d'attribut
5.1 Aperçu de la structure d'une analyse d'accord d'attribut
Le présent Rapport technique fournit des lignes directrices générales pour la conception, la conduite et
l'analyse d'études visant à évaluer l'accord parmi les évaluateurs lors du classement d'un élément dans deux
catégories ou plus («bon» ou «mauvais» par exemple). Il décrit une procédure en cinq étapes et illustre les
étapes par cinq applications distinctes données dans les Annexes A à E.
Les étapes indiquées dans le Tableau 1 sont génériques et s'appliquent à la conception et à l'analyse des
études AAA en général. Chacune des cinq étapes ainsi que la méthodologie générale d'analyse d'accord sont
expliquées d'une manière générale de 5.2 à 5.7. Des explications spécifiques concernant le contenu de ces
étapes sont fournies dans les exemples donnés dans les Annexes A à E.
Tableau 1 — Étapes de base d'une analyse d'accord d'attribut
1 Déterminer les objectifs globaux
2 Décrire le processus de mesure
3 Concevoir le plan d'échantillonnage
4 Analyser le résultat
5 Fournir une conclusion avec des suggestions

5.2 Objectifs globaux de l'analyse d'accord d'attribut
Une AAA est souvent utilisée dans les projets Six Sigma et les projets d'amélioration de la qualité. Il convient
que le principal motif des études AAA soit clairement énoncé et convenu par toutes les parties. Le principal
objectif d'une AAA est d'évaluer la capacité d'un système de mesure basé sur des données d'attribut et de
juger s'il est acceptable dans le cadre d'une prise de décisions correctes pour un processus surveillé donné.
L'AAA détermine le niveau de l'accord par évaluateur et entre les évaluateurs et une «référence» reconnue
donnée.
L'AAA est réalisée pour diverses raisons, parmi lesquelles, entre autres:
a) un manque de cohérence dans l'évaluation d'une partie ou d'une unité réalisée par un seul évaluateur au
cours de différents essais;
b) un manque de cohérence dans l'évaluation d'une partie ou d'une unité réalisée par différents évaluateurs;
c) résultats de mesure d'une partie ou d'une unité obtenus par un ou plusieurs évaluateurs en désaccord
avec une valeur de référence connue pour cette partie ou unité;
[5]
d) une exigence des normes de management de la qualité, telles que l'ISO/TS 16949 .
5.3 Description du processus de mesure
Le présent Rapport technique se concentre sur les processus dans lesquels la ou les caractéristiques
mesurées sont constituées par des données d'attribut.
Avant de procéder à une AAA, il convient que le processus de mesure soit clairement décrit, notamment les
évaluateurs, les procédures, la ou les caractéristiques de qualité à mesurer, les conditions de mesure et le
type de données d'attribut (c'est-à-dire nominales, ordinales ou binaires).
5.4 Méthodologie d'une analyse d'accord d'attribut
Dans l'industrie, de nombreux processus de mesure font appel à des calibres, des instruments de pesage,
des micromètres ou d'autres dispositifs réalisant des mesures physiques relativement directes d'une
caractéristique du produit. Il existe néanmoins de nombreuses situations dans lesquelles les caractéristiques
de qualité sont difficiles à définir et à évaluer, telles que l'évaluation des performances d'une automobile, la
classification d'une qualité de tissu en «bonne» ou «mauvaise» et l'évaluation de la couleur, de l'arôme et du
goût d'un vin sur une échelle de 1 à 10.
Lorsqu'il est impossible de réaliser des mesures physiques, des classifications ou évaluations subjectives
sont réalisées par des personnes. Dans ces situations, une AAA est nécessaire lorsque plusieurs évaluateurs
donnent une appréciation et qu'une évaluation de l'accord entre les évaluateurs est réalisée. Si les
évaluateurs sont d'accord, il est possible que les évaluations soient exactes. Si les évaluateurs ne sont pas
d'accord, l'utilité de l'évaluation est limitée.
Les évaluations par attribut peuvent être nominales, ordinales ou binaires. Les données nominales sont des
variables de catégorie ayant deux niveaux ou plus, sans ordre logique. Par exemple, dans une étude de
dégustation d'un produit alimentaire, les niveaux peuvent comprendre croquant, mou et croustillant. Les
données ordinales sont des variables de catégorie ayant trois niveaux ou plus, avec un ordre logique, par
exemple pas du tout d'accord, pas d'accord, neutre, d'accord, tout à fait d'accord. Néanmoins, les distances
entre les catégories sont inconnues. Les données binaires sont des variables de catégorie qui n'ont que deux
niveaux. Par exemple, les évaluateurs classent des éléments en «bon — mauvais» ou «acceptation — rejet».
Il convient de noter que les données binaires constituent en réalité un cas particulier de données nominales
n'ayant que deux niveaux. Les données binaires sont largement utilisées dans l'industrie et lorsqu'il existe une
référence donnant la valeur correcte de l'unité mesurée, les taux d'erreur de classement peuvent également
être employés pour évaluer les performances d'un système de mesure. Un système de mesure binaire est
décrit de manière plus détaillée dans l'Annexe A. Ainsi, dans le présent Rapport technique, les données
nominales se rapportent à une variable ayant trois niveaux possibles ou plus.
Quel que soit le type de données, le pourcentage d'accord d'évaluation peut être utilisé pour évaluer l'accord
d'un système de mesure d'attribut. Le pourcentage d'accord quantifie la concordance de multiples évaluations
réalisées par un même évaluateur ou par différents évaluateurs. Le pourcentage d'accord d'évaluation, P %,
est en réalité l'estimation ponctuelle pour une proportion de la population et est donné par
n
match
P %=× 100 %
n
où
n est le nombre de concordances parmi de multiples évaluations;
match
n est le nombre d'échantillons.
Pour les données nominales, la statistique kappa, κ, est la plus appropriée. Elle est définie comme la
proportion de concordance entre des appréciations après avoir éliminé la concordance aléatoire.
PP−
obs exp
κ=
1− P
exp
4 © ISO 2010 – Tous droits réservés

où
P est la proportion de concordance observée;
obs
P est la proportion de concordance aléatoire attendue.
exp
La valeur de kappa varie de −1 à +1. D'une manière générale, plus la valeur de kappa est élevée, plus la
concordance est forte. Si le kappa a la valeur 1, les évaluations présentent un accord parfait (cohérence). Si
le kappa est égal à 0, la concordance des évaluations est la même que la concordance aléatoire. En général,
des valeurs de kappa supérieures à 0,9 sont jugées excellentes.
Des valeurs de kappa inférieures à 0,7 indiquent que le système d'évaluation doit être amélioré alors que des
valeurs inférieures à 0,4 indiquent que la capacité du système de mesure est inadéquate. En général, une
valeur de kappa d'au moins 0,7 est requise.
Les deux statistiques kappa les plus utilisées sont le kappa de Cohen, basé sur le tableau de contingence à
double entrée, et le kappa de Fleiss, basé sur des paires concordantes. Ils traitent différemment le choix des
évaluateurs lors du calcul de la probabilité de concordance aléatoire. Le kappa de Cohen suppose que les
évaluateurs sont choisis spécifiquement et sont fixes alors que le kappa de Fleiss suppose que les
évaluateurs sont choisis au hasard dans un groupe d'évaluateurs disponibles. Cela conduit à deux méthodes
différentes d'estimation de la probabilité. Par conséquent, le kappa, et son erreur type (ErT), σ , peut être
κ
calculé soit par la méthode de Fleiss, soit par la méthode de Cohen. La statistique de test pour le kappa est
κ
Z=
σ
κ
avec l'hypothèse nulle H :κ = 0 et l'hypothèse alternative H :κ > 0.
0 1
Il s'agit d'un test unilatéral. Pour l'hypothèse nulle, Z suit une loi normale réduite. Rejeter l'hypothèse nulle si la
valeur p est inférieure à la valeur pré-spécifiée, généralement prise comme étant de 0,05.
Étant donné que les données binaires sont un cas particulier de données nominales n'ayant que deux niveaux,
les statistiques kappa peuvent également être employées pour étudier un système de mesure binaire.
Les statistiques kappa ne tiennent pas compte de l'amplitude des écarts observés dans les données ordinales.
Elles représentent l'accord absolu entre les évaluations. Par conséquent, lors de l'examen de données
ordinales, les coefficients de Kendall sont le meilleur choix. Deux types de coefficients de Kendall sont
mentionnés dans le présent Rapport technique, le coefficient de concordance de Kendall (également connu
en tant que W de Kendall) et le coefficient de corrélation de Kendall (également appelé tau de Kendall). Ces
deux coefficients sont des statistiques non paramétriques. Le premier, qui varie de 0 à 1, exprime le degré
d'association entre de multiples évaluations alors que le deuxième, qui varie de −1 à 1, exprime le degré
d'association entre la référence connue et une seule évaluation. Par conséquent, il convient d'utiliser le
coefficient de concordance de Kendall pour évaluer la cohérence par évaluateur et entre évaluateurs. Par
ailleurs, lorsque la référence vraie est connue, le coefficient de corrélation de Kendall peut être employé pour
évaluer les deux types suivants d'accords: l'accord de chaque évaluateur par rapport à la référence et l'accord
de tous les évaluateurs par rapport à la référence.
5.5 Plan d'échantillonnage pour une analyse d'accord d'attribut
Dans le plan d'échantillonnage relatif à des études AAA, il convient de déterminer l'effectif des sous-groupes,
le nombre d'évaluateurs et le nombre d'essais. D'une manière générale, trois à cinq évaluateurs sont choisis
pour évaluer plus de 20 pièces (pour des attributs multiples, un plus grand nombre d'échantillons est requis
pour couvrir tous les attributs) par deux ou trois essais. Noter qu'il convient que les échantillons choisis
représentent la totalité du processus de production. Pour des données nominales, la méthode de sélection
des évaluateurs détermine également la statistique kappa qu'il convient de calculer. Si les évaluateurs sont
spécifiquement choisis et sont fixes, le kappa de Cohen est plus approprié. Si les évaluateurs sont choisis au
hasard dans un groupe d'évaluateurs disponibles, le kappa de Fleiss est préféré. Il est également utile de
mentionner que le kappa de Cohen est basé sur le tableau de contingence à double entrée. Lorsque la
référence n'est pas connue, on ne peut calculer le kappa de Cohen que si et seulement si les données
satisfont aux conditions:
a) par évaluateur — exactement deux essais sont réalisés avec un évaluateur;
b) entre les évaluateurs — il y a exactement deux évaluateurs réalisant chacun un essai.
Dans le processus de mesure en vue d'une AAA, la randomisation est un point très important. La
randomisation signifie qu'il convient que les pièces soient mesurées par l'évaluateur dans un ordre aléatoire.
Le Tableau 2 montre la configuration de base d'une AAA avec trois évaluateurs, trois répétitions et 20
éléments mesurés par chaque évaluateur.
Tableau 2 — Configuration de la conception générale d'une analyse d'accord d'attribut
Évaluateur A Évaluateur B Évaluateur C
Numéro de l'élément Référence
Essai 1 Essai 2 Essai 3 Essai 1 Essai 2 Essai 3 Essai 1 Essai 2 Essai 3
5.6 Analyse des données
Les quatre types d'accord suivants doivent être pris en compte:
a) par évaluateur, c'est-à-dire le degré de concordance de chaque évaluateur vis-à-vis de lui-même sur tous
les essais;
b) entre évaluateurs, c'est-à-dire le degré de concordance de tous les évaluateurs les uns vis-à-vis des
autres sur tous les essais;
c) chaque évaluateur par rapport à la référence, c'est-à-dire le degré de concordance de chaque évaluateur
vis-à-vis de lui-même et par rapport à la référence;
d) tous les évaluateurs par rapport à la référence, c'est-à-dire le degré de concordance de tous les
évaluateurs les uns vis-à-vis des autres et par rapport à la référence.
Il est assez évident que le type d'accord c) n'est pas inférieur au premier type a) car il ajoute une contrainte, à
savoir l'accord par rapport à la référence. La condition est assez similaire pour les quatrième et deuxième
types d'accord. Évidemment, le quatrième type d'accord est le plus faible des quatre. Et pour chaque type
d'accord, deux types de statistiques kappa sont généralement adoptés, à savoir le kappa de Cohen et le
kappa de Fleiss. De plus, pour des données nominales avec trois catégories ou plus, deux types de
coefficients kappa peuvent être calculés. En premier lieu, il est possible de calculer un kappa global qui est
une évaluation de l'accord des évaluateurs dans toutes les catégories. En second lieu, il est possible de
calculer les valeurs individuelles de kappa pour chaque catégorie. Cela révèle les catégories pour lesquelles
les évaluateurs ont des difficultés à s'accorder.
Outre le rapport d'AAA, des graphiques d'AAA sont également utiles. Ils peuvent être utilisés pour refléter
clairement et directement l'accord. En général, les pourcentages de concordance des évaluations par
évaluateur et entre les évaluateurs, les tableaux de coefficients kappa et les tableaux de coefficients de
6 © ISO 2010 – Tous droits réservés

Kendall (données ordinales uniquement) sont calculés. Par ailleurs, un graphique des proportions de
concordance pour chaque évaluateur peut être affiché lorsque le nombre d'essais pour chaque évaluateur est
supérieur à un. En outre, un autre graphique des proportions de concordance entre les évaluations de chaque
évaluateur et l'attribut ne peut être affiché que lorsque l'attribut est connu et fourni pour chaque échantillon.
5.7 Conclusions et suggestions
Sur la base des résultats de l'AAA, il est possible de porter un jugement sur l'adéquation du processus de
mesure de l'attribut. En général, le désaccord par évaluateur montre que l'évaluateur ne peut pas obtenir de
résultats de mesure cohérents (peut-être parce que l'évaluateur ne respecte pas exactement la procédure de
mesure lors des différents essais). Le désaccord entre les évaluateurs signifie que les procédures suivies par
les évaluateurs ne sont pas exactement les mêmes ou que les capacités de mesure des évaluateurs sont
différentes (peut-être en raison de leurs expériences différentes ou pour des raisons physiques, par exemple
l'acuité visuelle pour un examen visuel). Lorsque la ou les causes profondes de l'inadéquation du processus
de mesure de l'attribut ont été trouvées, des mesures doivent être prises.
Après avoir pris certaines mesures afin d'améliorer le système de mesure, par exemple une formation efficace
des opérateurs, l'AAA doit être répétée pour confirmer si le système de mesure amélioré est acceptable.
6 Description des Annexes A à E
Cinq exemples distincts d'AAA sont illustrés dans les Annexes A à E; ils sont résumés dans le Tableau 3 avec
l'indication des différents aspects.
Tableau 3 — Résumé des exemples donnés par annexe
Annexe Exemple Détails de l'AAA
Trois évaluateurs, choisis au hasard dans le groupe
d'évaluateurs, évaluent deux fois la qualité d'un écran LCD
A Fabrication d'écran LCD par un examen visuel sur 20 échantillons. Les résultats de
a
l'examen sont binaires. Le progiciel Minitab est utilisé pour
réaliser l'analyse.
Réponse nominale avec 6 catégories rencontrées dans le
secteur des services; 4 évaluateurs, pas de répétition,
Triage des problèmes dans le cadre
B 48 problèmes évalués par chaque évaluateur. Le progiciel
d'une assistance technique
b
SAS JMP est utilisé pour réaliser l'analyse. La «vérité» sur la
catégorisation correcte d'un problème est connue.
Réponse nominale avec 4 catégories; 3 testeurs,
3 répétitions, soit 12 verres d'eau évalués par chaque testeur.
b
C Différences de goût de l'eau Le progiciel SAS JMP est utilisé pour réaliser l'analyse. La
«vérité» sur la catégorisation correcte d'une marque d'eau est
connue.
Trois évaluateurs, choisis au hasard dans le groupe
d'évaluateurs, évaluent deux fois 20 échantillons de
thermistance par un examen visuel. Les résultats de l'examen
D Défauts de thermistances
sont des données nominales, relevant de 8 catégories et
a
sans ordre logique. Le progiciel Minitab est utilisé pour
réaliser l'analyse.
Réponse ordinale avec 5 catégories ordonnées rencontrées
dans le secteur médical; 2 évaluateurs, pas de répétition,
Évaluation du niveau d'incapacité
E 46 cas évalués par chaque évaluateur. Le progiciel
après un accident vasculaire cérébral
b
SAS JMP est utilisé pour réaliser l'analyse. La «vérité» sur la
catégorisation correcte d'un cas est connue.
a
Minitab est l'appellation commerciale d'un produit fourni par Minitab, Inc. Cette information est donnée à l'intention des utilisateurs
du présent document et ne signifie nullement que l'ISO approuve ou recommande l'emploi exclusif du produit ainsi désigné.
b
SAS JMP est l'appellation commerciale d'un produit fourni par SAS Institute, Inc. Cette information est donnée à l'intention des
utilisateurs du présent document et ne signifie nullement que l'ISO approuve ou recommande l'emploi exclusif du produit ainsi désigné.
Annexe A
(informative)
Fabrication d'écran LCD
A.1 Généralités
Dans une usine de fabrication d'écrans LCD (Liquid crystal display), la caractéristique d'affichage est jugée
par des opérateurs au moyen d'un examen visuel. Tous les échantillons sont testés en mode VGA (Video
graphics array). Les résultats peuvent être soit une couleur normale (marquée comme bonne) ou une couleur
anormale (mauvaise). Lors de la phase de mesure, un examen visuel, conduisant à un classement subjectif,
est principalement employé par les évaluateurs pour juger si un échantillon est bon ou mauvais. Par
conséquent, l'expérience des évaluateurs et la formation qu'ils ont suivie ont une importance considérable.
L'objectif de cette étude est d'évaluer la cohérence et l'exactitude du système de mesure d'attribut.
A.2 Variable de réponse
La variable de réponse est une donnée binaire (deux niveaux sans ordre logique).
A.3 Attribut de référence
Dans ce cas, l'attribut de référence (l'évaluation correcte) est donné.
A.4 Raisons possibles d'un jugement erroné
Le non-respect des instructions de travail peut conduire à un jugement erroné. L'expérience des évaluateurs
et la formation qu'ils ont suivie peuvent également constituer un autre facteur d'erreur.
A.5 Plan d'échantillonnage
Pour évaluer la cohérence et l'exactitude des évaluations, trois évaluateurs, Carol, Fiona et Kaka, ont évalué
deux fois la qualité de l'écran LCD sur 20 échantillons (modèle: LCD40b66) par examen visuel. Les
échantillons d'écran LCD ont été présentés au hasard aux trois évaluateurs, qui ont été choisis au hasard
dans un groupe ayant suivi la même formation initiale et disposant d'une expérience comparable.
Les résultats de l'examen sont binaires.
A.6 Données brutes
Le Tableau A.1 présente les données brutes utilisées pour l'AAA.
8 © ISO 2010 – Tous droits réservés

Tableau A.1 — Résultats d'examen de l'écran LCD et attribut de référence
Carol Fiona Kaka
Pièce Référence
Essai 1 Essai 2 Essai 1 Essai 2 Essai 1 Essai 2
1 Bon Bon Bon Bon Bon Bon Bon
2 Bon Bon Bon Bon Bon Bon Bon
3 Bon Bon Bon Bon Bon Bon Bon
4 Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais
5 Mauvais Mauvais Mauvais Bon Bon Mauvais Mauvais
6 Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais
7 Bon Bon Bon Bon Bon Bon Bon
8 Bon Bon Bon Bon Bon Bon Bon
9 Bon Bon Bon Bon Bon Bon Bon
10 Bon Bon Bon Bon Bon Bon Bon
11 Bon Bon Bon Bon Bon Bon Bon
12 Bon Bon Bon Bon Bon Bon Bon
13 Bon Bon Bon Bon Bon Bon Bon
14 Bon Bon Bon Bon Bon Mauvais Mauvais
15 Bon Bon Bon Bon Bon Bon Bon
16 Bon Bon Bon Bon Bon Bon Bon
17 Bon Bon Bon Bon Bon Bon Bon
18 Bon Bon Bon Bon Bon Bon Bon
19 Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais
20 Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais Mauvais

A.7 Analyse d'accord d'attribut
2)
Une AAA par le progiciel Minitab 15 est adoptée pour évaluer la cohérence et l'exactitude des classements
subjectifs par un examen des résultats par évaluateur, entre les évaluateurs et par rapport à la référence. Le
résultat de l'AAA est constitué des données de sortie de la fenêtre session et de la fenêtre graphique.
La fenêtre session contient les types d'accord suivants:
a) par évaluateur: il indique la cohérence avec laquelle un évaluateur évalue le même échantillon au cours
de différents essais;
b) entre évaluateurs: il indique si les évaluations des évaluateurs sont en accord les unes avec les autres,
c'est-à-dire si différents évaluateurs donnent la même évaluation au même échantillon.

2) Minitab est l'appellation commerciale d'un produit fourni par Minitab, Inc. Cette information est donnée à l'intention des
utilisateurs du présent document et ne signifie nullement que l'ISO approuve ou recommande l'emploi exclusif du produit
ainsi désigné.
Étant donné que, dans ce cas, l'attribut de référence (l'évaluation correcte) est donné, le résultat de la fenêtre
session contient deux types supplémentaires de concordances:
c) chaque évaluateur par rapport à la référence: il indique quel est le degré de concordance avec la
référence de l'évaluation de chaque échantillon par chaque évaluateur, c'est-à-dire si chaque évaluation
du même évaluateur est en accord avec l'évaluation de référence;
d) tous les évaluateurs par rapport à la référence: il indique le degré de concordance avec la référence des
réponses de tous les évaluateurs lorsqu'elles sont combinées.
Pour chaque type d'accord, les données de sortie de la fenêtre session comprennent l'accord d'évaluation et
les statistiques kappa de Fleiss afin d'évaluer la cohérence et l'exactitude des réponses des évaluateurs.
A.7.1 Accord par évaluateur
Les tableaux par évaluateur de la fenêtre session peuvent aider à déterminer si chaque évaluateur évalue
l'écran LCD de manière cohérente pour l'ensemble des essais.
Comme le montre le Tableau A.2, chaque évaluateur a évalué 20 écrans LCD (nombre inspecté). Carol,
Fiona et Kaka ont évalué de la même manière 20 des 20 écrans LCD pour l'ensemble des essais (nombre de
concordances), soit 100 % de concordance. L'intervalle de confiance (IC) à 95 % pour le pourcentage de
concordance est de 86,09 % à 100 %.
Tableau A.2 — Pourcentages d'accord d'évaluation par évaluateur
a b
Évaluateur Pourcentage IC 95 %
Nombre inspecté Nombre de concordances
Carol 20 20 100,00 (86,09, 100,00)
Fiona 20 20 100,00 (86,09, 100,00)
Kaka 20 20 100,00 (86,09, 100,00)
a
Nombre d'écrans LCD qui ont été évalués.
b
Nombre de concordances par évaluateur au cours de tous les essais.

Pour évaluer la cohérence des évaluations de chaque évaluateur pour l'ensemble des essais, il est également
possible d'utiliser la statistique kappa par évaluateur.
Il existe essentiellement deux types de statistiques de kappa: le kappa de Cohen basé sur le tableau de
contingence à double entrée et le kappa de Fleiss basé sur des paires concordantes. Ils traitent différemment
le choix des évaluateurs lors du calcul de la probabilité de concordance aléatoire. Le kappa de Cohen
suppose que le ou les évaluateurs sont choisis spécifiquement et sont fixes alors que le kappa de Fleiss
suppose que le ou les évaluateurs sont choisis au hasard dans un groupe d'évaluateurs disponibles. Cela
conduit à deux méthodes différentes d'estimation de la probabilité. Dans le cas qui nous intéresse, trois
évaluateurs ayant été choisis au hasard dans le groupe entier, il n'est donc pas approprié d'employer le kappa
de Cohen pour évaluer l'accord. Dans ce qui suit, seul le kappa de Fleiss est pris en considération.
D'une manière générale, plus la valeur de kappa est élevée, plus l'accord par évaluateur est fort. Si κ = 1, cela
indique un accord parfait (cohérence). Si κ = −1, cela indique un désaccord parfait. Si κ = 0, la concordance
des évaluations est la même que la concordance aléatoire. En général, des valeurs de kappa supérieures à
0,9 sont jugées excellentes. Des valeurs de kappa inférieures à 0,7 indiquent que le système d'évaluation (ou
la qualité de service) doit être amélioré, alors que des valeurs inférieures à 0,4 indiquent que la capacité du
système de mesure est inadéquate. En général, une valeur de kappa d'au moins 0,70 est requise, mais des
valeurs de kappa proches de 0,90 sont préférées.
La valeur p représente la probabilité de faire une erreur de Type I, c'est-à-dire de rejeter l'hypothèse nulle
(κ = 0, ou l'accord par évaluateur est dû au hasard) lorsque l'hypothèse nulle est vraie. Si la valeur p d'une
statistique de test est inférieure au niveau de signification pré-spécifié (alpha), généralement de 0,05, il
10 © ISO 2010 – Tous droits réservés

convient de rejeter l'hypothèse nulle. Étant donné que les valeurs p pour les trois valeurs de kappa de Fleiss
globales sont inférieures à 0,05, il est nécessaire de choisir le rejet de l'hypothèse nulle. Les concordances de
réponse sont nettement différentes de celles dues au hasard. Les valeurs p pour des catégories et des
évaluateurs spécifiques sont également indiquées dans le Tableau A.3.
Tableau A.3 — Statistique kappa de Fleiss par évaluateur
Valeur p
Évaluateur Réponse Kappa ErT kappa Z
(contre valeur > 0)
Mauvais 1 0,223 607 4,472 14 0,000 0
Carol
Bon 1 0,223 607 4,472 14 0,000 0
Mauvais 1 0,223 607 4,472 14 0,000 0
Fiona
Bon 1 0,223 607 4,472 14 0,000 0
Mauvais 1 0,223 607 4,472 14 0,000 0
Kaka
Bon 1 0,223 607 4,472 14 0,000 0

A.7.2 Accord de chaque évaluateur par rapport à la référence
Il est nécessaire de déterminer quel est le degré de concordance avec la référence de l'évaluation de chaque
échantillon par chaque évaluateur, c'est-à-dire si chaque évaluation du même évaluateur est en accord avec
l'évaluation de référence (voir Tableau A.4).
Tableau A.4 — Accord et discordance entre les évaluations de chaque évaluateur
par rapport à la référence
Accord d'évaluation
a
Évaluateur Nombre inspecté Nombre de concordances Pourcentage IC 95 %
Carol 20 20 100,00 (86,09, 100,00)
Fiona 20 19 95,00 (75,13, 99,87)
Kaka 20 19 95,00 (75,13, 99,87)
Discordance des évaluations
Nombre de Nombre de Nombre
Évaluateur Pourcentage Pourcentage Pourcentage
b c d
bon/mauvais bon/mauvais combiné
Carol 0 0,00 0 0,00 0 0,00
Fiona 1 20,00 0 0,00 0 0,00
Kaka 0 0,00 1 6,67 0 0,00
a
Nombre de fois, au cours des essais, où l'évaluation réalisée par un évaluateur est en accord avec la référence connue.
b
Proposition des évaluations comme «bon» par rapport aux évaluations de référence comme «mauvais», au cours des essais.
c
Proposition des évaluations comme «mauvais» par rapport aux évaluations de référence comme «bon», au cours des essais.
d
Nombre de fois où les évaluations ne sont pas identiques pour l'ensemble des essais.

Les résultats du Tableau A.5 montrent que le kappa pour chaque évaluateur est supérieur à 0,7, ce qui
indique que l'évaluation réalisée par chaque évaluateur est en accord avec la référence.
Tableau A.5 — Statistique kappa de Fleiss (chaque évaluateur par rapport à la référence)
Valeur p
Évaluateur Réponse Kappa ErT kappa Z
(contre valeur > 0)
Mauvais 1,000 00 0,158 114 6,324 56 0,000 0
Carol
Bon 1,000 00 0,158 114 6,324 56 0,000 0
Mauvais 0,856 63 0,158 114 5,417 81 0,000 0
Fiona
Bon 0,856 63 0,158 114 5,417 81 0,000 0
Mauvais 0,874 61 0,158 114 5,531 51 0,000 0
Kaka
Bon 0,874 61 0,158 114 5,531 51 0,000 0

A.7.3 Accord entre les évaluateurs
Les résultats sont indiqués dans le Tableau A.6. La valeur du kappa de 0,858 dans le Tableau A.7 indique
que l'accord entre les évaluateurs est acceptable.
Tableau A.6 — Pourcentages d'accord d'évaluation entre les évaluateurs
a
Nombre inspecté Nombre de concordances Pourcentage IC 95 %
20 18 90,00 (68,30, 98,77)
a
Nombre de fois où les évaluations de tous les évaluateurs sont en accord les unes avec les autres.

Tableau A.7 — Statistique kappa de Fleiss entre les évaluateurs
Valeur p
Réponse Kappa ErT kappa Z
(contre valeur > 0)
Mauvais 0,8577 78 0,057 735 0 14,857 1 0,000 0
Bon 0,8577 78 0,057 735 0 14,857 1 0,000 0

A.7.4 Accord de tous les évaluateurs par rapport à la référence
Les résultats des Tableaux A.8 et A.9 indiquent l'accord avec la référence lorsque les évaluations de tous les
évaluateurs sont combinées. Les résultats indiquent une bonne concordance avec la référence.
Tableau A.8 — Pourcentages d'accord d'évaluation de tous les évaluateurs par rapport à la référence
a
Nombre inspecté Pourcentage IC 95 %
Nombre de concordances
20 18 90,00 (68,30, 98,77)
a
Nombre de fois où les évaluations de tous les évaluateurs sont en accord avec la référence connue.

Tableau A.9 — Statistique kappa de Fleiss de tous les évaluateurs par rapport à la référence
Valeur p
Réponse Kappa ErT kappa Z
(contre valeur > 0)
Mauvais 0,910 413 0,091 287 1 9,973 07 0,000 0
Bon 0,910 413 0,091 287 1 9,973 07 0,000 0
12 © ISO 2010 – Tous droits réservés

A.7.5 Figures de l'accord d'évaluation
La fenêtre graphique affiche également deux graphiques: les pourcentages d'accord d'évaluation et l'IC 95 %
par évaluateur du côté gauche, les pourcentages d'accord d'évaluation et l'IC 95 % de tous les évaluateurs
par rapport à la référence du côté droit (voir Figure A.1).
La Figure A.1 a) montre la cohérence des évaluations de chaque évaluateur alors que la Figure A.1 b) montre
la cohérence ainsi que l'exactitude. Les cercles pleins indiquent le pourcentage de concordance, et les lignes
passant par les points de données indiquent un intervalle de confiance à 95,0 %.
A.8 Conclusions
Étant donné que toutes les statistiques kappa de Fleiss sont supérieures à 0,7, le système de mesure des
données d'attribut est acceptable. Pour l'amélioration continue, il convient de revoir les références avec les
évaluateurs Fiona et Kaka. Il peut être nécessaire de leur assurer une formation complémentaire.

a)  Par évaluateur b)  Évaluateur par rapport à la référence
Légende
Y pourcentage d'accord
A évaluateur Carol
B évaluateur Fiona
C évaluateur Kaka
Figure A.1 — Pourcentages d'accord d'évaluation et IC 95 %
Annexe B
(informative)
Triage des problèmes dans le cadre d'une assistance technique
...