ISO/TS 20282-2:2006
(Main)Ease of operation of everyday products — Part 2: Test method for walk-up-and-use products
Ease of operation of everyday products — Part 2: Test method for walk-up-and-use products
ISO 20282-2:2006 specifies a test method for measuring the ease of operation of "walk-up-and-use" products. The purpose of the test is to provide a basis for predicting the ease of operation of a walk-up-and-use product, including measures of its effectiveness and efficiency of operation, and the satisfaction of the intended user population in its expected context of use. The intended users of ISO 20282-2:2006 are people with human factors expertise in the design and management of appropriate tests, including manufacturers, suppliers, purchasing organizations or third parties (such as consumer organizations).
Facilité d'emploi des produits quotidiens — Partie 2: Méthode d'essai pour les produits grand public d'accès et d'utilisation immédiats
L'ISO/TS 20282-2:2006 spécifie une méthode d'essai pour le mesurage de la facilité d'emploi des «produits grand public d'accès et d'utilisation immédiats». L'objectif de cet essai consiste à fournir un cadre permettant de prévoir la facilité d'emploi d'un produit grand public d'accès et d'utilisation immédiats, y compris la mesure de son efficacité et de son efficience d'emploi, ainsi que la satisfaction de la population d'utilisateurs cibles dans le contexte d'utilisation prévu. L'ISO/TS 20282-2:2006 est destinée aux personnes ayant une compétence en matière de facteurs humains dans la conception et la gestion d'essais appropriés, y compris les fabricants, fournisseurs, organismes d'achat ou tierces parties (telles que les organisations de consommateurs).
General Information
Relations
Buy Standard
Standards Content (Sample)
TECHNICAL ISO/TS
SPECIFICATION 20282-2
First edition
2006-10-15
Ease of operation of everyday
products —
Part 2:
Test method for walk-up-and-use
products
Facilité d'emploi des produits quotidiens —
Partie 2: Méthode d'essai pour les produits grand public d'accès et
d'utilisation immédiats
Reference number
ISO/TS 20282-2:2006(E)
©
ISO 2006
---------------------- Page: 1 ----------------------
ISO/TS 20282-2:2006(E)
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.
© ISO 2006
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2006 – All rights reserved
---------------------- Page: 2 ----------------------
ISO/TS 20282-2:2006(E)
Contents Page
Foreword. iv
Introduction . v
1 Scope .1
2 Conformance.1
3 Normative references .1
4 Terms and definitions .2
5 Purpose of testing ease of operation .5
6 Test procedure.6
7 Test method.6
7.1 Identify the product .6
7.2 Specify expected context of use.6
7.3 Check that the product is compatible with intended user characteristics.8
7.4 Design the test .9
7.5 Measures .11
8 Results .12
8.1 Main goals .12
8.2 Effectiveness of operation.12
8.3 Efficiency of operation .12
8.4 Satisfaction with operation.12
9 Report .12
Annex A (normative) Product goals.13
Annex B (informative) Background to the test method.15
Annex C (normative) Recruiting a representative sample of users.17
Annex D (normative) Confidence intervals .21
Annex E (normative) Satisfaction with operation scale.24
Annex F (normative) Format for test reports .25
Annex G (informative) Feedback on this part of ISO 20282.31
Bibliography .32
© ISO 2006 – All rights reserved iii
---------------------- Page: 3 ----------------------
ISO/TS 20282-2:2006(E)
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through
ISO technical committees. Each member body interested in a subject for which a technical committee has
been established has the right to be represented on that committee. International organizations, governmental
and non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
In other circumstances, particularly when there is an urgent market requirement for such documents, a
technical committee may decide to publish other types of normative document:
— an ISO Publicly Available Specification (ISO/PAS) represents an agreement between technical experts in
an ISO working group and is accepted for publication if it is approved by more than 50 % of the members
of the parent committee casting a vote;
— an ISO Technical Specification (ISO/TS) represents an agreement between the members of a technical
committee and is accepted for publication if it is approved by 2/3 of the members of the committee
casting a vote.
An ISO/PAS or ISO/TS is reviewed after three years in order to decide whether it will be confirmed for a
further three years, revised to become an International Standard, or withdrawn. If the ISO/PAS or ISO/TS is
confirmed, it is reviewed again after a further three years, at which time it must either be transformed into an
International Standard or be withdrawn.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO/TS 20282-2 was prepared by Technical Committee ISO/TC 159, Ergonomics, Subcommittee SC 1,
Ergonomic guiding principles.
ISO 20282 consists of the following parts, under the general title Ease of operation of everyday products:
— Part 1: Design requirements for context of use and user characteristics
— Part 2: Test method for walk-up-and-use products [Technical Specification]
The following parts are under preparation:
— Part 3: Test methods for consumer products [Publicly Available Specification]
— Part 4: Test methods for the installation of consumer products [Publicly Available Specification]
iv © ISO 2006 – All rights reserved
---------------------- Page: 4 ----------------------
ISO/TS 20282-2:2006(E)
Introduction
Many people find everyday products such as ticket machines, washing machines and video-recorders difficult
to use, particularly when using them for the first time or infrequently. If the functions provided by a product to
support the users’ main goals are not easy to operate, many users will find the product difficult, if not
impossible, to use. This is clearly not desirable, either for the suppliers of such products and their
customers/organizations providing the services, or the users. Information about the ease of operation of a
product would therefore be of great value to both suppliers, as part of their development process, and to
potential purchasers making purchase decisions or comparing alternative products. This would provide an
incentive for the production of products that are easier to use, and enable potential purchasers to pay specific
attention to ease of operation when selecting a product to buy.
This part of ISO 20282 specifies a test method that can be used to provide an operational evaluation of the
ease of operation of walk-up-and-use products. This test method is a summative method that gives
performance-based measures that can be used for assessment against pre-determined criteria or as the basis
for comparisons between different products. Thus the test method is an example of a “performance-related”
usability method (see ISO/TR 16982) that can be used to measure ease of operation and establish whether
quantitative usability requirements for ease of operation have been achieved.
Manufacturers can use the test method presented here to test whether requirements for ease of operation
have been met, or to compare their products with previous versions, or with competitor products. They could
communicate the test results to potential purchasers in product descriptions or advertising. Corporate
purchasers can use the test method to determine whether products meet their needs. While testing
organizations could use it as a basis for providing information to potential customers and organizations
representing users.
Usability (see ISO 9241-11) is the extent to which a product can be used by specified users to achieve
specified goals with effectiveness, efficiency and satisfaction, in a specified context of use. Ease of operation
provides a measure of the usability of an everyday product when used by the actual or intended users to
achieve their main goals when using the product. It is assumed that users can achieve their intended main
goals when the product is operated correctly. The method is intended to be used with products where there is
a clear criterion for successfully achieving goals (which is characteristic of most walk-up-and-use products),
and not where there is variable quality in the outcome. Ease of operation is primarily concerned with the user
interface and the interaction that it supports, rather than the quality of the features that are present within a
product or their suitability for the product’s intended use.
When the main goals of using a walk-up-and-use product involve task performance that is fast and of limited
complexity, the most important measure of ease of operation is effectiveness. Effectiveness of operation is
measured as the percentage of users who can successfully achieve the main goals of use of the product.
Efficiency of operation may be important, for example, if a product is to be used by large numbers of users in
rapid succession. In addition, for some products to be identified as easy to operate, it is important that users
are satisfied with their experience of operation, for example, where users have discretion over whether to use
the specified product and they can readily choose some alternative means of achieving their goals.
ISO 13407 provides guidance on the human-centred design principles and design activities to be applied
throughout development in order to produce usable products. It stresses that usability requirements should be
specified prior to development, and that evaluation is an iterative process during development. The summative
test method in this part of ISO 20282 can be used to evaluate pre-specified requirements. Other types of
usability methods for formative evaluation are more appropriate when the main objective is to provide
feedback in the course of design, although this summative method can also provide information on usability
problems that need to be corrected. ISO 13407 also emphasizes the importance of identifying the context of
use. ISO 20282-1 describes in more detail sources of variance in user characteristics that form part of the
context of use that needs to be taken into account when designing for ease of operation. This information is
also needed to identify the requirements for testing in this part of ISO 20282.
© ISO 2006 – All rights reserved v
---------------------- Page: 5 ----------------------
ISO/TS 20282-2:2006(E)
This part of ISO 20282 has been published initially as a Technical Specification so that information and
experience of its use in practice can be gathered (see Annex G). Versions of the test method for the
installation and use of consumer products are to be given in ISO/PAS 20282-3 and ISO/PAS 20282-4.
vi © ISO 2006 – All rights reserved
---------------------- Page: 6 ----------------------
TECHNICAL SPECIFICATION ISO/TS 20282-2:2006(E)
Ease of operation of everyday products —
Part 2:
Test method for walk-up-and-use products
1 Scope
This part of ISO 20282 specifies a test method for measuring the ease of operation of “walk-up-and-use”
products.
The purpose of the test is to provide a basis for predicting the ease of operation of a walk-up-and-use product,
including measures of its effectiveness and efficiency of operation, and the satisfaction of the intended user
population in its expected context of use.
The intended users of this part of ISO 20282 are people with human factors expertise in the design and
management of appropriate tests, including manufacturers, suppliers, purchasing organizations or third parties
(such as consumer organizations).
2 Conformance
A test method reporting values for ease of operation of a walk-up-and-use product conforms to this part of
ISO 20282 if the method used conforms to the applicable requirements in Clauses 7, 8 and 9 and Annexes C,
D and E. To provide evidence of conformance, a full report of the results shall be produced, using the format
specified in Annex F.
3 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO 20282-1:2006, Ease of operation of everyday products — Part 1: Design requirements for context of use
and user characteristics
© ISO 2006 – All rights reserved 1
---------------------- Page: 7 ----------------------
ISO/TS 20282-2:2006(E)
4 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
4.1
actual users
group(s) of people who directly interact with a product
NOTE Before a product is released this is the intended user group, while after release it is based on what is known
about the actual user group.
[ISO 20282-1:2006, definition 3.1]
4.2
consumer product
product that is intended to be acquired and used by an individual for personal rather than professional use
[ISO 20282-1:2006, definition 3.2]
4.3
context of evaluation
users, tasks, equipment (hardware, software and materials), and the physical and social environments in
which a product is evaluated
4.4
context of use
users, tasks, equipment (hardware, software and materials), and the physical and social environments in
which a product is used
[ISO 9241-11:1998, definition 3.5]
4.5
ease of operation
usability of the user interface of an everyday product when used by the intended users to achieve the main
goal(s) supported by the product
NOTE 1 Ease of operation is a specific aspect of usability (see 4.18) as defined in ISO 9241-11 that is in this case
applied to the operation of everyday products. Ease of operation assumes that the functionality of the product other than
the user interface operates correctly.
NOTE 2 Ease of operation is measured as effectiveness of operation, optionally including efficiency of operation and
satisfaction with operation.
[ISO 20282-1:2006, definition 3.4]
4.6
effectiveness
accuracy and completeness with which users achieve specified goals
[ISO 9241-11:1998, definition 3.2]
NOTE For the purpose of this test method, effectiveness of operation is measured by the percentage of users who
achieve the main goal(s) of use of a product accurately and completely. Measures of effectiveness of operation are based
on the end result independently of whether the goal is achieved in the most efficient way.
4.7
effectiveness of operation
percentage of users who achieve the main goal(s) of use of a product accurately and completely
2 © ISO 2006 – All rights reserved
---------------------- Page: 8 ----------------------
ISO/TS 20282-2:2006(E)
NOTE Measures of effectiveness of operation are based on success in achieving the end result independently of
whether the goal is achieved in the most efficient way.
[ISO 20282-1:2006, definition 3.6]
4.8
efficiency
resources expended in relation to the accuracy and completeness with which users achieve goals
[ISO 9241-11:1998, definition 3.3]
NOTE For the purpose of this test method, efficiency of operation is measured as the time taken to achieve the main
goal(s).
4.9
efficiency of operation
time taken to achieve the main goal(s)
NOTE This identifies a specific resource for efficiency as defined in 4.8.
[ISO 20282-1:2006, definition 3.8]
4.10
everyday product
consumer product or walk-up-and-use product designed for use by members of the general public
NOTE 1 Some products are designed for use by the general public as well as for professional use, but this definition
only applies to non-professional use of the product.
NOTE 2 "Everyday" does not imply that the product must be used every day by the user, rather that it is found in
everyday life.
[ISO 20282-1:2006, definition 3.9]
4.11
goal
intended outcome
[ISO 9241-11:1998, definition 3.8]
NOTE A goal is stated independently of the functionality used to achieve it.
4.12
intended users
group(s) of people for whom a product is designed
NOTE In many cases, the actual user population is different from that originally intended by the manufacturer. The
intended user group is based on realistic estimations of who the actual users of the product will be.
[ISO 20282-1:2006, definition 3.12]
4.13
interaction
bi-directional information exchange between users and equipment
[IEC/TR 61997:2001, definition 3.4]
NOTE 1 Equipment includes both hardware and software.
NOTE 2 Information exchange may include physical actions, resulting in sensory feedback.
© ISO 2006 – All rights reserved 3
---------------------- Page: 9 ----------------------
ISO/TS 20282-2:2006(E)
4.14
main goal
most frequent or important outcome(s) that all, or a large majority of, users want to achieve when using a
product
[ISO 20282-1:2006, definition 3.14]
NOTE Examples of main goals are given in Annex A.
4.15
satisfaction
freedom from discomfort, and positive attitudes towards the use of the product
[ISO 9241-11:1998, definition 3.4]
NOTE For the purpose of this test method, satisfaction with operation is measured by the attitude towards the
operation of the product.
4.16
satisfaction with operation
measures of attitude towards the operation of the product user interface
[ISO 20282-1:2006, definition 3.16]
4.17
task
activities required to achieve a goal
NOTE These activities can be physical and/or cognitive.
[ISO 9241-11:1998, definition 3.9]
4.18
usability
extent to which a product can be used by specified users to achieve specified goals with effectiveness,
efficiency and satisfaction in a specified context of use
[ISO 9241-11:1998, definition 3.1]
4.19
user
person who interacts with the product
[ISO 9241-11:1998, definition 3.7]
4.20
user characteristics
attributes of a user that may influence usability
[ISO 20282-1:2006, definition 3.20]
4.21
user interface
elements of a product used to control it and receive information about its status, and the interaction that
enables the user to use it for its intended purpose
NOTE A list of operating instructions permanently displayed on the product is part of the user interface.
EXAMPLE The user interface of a shower tap is the water control lever, where the movement of the lever controls
the temperature of the water and the position of the lever communicates the temperature to the user.
[ISO 20282-1:2006, definition 3.21]
4 © ISO 2006 – All rights reserved
---------------------- Page: 10 ----------------------
ISO/TS 20282-2:2006(E)
4.22
user test group
group of persons selected to participate in a test of usability, sampled according to specific requirements
4.23
walk-up-and-use product
everyday product that provides a service to the general public
NOTE This includes products intended for use by the general public in commercial premises such as in a shop or
hotel.
[ISO 20282-1:2006, definition 3.22]
5 Purpose of testing ease of operation
The purpose of the test method is to evaluate whether ease of operation objectives have been met, or to
compare products with previous versions or competitor products.
NOTE This method is complementary to test methods for formative evaluation that use a smaller number of
participants (see Annex B).
The test method may be used by
⎯ a manufacturer to test whether usability requirements have been met and/or to provide evidence of the
ease of operation of a product to potential purchasers,
⎯ a potential purchaser to check whether a product meets their requirements,
⎯ a potential purchaser or test organization to compare alternative products.
This test may be carried out in a lab, or in conjunction with the potential purchaser, installing a prototype
machine in a location where controlled trials can take place.
EXAMPLE 1 Estimating effectiveness of operation in the field — An underground railway operator is installing ticket
machines at a station at an international airport, and would like to be confident that 80 % of visitors who speak the
languages supported by the machine can purchase an appropriate one way ticket. A prototype machine is installed at the
airport. Based on the distribution of relevant user characteristics within the intended user population, a user test group of
100 people with representative characteristics is identified. Travellers are approached individually and, if they match the
sample requirements, are invited to try using the machine. This process is continued until the sampling requirements have
been satisfied. The test result is given as the measured success rate together with a confidence interval. To be 95 %
confident that 80 % of the population can purchase a ticket, 87 of the 100 people tested will have to be successful (see
Annex D).
EXAMPLE 2 Comparison of efficiency of operation in the lab or test location — A subway operator is installing new
ticket barriers that will mainly be used by commuters, and speed of movement through the barrier is important for avoiding
queues. The operator wishes to check that the users can operate the new barrier at least as quickly as the one it is
replacing. Both types of barrier are installed in a test location and a representative sample of 50 users is recruited. They
are asked to form queues to pass through the barriers. When the task time for passing through each barrier has reached a
level that is consistent for that barrier, the times are compared. The test result is given as the success rate and median
task time together with a confidence interval. The times for using the two barriers are compared using an appropriate
statistical test, to find out whether there is a significant difference.
EXAMPLE 3 Comparison of effectiveness and efficiency of operation in the lab and the field — The manufacturer of a
self-service terminal used by customers to make purchases from a catalogue in a store, wants to demonstrate (for
marketing purposes) that their terminal is easier to use than competitive terminals and will provide a higher throughput of
customers with fewer errors. They expect the new terminal to be much faster to use. A prototype is installed in a store.
Success rates and task times are measured for the same specified purchases made by 15 typical first time users
and 15 typical regular purchasers, using each type of terminal. The task times for successful purchases using the two
terminals are compared using an analysis of variance, to find out whether there is a significant difference. To provide a
larger sample of success rates, data is collected from the store computers on the success rate in ordinary use by
© ISO 2006 – All rights reserved 5
---------------------- Page: 11 ----------------------
ISO/TS 20282-2:2006(E)
200 users of each of the two types of terminal. The two success rates are compared to find whether there is a significant
difference.
NOTE Similar test methods may also be suitable for testing other types of products. See, for example,
1) 1)
ISO/PAS 20282-3 and ISO/PAS 20282-4 for versions of the test method for the ease of operation and ease of
installation of consumer products.
6 Test procedure
In measuring ease of operation, the following steps shall be followed.
a) Identify the product to be tested, see 7.1.
b) Identify the expected context of use (users, tasks and environment), see 7.2.
c) Check that the product is compatible with intended user characteristics, see 7.3.
d) Decide whether to test one or more groups, see 7.4.1.
e) Identify which measures are required, whether there are required values for the measures, or whether
two results are being compared, see 7.4.2.
f) Select a group of users that represents the intended user group of the product, see 7.4.4.
g) Design a test procedure that includes a representative group of users using the products to achieve the
main goals of use, see 7.4.
h) Measure success rate and, optionally, task time and satisfaction (using a questionnaire), see 7.4.2
i) Calculate effectiveness of operation (percentage success rate) and, optionally, efficiency of operation
(median task time) and satisfaction with operation (mean questionnaire scores), see 7.5 and Clause 8.
j) Prepare a full report and/or a short summary, see Clause 9.
7 Test method
7.1 Identify the product
Identify the specific product and version to be tested and, if appropriate, the organization responsible for
provision of the service supported by the product.
7.2 Specify expected context of use
7.2.1 Identify main goals of use of the product
The main goal(s) of use of the product shall be identified based on information provided by the manufacturer
or the organization responsible for the installation of the product for public use. This shall include the most
frequent and/or important user goals that the product is intended to support. It is assumed that it is possible for
a user to achieve these goals when the product is operated correctly. The goals shall be expressed in terms of
the intended outcome of the task activity expressed independently of the means by which it is achieved.
1) Under preparation.
6 © ISO 2006 – All rights reserved
---------------------- Page: 12 ----------------------
ISO/TS 20282-2:2006(E)
Annex A contains a list of typical walk-up-and-use products, together with the main goals of use of each
product. These are accompanied by examples of the task activity that are typically associated with using the
product to achieve the main goal. If the walk-up-and-use product being tested is listed in Annex A, a test shall
be carried out including the main goal listed for that product. If other main goals are identified for the product
being tested the results should be reported separately, see 8.1.
NOTE For many everyday products there will be one self-evident main goal, such as using a telephone to make a
phone call, or using a vending machine to purchase an item.
The criteria for complete and accurate goal achievement shall be specified.
EXAMP
...
SPÉCIFICATION ISO/TS
TECHNIQUE 20282-2
Première édition
2006-10-15
Facilité d'emploi des produits
quotidiens —
Partie 2:
Méthode d'essai pour les produits grand
public d'accès et d'utilisation immédiats
Ease of operation of everyday products —
Part 2: Test method for walk-up-and-use products
Numéro de référence
ISO/TS 20282-2:2006(F)
©
ISO 2006
---------------------- Page: 1 ----------------------
ISO/TS 20282-2:2006(F)
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.
© ISO 2006
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax. + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2006 – Tous droits réservés
---------------------- Page: 2 ----------------------
ISO/TS 20282-2:2006(F)
Sommaire Page
Avant-propos. iv
Introduction . v
1 Domaine d'application. 1
2 Conformité. 1
3 Références normatives . 1
4 Termes et définitions. 2
5 Objectif des essais de facilité d'emploi. 5
6 Mode opératoire d'essai. 6
7 Méthode d'essai . 7
7.1 Identifier le produit . 7
7.2 Spécifier le contexte d'utilisation prévu. 7
7.3 Vérifier que le produit est compatible avec les caractéristiques des utilisateurs cibles. 9
7.4 Concevoir l'essai. 9
7.5 Mesures . 12
8 Résultats. 12
8.1 Objectifs principaux . 12
8.2 Efficacité d'emploi . 12
8.3 Efficience d'emploi . 12
8.4 Satisfaction eu égard à l'emploi. 13
9 Rapport . 13
Annexe A (normative) Objectifs du produit. 14
Annexe B (informative) Antécédents de la méthode . 16
Annexe C (normative) Réunir un échantillon représentatif d'utilisateurs. 18
Annexe D (normative) Intervalles de confiance . 22
Annexe E (normative) Échelle de satisfaction eu égard à l'emploi. 25
Annexe F (normative) Format de présentation des rapports d'essai . 26
Annexe G (informative) Retour d'informations sur la présente partie de l'ISO 20282 . 32
Bibliographie . 33
© ISO 2006 – Tous droits réservés iii
---------------------- Page: 3 ----------------------
ISO/TS 20282-2:2006(F)
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
Dans d'autres circonstances, en particulier lorsqu'il existe une demande urgente du marché, un comité
technique peut décider de publier d'autres types de documents normatifs:
— une Spécification publiquement disponible ISO (ISO/PAS) représente un accord entre les experts dans
un groupe de travail ISO et est acceptée pour publication si elle est approuvée par plus de 50 % des
membres votants du comité dont relève le groupe de travail;
— une Spécification technique ISO (ISO/TS) représente un accord entre les membres d'un comité technique
et est acceptée pour publication si elle est approuvée par 2/3 des membres votants du comité.
Une ISO/PAS ou ISO/TS fait l'objet d'un examen après trois ans afin de décider si elle est confirmée pour trois
nouvelles années, révisée pour devenir une Norme internationale, ou annulée. Lorsqu'une ISO/PAS ou
ISO/TS a été confirmée, elle fait l'objet d'un nouvel examen après trois ans qui décidera soit de sa
transformation en Norme internationale soit de son annulation.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO/TS 20282-2 a été élaborée par le comité technique ISO/TC 159, Ergonomie, sous-comité SC 1,
Principes directeurs en ergonomie.
L'ISO 20282 comprend les parties suivantes, présentées sous le titre général Facilité d'emploi des produits
quotidiens:
⎯ Partie 1: Exigences de conception pour le contexte d'utilisation et pour les caractéristiques de l'utilisateur
⎯ Partie 2: Méthode d'essai pour les produits grand public d'accès et d'utilisation immédiats [Spécification
technique]
Les parties suivantes sont en préparation:
— Partie 3: Méthodes d'essai pour produits de consommation [Spécification publiquement disponible]
— Partie 4: Méthodes d'essai pour l'installation de produits de consommation [Spécification publiquement
disponible]
iv © ISO 2006 – Tous droits réservés
---------------------- Page: 4 ----------------------
ISO/TS 20282-2:2006(F)
Introduction
Nombreuses sont les personnes qui trouvent que les produits usuels tels que distributeurs de billets,
machines à laver et magnétoscopes sont difficiles à utiliser, en particulier lors de la première utilisation ou en
cas d'utilisation occasionnelle. Si les fonctions d'un produit destinées à permettre aux utilisateurs d'atteindre
leurs objectifs principaux ne sont pas faciles d'emploi, beaucoup d'utilisateurs trouveront le produit difficile,
voire impossible, à utiliser. Cela n'est clairement pas souhaitable ni pour les fournisseurs de ces produits ni
pour leurs clients/les organisations fournissant les services ni pour les utilisateurs. Les informations sur la
facilité d'emploi d'un produit seront donc précieuses à la fois pour les fournisseurs, comme partie intégrante
du processus de développement, et pour les acheteurs potentiels qui ont des décisions à prendre en matière
d'achat ou qui comparent des produits. Cela encouragera la production de produits plus faciles à utiliser et
permettra aux acheteurs potentiels de prêter une attention particulière à la facilité d'emploi du produit lors de
son achat.
La présente partie de l'ISO 20282 spécifie une méthode d'essai permettant de procéder à une évaluation
opérationnelle de la facilité d'emploi des produits grand public d'accès et d'utilisation immédiats. Cette
méthode d'essai est une méthode sommative fournissant des mesures, basées sur les performances,
pouvant être utilisées pour évaluer des critères prédéterminés ou comme base de comparaison entre
différents produits. Cette méthode d'essai constitue donc un exemple de méthode d'utilisabilité «relative aux
performances» (voir l'ISO/TR 16982) permettant de mesurer la facilité d'emploi et d'établir si les exigences
quantitatives d'utilisabilité en matière de facilité d'emploi ont été respectées.
La méthode d'essai présentée ici peut être utilisée par les fabricants pour évaluer si les exigences en matière
de facilité d'emploi ont été respectées, ou pour comparer leurs produits avec des versions antérieures ou
avec des produits concurrents. Ils peuvent communiquer les résultats d'essai aux acheteurs potentiels dans
les documents de description des produits ou dans les supports publicitaires. Cette méthode d'essai permet
aux acheteurs commerciaux de déterminer si les produits répondent à leurs besoins. Enfin, elle peut servir de
base aux organismes d'essai pour fournir des informations aux clients potentiels et aux organisations de
consommateurs.
L'utilisabilité (voir l'ISO 9241-11) est le degré selon lequel un produit peut être utilisé, par des utilisateurs
identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte
d'utilisation spécifié. La facilité d'emploi fournit une mesure de l'utilisabilité d'un produit usuel employé par les
utilisateurs effectifs ou les utilisateurs cibles pour atteindre leurs objectifs principaux à l'aide dudit produit. Il
est supposé que les utilisateurs sont en mesure d'atteindre les objectifs principaux prévus lorsque le produit
est utilisé correctement. Cette méthode est destinée à être utilisée pour les produits présentant un critère
explicite de réalisation des objectifs (caractéristique de la plupart des produits grand public d'accès et
d'utilisation immédiats), et non en cas de qualité variable du résultat. La facilité d'emploi concerne d'abord
l'interface utilisateur et l'interaction qu'elle suppose, plutôt que la qualité des caractéristiques inhérentes à un
produit ou leur adaptation par rapport à l'utilisation prévue du produit.
Lorsque les objectifs principaux d'utilisation d'un produit grand public d'accès et d'utilisation immédiats
impliquent l'exécution de tâches rapides et peu complexes, la mesure la plus importante de facilité d'emploi
est l'efficacité. L'efficacité d'emploi est mesurée par le pourcentage d'utilisateurs atteignant les objectifs
principaux d'utilisation du produit. L'efficacité d'emploi peut être un élément important notamment si un produit
est destiné à être utilisé par un grand nombre d'utilisateurs qui se succèdent rapidement. En outre, pour
certains produits devant être identifiés comme faciles à utiliser, il est important que les utilisateurs soient
satisfaits de leur expérience quant à leur utilisation, par exemple lorsque les utilisateurs sont libres d'utiliser
ou non le produit spécifié et de se tourner rapidement vers un autre moyen d'atteindre leurs objectifs.
L'ISO 13407 donne des recommandations sur les principes et activités de conception centrée sur l'opérateur
humain à appliquer tout au long du processus de développement afin de produire des produits faciles à
utiliser. Elle insiste sur le fait qu'il convient que les exigences d'utilisabilité soient spécifiées avant le
développement, et sur le fait que l'évaluation est un processus itératif au cours du développement. La
méthode sommative d'essai décrite dans la présente partie de l'ISO 20282 peut être utilisée pour évaluer les
© ISO 2006 – Tous droits réservés v
---------------------- Page: 5 ----------------------
ISO/TS 20282-2:2006(F)
exigences préétablies. D'autres types de méthodes formatives d'utilisabilité sont plus appropriés lorsque
l'objectif principal consiste à fournir des retours d'information au cours de la conception, bien que cette
méthode sommative permette également de fournir des informations sur les problèmes d'utilisabilité à corriger.
L'ISO 13407 insiste également sur l'importance de l'identification du contexte d'utilisation. L'ISO 20282-1
décrit plus en détail les sources de variance des caractéristiques de l'utilisateur qui font partie du contexte
d'utilisation à prendre en compte pour la conception d'un produit facile à utiliser. Ces informations sont
également nécessaires pour identifier les exigences d'essai dans la présente partie de l'ISO 20282.
La présente partie de l'ISO 20282 est publiée dans un premier temps en tant que Spécification technique,
dans le but de recueillir des informations et d'acquérir de l'expérience quant à son application dans la pratique
(voir l'Annexe G). L'ISO/PAS 20282-3 et l'ISO/PAS 20282-4 contiendront des versions de la méthode d'essai
pour l'installation et l'utilisation des produits de consommation courante.
vi © ISO 2006 – Tous droits réservés
---------------------- Page: 6 ----------------------
SPÉCIFICATION TECHNIQUE ISO/TS 20282-2:2006(F)
Facilité d'emploi des produits quotidiens —
Partie 2:
Méthode d'essai pour les produits grand public d'accès et
d'utilisation immédiats
1 Domaine d'application
La présente partie de l'ISO 20282 spécifie une méthode d'essai pour le mesurage de la facilité d'emploi des
«produits grand public d'accès et d'utilisation immédiats».
L'objectif de cet essai consiste à fournir un cadre permettant de prévoir la facilité d'emploi d'un produit grand
public d'accès et d'utilisation immédiats, y compris la mesure de son efficacité et de son efficience d'emploi,
ainsi que la satisfaction de la population d'utilisateurs cibles dans le contexte d'utilisation prévu.
La présente partie de l'ISO 20282 est destinée aux personnes ayant une compétence en matière de facteurs
humains dans la conception et la gestion d'essais appropriés, y compris les fabricants, fournisseurs,
organismes d'achat ou tierces parties (telles que les organisations de consommateurs).
2 Conformité
Toute méthode d'essai spécifiant des valeurs relatives à la facilité d'emploi d'un produit grand public d'accès
et d'utilisation immédiats est conforme à la présente partie de l'ISO 20282 si la méthode utilisée satisfait aux
exigences applicables des Articles 7, 8 et 9 et des Annexes C, D et E. Pour démontrer la conformité de la
méthode, les résultats doivent être consignés dans un rapport complet suivant le format spécifié dans
l'Annexe F.
3 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO 20282-1:2006, Facilité d'emploi des produits quotidiens — Partie 1: Exigences de conception pour le
contexte d'utilisation et pour les caractéristiques de l'utilisateur
© ISO 2006 – Tous droits réservés 1
---------------------- Page: 7 ----------------------
ISO/TS 20282-2:2006(F)
4 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s'appliquent.
4.1
utilisateurs effectifs
groupe(s) de personnes qui interagit(ssent) directement avec un produit
NOTE Avant la mise en circulation d'un produit, il s'agit du groupe d'utilisateurs cibles; après sa mise en circulation,
la notion d'utilisateurs effectifs est basée sur les éléments connus du groupe d'utilisateurs effectifs.
[ISO 20282-1:2006, définition 3.1]
4.2
produit de consommation courante
produit destiné à être acquis et utilisé par une personne physique pour un usage personnel plutôt que
professionnel
[ISO 20282-1:2006, définition 3.2]
4.3
contexte d'évaluation
utilisateurs, tâches, équipement (matériel, logiciels et documents) et environnements physique et social
d'évaluation d'un produit
4.4
contexte d'utilisation
utilisateurs, tâches, équipement (matériel, logiciels et documents) et environnements physique et social
d'utilisation d'un produit
[ISO 9241-11:1998, définition 3.5]
4.5
facilité d'emploi
utilisabilité de l'interface utilisateur d'un produit usuel employé par les utilisateurs cibles pour atteindre le ou
les objectifs principaux à l'aide dudit produit
NOTE 1 La facilité d'emploi est un sous-ensemble spécifique de l'utilisabilité (4.18), telle que définie dans
l'ISO 9241-11, qui s'applique, dans ce cas, à l'emploi des produits usuels. La facilité d'emploi pose comme hypothèse que
les fonctions du produit autres que l'interface utilisateur marchent correctement.
NOTE 2 La facilité d'emploi est mesurée en termes d'efficacité d'emploi, y compris éventuellement l'efficience d'emploi
et la satisfaction à l'égard dudit emploi.
[ISO 20282-1:2006, définition 3.4]
4.6
efficacité
précision et degré d'achèvement selon lesquels l'utilisateur atteint des objectifs spécifiés
[ISO 9241-11:1998, définition 3.2]
NOTE Pour les besoins de la présente méthode d'essai, l'efficacité d'emploi est mesurée par le pourcentage
d'utilisateurs atteignant précisément et complètement le ou les objectifs principaux d'utilisation d'un produit. La mesure de
l'efficacité d'emploi est basée sur le résultat final, indépendamment du degré d'efficience selon lequel l'objectif est atteint.
2 © ISO 2006 – Tous droits réservés
---------------------- Page: 8 ----------------------
ISO/TS 20282-2:2006(F)
4.7
efficacité d'emploi
pourcentage d'utilisateurs atteignant précisément et complètement le ou les objectifs principaux d'utilisation
d'un produit
NOTE La mesure de l'efficacité d'emploi est basée sur le fait de réussir à atteindre le résultat final, indépendamment
du degré d'efficience selon lequel l'objectif est atteint.
[ISO 20282-1:2006, définition 3.6]
4.8
efficience
rapport entre les ressources dépensées et la précision et le degré d'achèvement selon lesquels l'utilisateur
atteint des objectifs spécifiés
[ISO 9241-11:1998, définition 3.3]
NOTE Pour les besoins de la présente méthode d'essai, l'efficience d'emploi est mesurée par le temps nécessaire
pour atteindre le ou les objectifs principaux.
4.9
efficience d'emploi
temps nécessaire pour atteindre le ou les objectifs principaux
NOTE Ce terme identifie une ressource spécifique de l'efficience telle que définie en 4.8.
[ISO 20282-1:2006, définition 3.8]
4.10
produit usuel
produit de consommation courante ou produit grand public d'accès et d'utilisation immédiats, conçu pour être
utilisé quotidiennement par les individus constituant le grand public
NOTE 1 Bien que certains produits soient conçus à la fois pour être utilisés par le grand public et pour un usage
professionnel, cette définition ne s'applique qu'à l'usage non professionnel du produit.
NOTE 2 Le terme «quotidiennement» n'implique pas que le produit est utilisé tous les jours par l'utilisateur, il signifie
plutôt que le produit fait partie de l'environnement quotidien.
[ISO 20282-1:2006, définition 3.9]
4.11
objectif
but à atteindre
[ISO 9241-11:1998, définition 3.8]
NOTE Un objectif est spécifié indépendamment de la fonctionnalité employée pour l'atteindre.
4.12
utilisateurs cibles
groupe(s) de personnes pour le(s)quel(s) un produit est conçu
NOTE Dans de nombreux cas, la population d'utilisateurs effectifs est différente de celle prévue à l'origine par le
fabricant. Le groupe d'utilisateurs cible est basé sur des estimations réalistes de l'identification de la population
d'utilisateurs effectifs du produit.
[ISO 20282-1:2006, définition 3.12]
© ISO 2006 – Tous droits réservés 3
---------------------- Page: 9 ----------------------
ISO/TS 20282-2:2006(F)
4.13
interaction
échange d'information bidirectionnel entre les utilisateurs et l'équipement employé
[CEI/TR 61997:2001, définition 3.4]
NOTE 1 L'équipement comprend à la fois le matériel et les logiciels.
NOTE 2 L'échange d'information peut inclure des actions physiques, entraînant des retours sensoriels d'information.
4.14
objectif(s) principal(aux)
résultat(s) le(s) plus fréquent(s) ou le(s) plus important(s) que tous les utilisateurs, ou une grande majorité
d'entre eux, veulent obtenir lorsqu'ils utilisent un produit
NOTE 1 Adapté de l'ISO 20282-1:2006, définition 3.14.
NOTE 2 Des exemples d'objectifs principaux sont donnés dans l'Annexe A.
4.15
satisfaction
absence d'inconfort, et attitudes positives dans l'utilisation du produit
[ISO 9241-11:1998, définition 3.4]
NOTE Pour les besoins de la présente méthode d'essai, la satisfaction eu égard à l'emploi est mesurée par l'attitude
dans l'emploi du produit.
4.16
satisfaction eu égard à l'emploi
mesures de l'attitude dans l'emploi de l'interface utilisateur d'un produit
[ISO 20282-1:2006, définition 3.16]
4.17
tâche
activités requises pour atteindre un objectif
NOTE Ces activités peuvent être physiques et/ou cognitives.
[ISO 9241-11:1998, définition 3.9]
4.18
utilisabilité
degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis,
avec efficacité, efficience et satisfaction, dans un contexte d'utilisation spécifié
[ISO 9241-11:1998, définition 3.1]
4.19
utilisateur
personne qui interagit avec le produit
[ISO 9241-11:1998, définition 3.7]
4.20
caractéristiques de l'utilisateur
attributs d'un utilisateur susceptibles d'influencer l'utilisabilité
[ISO 20282-1:2006, définition 3.20]
4 © ISO 2006 – Tous droits réservés
---------------------- Page: 10 ----------------------
ISO/TS 20282-2:2006(F)
4.21
interface utilisateur
éléments d'un produit permettant de le contrôler et de recevoir des informations sur son état ainsi que sur
l'interaction qui permet à l'utilisateur d'employer ledit produit pour son usage prévu
NOTE Une liste d'instructions d'utilisation affichée de façon permanente sur le produit fait partie intégrante de
l'interface utilisateur.
EXEMPLE L'interface utilisateur d'un robinet de douche est le levier de commande de l'eau, le mouvement du levier
contrôlant la température de l'eau, et sa position indiquant la température à l'utilisateur.
[ISO 20282-1:2006, définition 3.21]
4.22
groupe d'essai
groupe de personnes sélectionnées pour participer à un essai d'utilisabilité, échantillonné selon des
exigences spécifiques
4.23
produit grand public d'accès et d'utilisation immédiats
produit usuel qui fournit un service au grand public
NOTE 1 Ce terme inclut les produits destinés à être utilisés par le grand public dans les établissements commerciaux
tels qu'un magasin ou un hôtel.
NOTE 2 Adapté de l'ISO 20282-1:2006, définition 3.22.
5 Objectif des essais de facilité d'emploi
Le but de cette méthode d'essai consiste à évaluer si les objectifs en matière de facilité d'emploi ont été
atteints, ou à comparer les produits avec des versions antérieures ou avec des produits concurrents.
NOTE Cette méthode est complémentaire aux méthodes d'évaluation formative qui utilisent un plus petit nombre de
participants (voir l'Annexe B).
Cette méthode d'essai peut être utilisée par
a) les fabricants pour évaluer si les exigences d'utilisabilité ont été respectées et/ou pour démontrer la
facilité d'emploi d'un produit aux acheteurs potentiels;
b) les acheteurs potentiels pour vérifier si un produit satisfait à leurs exigences;
c) les acheteurs potentiels ou les organismes d'essai pour comparer plusieurs produits.
Cet essai peut être effectué en laboratoire, ou conjointement avec l'acheteur potentiel, en installant un
prototype dans un lieu où les essais peuvent se dérouler sous contrôle.
EXEMPLE 1 Estimation de l'efficacité d'emploi sur le terrain — Un opérateur de réseau ferroviaire métropolitain
installe des distributeurs de tickets dans une gare d'un aéroport international, et veut s'assurer que 80 % des visiteurs
parlant les langues du distributeur sont en mesure d'acheter un ticket aller approprié. Un prototype est installé à l'aéroport.
Sur la base de la répartition des caractéristiques pertinentes des utilisateurs au sein de la population d'utilisateurs cibles,
un groupe d'essai constitué de 100 personnes représentatives de ces caractéristiques est identifié. Les voyageurs sont
contactés individuellement et, s'ils correspondent aux exigences d'échantillonnage, sont invités à essayer le distributeur.
Ce processus se poursuit jusqu'à ce que les exigences d'échantillonnage aient été respectées. Le résultat de test est
donné sous forme de mesure du taux de succès avec un intervalle de confiance. Pour être sûr à 95 % que 80 % de la
population est en mesure d'acheter un ticket, 87 personnes sur les 100 ayant participé à l'essai doivent avoir réussi l'essai
(voir Annexe D).
© ISO 2006 – Tous droits réservés 5
---------------------- Page: 11 ----------------------
ISO/TS 20282-2:2006(F)
EXEMPLE 2 Comparaison de l'efficience d'emploi en laboratoire ou dans un lieu d'essai — Un opérateur de réseau
ferroviaire métropolitain installe de nouvelles barrières d'accès destinées à être principalement utilisées par les usagers
réguliers. La vitesse de passage de la barrière est importante pour éviter les files d'attente. L'opérateur veut vérifier que
les utilisateurs peuvent franchir la nouvelle barrière au moins aussi rapidement que l'ancienne. Les deux types de
barrières sont installés dans un lieu d'essai et un échantillon représentatif de 50 utilisateurs est recruté. Il leur est
demandé de former des files d'attente pour franchir les barrières. Lorsque le temps nécessaire pour franchir chaque
barrière a atteint un niveau homogène pour la barrière en question, les temps sont comparés. Le résultat d'essai est
donné sous forme de taux de succès et de temps médian de passage, avec un intervalle de confiance. Le temps de
passage des deux barrières est comparé au moyen d'un essai statistique approprié, afin de déterminer s'il existe une
différence significative.
EXEMPLE 3 Comparaison de l'efficacité et de l'efficience d'emploi en laboratoire et sur le terrain — Le fabricant d'une
borne en libre-service utilisée par les clients pour effectuer des achats à partir d'un catalogue en magasin veut démontrer
(pour des besoins de marketing) que sa borne est plus facile à utiliser que les bornes concurrentes et permettra un
volume de clientèle plus important avec moins d'erreurs. Il est prévu que la nouvelle borne soit beaucoup plus rapide à
utiliser. Un prototype est installé dans un magasin. Le taux de succès et le temps de réalisation de la tâche sont mesurés
pour les mêmes achats spécifiés, effectués par 15 nouveaux utilisateurs cibles et 15 acheteurs habituels, utilisant chaque
type de borne. Le temps d'utilisati
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.