ISO/PAS 20282-4:2007
(Main)Ease of operation of everyday products - Part 4: Test method for the installation of consumer products
Ease of operation of everyday products - Part 4: Test method for the installation of consumer products
ISO/PAS 20282-4:2007 specifies a test method for measuring the ease of installation of consumer products. The purpose of the test is to provide a basis for predicting the ease of installation of a consumer product, including measures of its effectiveness and efficiency of installation, and the satisfaction of the intended user population in the intended context of its use. The method could also be applied to maintenance tasks. The intended users of ISO/PAS 20282-4:2007 are people with human factors expertise in the design and management of appropriate tests, including manufacturers, suppliers, purchasing organizations and third parties such as consumer organizations.
Facilité d'emploi des produits quotidiens — Partie 4: Méthode d'essai pour l'installation de produits de consommation courante
L'ISO/PAS 20282-4:2007 spécifie une méthode d'essai pour le mesurage de la facilité d'installation des produits de consommation courante. L'objectif de cet essai consiste à fournir un cadre permettant de prévoir la facilité d'installation d'un produit de consommation courante, y compris la mesure de son efficacité et de son efficience d'installation, ainsi que la satisfaction de la population d'utilisateurs cibles dans le contexte d'utilisation prévu. La méthode d'essai peut également être appliquée aux tâches de maintenance. L'ISO/PAS 20282-4:2007 est destinée aux personnes ayant une compétence en matière de facteurs humains dans la conception et la gestion d'essais appropriés, y compris les fabricants, fournisseurs, organismes d'achat ou tierces parties (telles que les organisations de consommateurs).
General Information
Relations
Frequently Asked Questions
ISO/PAS 20282-4:2007 is a technical specification published by the International Organization for Standardization (ISO). Its full title is "Ease of operation of everyday products - Part 4: Test method for the installation of consumer products". This standard covers: ISO/PAS 20282-4:2007 specifies a test method for measuring the ease of installation of consumer products. The purpose of the test is to provide a basis for predicting the ease of installation of a consumer product, including measures of its effectiveness and efficiency of installation, and the satisfaction of the intended user population in the intended context of its use. The method could also be applied to maintenance tasks. The intended users of ISO/PAS 20282-4:2007 are people with human factors expertise in the design and management of appropriate tests, including manufacturers, suppliers, purchasing organizations and third parties such as consumer organizations.
ISO/PAS 20282-4:2007 specifies a test method for measuring the ease of installation of consumer products. The purpose of the test is to provide a basis for predicting the ease of installation of a consumer product, including measures of its effectiveness and efficiency of installation, and the satisfaction of the intended user population in the intended context of its use. The method could also be applied to maintenance tasks. The intended users of ISO/PAS 20282-4:2007 are people with human factors expertise in the design and management of appropriate tests, including manufacturers, suppliers, purchasing organizations and third parties such as consumer organizations.
ISO/PAS 20282-4:2007 is classified under the following ICS (International Classification for Standards) categories: 13.180 - Ergonomics. The ICS classification helps identify the subject area and facilitates finding related standards.
ISO/PAS 20282-4:2007 has the following relationships with other standards: It is inter standard links to ISO/TS 20282-2:2013. Understanding these relationships helps ensure you are using the most current and applicable version of the standard.
You can purchase ISO/PAS 20282-4:2007 directly from iTeh Standards. The document is available in PDF format and is delivered instantly after payment. Add the standard to your cart and complete the secure checkout process. iTeh Standards is an authorized distributor of ISO standards.
Standards Content (Sample)
PUBLICLY ISO/PAS
AVAILABLE 20282-4
SPECIFICATION
First edition
2007-12-15
Ease of operation of everyday
products —
Part 4:
Test method for the installation of
consumer products
Facilité d'emploi des produits quotidiens —
Partie 4: Méthode d'essai pour l'installation de produits de
consommation courante
Reference number
©
ISO 2007
PDF disclaimer
This PDF file may contain embedded typefaces. In accordance with Adobe's licensing policy, this file may be printed or viewed but
shall not be edited unless the typefaces which are embedded are licensed to and installed on the computer performing the editing. In
downloading this file, parties accept therein the responsibility of not infringing Adobe's licensing policy. The ISO Central Secretariat
accepts no liability in this area.
Adobe is a trademark of Adobe Systems Incorporated.
Details of the software products used to create this PDF file can be found in the General Info relative to the file; the PDF-creation
parameters were optimized for printing. Every care has been taken to ensure that the file is suitable for use by ISO member bodies. In
the unlikely event that a problem relating to it is found, please inform the Central Secretariat at the address given below.
© ISO 2007
All rights reserved. Unless otherwise specified, no part of this publication may be reproduced or utilized in any form or by any means,
electronic or mechanical, including photocopying and microfilm, without permission in writing from either ISO at the address below or
ISO's member body in the country of the requester.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Published in Switzerland
ii © ISO 2007 – All rights reserved
Contents Page
Foreword. iv
Introduction . v
1 Scope . 1
2 Conformity. 1
3 Normative references . 1
4 Terms and definitions. 1
5 Purpose of testing ease of installation. 5
6 Test procedure . 6
7 Test method. 6
7.1 Identify product. 6
7.2 Specify expected context of use . 6
7.3 Check that the product is compatible with intended user characteristics. 8
7.4 Design the test . 8
7.5 Measures . 11
8 Results . 11
8.1 Effectiveness of installation . 11
8.2 Efficiency of installation . 11
8.3 Satisfaction with installation . 11
9 Report . 12
Annex A (informative) Product goals and installation tasks . 13
Annex B (informative) Background to the test method. 15
Annex C (normative) Recruiting a representative sample of users. 17
Annex D (normative) Confidence intervals. 20
Annex E (normative) Satisfaction with operation scale . 23
Annex F (normative) Format for test reports. 24
Annex G (informative) Feedback on this part of ISO 20282. 30
Bibliography . 32
Foreword
ISO (the International Organization for Standardization) is a worldwide federation of national standards bodies
(ISO member bodies). The work of preparing International Standards is normally carried out through ISO
technical committees. Each member body interested in a subject for which a technical committee has been
established has the right to be represented on that committee. International organizations, governmental and
non-governmental, in liaison with ISO, also take part in the work. ISO collaborates closely with the
International Electrotechnical Commission (IEC) on all matters of electrotechnical standardization.
International Standards are drafted in accordance with the rules given in the ISO/IEC Directives, Part 2.
The main task of technical committees is to prepare International Standards. Draft International Standards
adopted by the technical committees are circulated to the member bodies for voting. Publication as an
International Standard requires approval by at least 75 % of the member bodies casting a vote.
In other circumstances, particularly when there is an urgent market requirement for such documents, a
technical committee may decide to publish other types of document:
⎯ an ISO Publicly Available Specification (ISO/PAS) represents an agreement between technical experts in
an ISO working group and is accepted for publication if it is approved by more than 50 % of the members
of the parent committee casting a vote;
⎯ an ISO Technical Specification (ISO/TS) represents an agreement between the members of a technical
committee and is accepted for publication if it is approved by 2/3 of the members of the committee casting
a vote.
An ISO/PAS or ISO/TS is reviewed after three years in order to decide whether it will be confirmed for a
further three years, revised to become an International Standard, or withdrawn. If the ISO/PAS or ISO/TS is
confirmed, it is reviewed again after a further three years, at which time it must either be transformed into an
International Standard or be withdrawn.
Attention is drawn to the possibility that some of the elements of this document may be the subject of patent
rights. ISO shall not be held responsible for identifying any or all such patent rights.
ISO/PAS 20282-4 was prepared by Technical Committee ISO/TC 159, Ergonomics, Subcommittee SC 1,
Ergonomic guiding principles.
ISO 20282 consists of the following parts, under the general title Ease of operation of everyday products:
⎯ Part 1: Design requirements for context of use and user characteristics
⎯ Part 2: Test method for walk-up-and-use products [Technical Specification]
⎯ Part 3: Test method for consumer products [Publicly Available Specification]
⎯ Part 4: Test method for the installation of consumer products [Publicly Available Specification]
iv © ISO 2007 – All rights reserved
Introduction
Many people find everyday products such as telephone answering machines and videorecorders difficult to
install. If the product is not easy to install, many users will find the product difficult, if not impossible, to use.
This is clearly not desirable, either for the suppliers of such products or for the users. Information about the
ease of installation of a product would therefore be of great value to both suppliers as part of their
development process, and to potential purchasers making purchase decisions or comparing alternative
products. This would provide an incentive for the production of products that are easier to install and use, and
enable potential purchasers to pay specific attention to ease of installation when selecting a product to buy.
This part of ISO 20282 specifies a test method that can be used to provide an operational evaluation of the
ease of installation of consumer products. The test method is a summative method that gives
performance-based measures that can be used for assessment against predetermined criteria or as the basis
for comparisons between different products. Thus the test method is an example of a “performance-related”
usability method (see ISO/TR 16982) that can be used to measure ease of installation and establish whether
quantitative usability requirements for ease of installation have been achieved.
Manufacturers can use the test method presented here to test whether requirements for ease of installation
have been met, or to compare their products with previous versions, or with competitor products. They could
communicate the test results to potential purchasers in product descriptions or advertising. Corporate
purchasers can use the test method to determine whether products meet their needs, while testing
organizations could use it as a basis for providing information to potential users and organizations
representing users.
Usability (see ISO 9241-11) is the extent to which a product can be used by specified users to achieve
specified goals with effectiveness, efficiency and satisfaction, in a specified context of use. Ease of installation
provides a measure of the usability of an everyday product when used by the actual or intended users to
achieve the goal of installing the product. It is assumed that users can achieve this goal when the product is
installed correctly. The method is intended to be used with products where there is a clear criterion for
successfully installing the product, and not where there is variable quality in the outcome. Ease of installation
is primarily concerned with the installation process, rather than the quality of the features that are present
within a product to support the product’s installation.
When the installation process is relatively fast and of limited complexity, the most important measure of ease
of installation is effectiveness. Effectiveness of installation is measured as the percentage of users who can
successfully install the product. Efficiency of installation can be important if the time is extended. In addition,
for some products to be identified as easy to install, it is important that users are satisfied with their experience
of installation, for example, where the process is very complex.
ISO 13407 provides guidance on the human-centred design principles and design activities to be applied
throughout development in order to produce usable products. It stresses that usability requirements should be
specified prior to development, and that evaluation is an iterative process during development. The summative
test method in this part of ISO 20282 can be used to evaluate pre-specified requirements. Other types of
usability methods for formative evaluation are more appropriate when the main objective is to provide
feedback in the course of design, although this summative method can also provide information on usability
problems that need to be corrected. ISO 13407 also emphasizes the importance of identifying the context of
use. ISO 20282-1 describes in more detail sources of variance in user characteristics that form part of the
context of use that needs to be taken into account when designing for ease of installation. This information is
also needed to identify the requirements for testing in this part of ISO 20282.
This part of ISO 20282 has been published as a Publicly Available Specification so that information and
experience of its use in practice may be gathered (see Annex G). Versions of the test method for ease of
operation of walk-up-and-use products and for ease of operation of consumer products are given in
ISO/TS 20282-2 and ISO/PAS 20282-3.
PUBLICLY AVAILABLE SPECIFICATION ISO/PAS 20282-4:2007(E)
Ease of operation of everyday products —
Part 4:
Test method for the installation of consumer products
1 Scope
This part of ISO 20282 specifies a test method for measuring the ease of installation of consumer products.
The purpose of the test is to provide a basis for predicting the ease of installation of a consumer product,
including measures of its effectiveness and efficiency of installation, and the satisfaction of the intended user
population in the intended context of its use. The method could also be applied to maintenance tasks.
The intended users of this part of ISO 20282 are people with human factors expertise in the design and
management of appropriate tests, including manufacturers, suppliers, purchasing organizations and third
parties (such as consumer organizations).
2 Conformity
A test method reporting values for ease of installation of a consumer product conforms to this part of
ISO 20282 if the method used conforms to the applicable requirements in Clauses 7, 8 and 9 and Annexes C,
D and E. To provide evidence of conformance, a full report of the results shall be prepared using the format
specified in Annex F.
3 Normative references
The following referenced documents are indispensable for the application of this document. For dated
references, only the edition cited applies. For undated references, the latest edition of the referenced
document (including any amendments) applies.
ISO 20282-1:2006, Ease of operation of everyday products — Part 1: Design requirements for context of use
and user characteristics
4 Terms and definitions
For the purposes of this document, the following terms and definitions apply.
4.1
actual users
group(s) of people who directly interact with a product
NOTE Before a product is released this is the intended user group, and after release this is based on what is known
about the actual user group.
[ISO 20282-1:2006, definition 3.1]
4.2
consumer product
product that is intended to be acquired and used by an individual for personal rather than professional use
[ISO 20282-1:2006, definition 3.2]
4.3
context of evaluation
users, tasks, equipment (hardware, software and materials), and physical and social environments in which a
product is evaluated
[ISO/TS 20282-2:2006, definition 4.3]
4.4
context of use
users, tasks, equipment (hardware, software and materials), and physical and social environments in which a
product is used
[ISO 9241-11:1998, definition 3.5]
4.5
ease of installation
ease of operation for the goal of first installing a product
4.6
ease of operation
usability of the user interface of an everyday product when used by the intended users to achieve the main
goal(s) supported by the product
NOTE 1 Ease of operation is a specific aspect of usability as defined in ISO 9241-11, which in this case is applied to
the operation of everyday products. Ease of operation assumes that the functionality of the product other than the user
interface operates correctly.
NOTE 2 Ease of operation is measured as effectiveness of operation, optionally including efficiency of operation and
satisfaction with operation.
[ISO 20282-1:2006, definition 3.4]
4.7
effectiveness
accuracy and completeness with which users achieve specified goals
[ISO 9241-11:1998, definition 3.2]
NOTE 1 For the purpose of this test method, effectiveness of operation is measured by the percentage of users who
achieve the main goal(s) of use of a product accurately and completely. Measures of effectiveness of operation are based
on the end result independently of whether the goal is achieved in the most efficient way.
NOTE 2 Effectiveness of installation is measured as the effectiveness of operation for the goal of first installing a
product.
4.8
effectiveness of installation
effectiveness of operation for the goal of first installing a product
4.9
effectiveness of operation
percentage of users who achieve the main goal(s) of use of a product accurately and completely
2 © ISO 2007 – All rights reserved
NOTE Measures of effectiveness of operation are based on success in achieving the end result independently of
whether the goal is achieved in the most efficient way.
[ISO 20282-1:2006, definition 3.6]
4.10
efficiency
resources expended in relation to the accuracy and completeness with which users achieve goals
[ISO 9241-11:1998, definition 3.3]
NOTE 1 For the purposes of this test method, efficiency of operation is measured as the time taken to achieve the
main goal(s).
NOTE 2 Efficiency of installation is measured as the efficiency of operation for the goal of first installing a product.
4.11
efficiency of installation
efficiency of operation for the goal of first installing a product
4.12
efficiency of operation
time taken to achieve the main goal(s)
NOTE This identifies a specific resource for efficiency as defined in 4.10.
[ISO 20282-1:2006, definition 3.8]
4.13
everyday product
consumer product or walk-up-and-use product designed for use by members of the general public
NOTE 1 Some products are designed for use by the general public as well as for professional use, but this definition
only applies to non-professional use of the product.
NOTE 2 “Everyday” does not imply that the product must be used every day by the user, rather that it is found in
everyday life.
[ISO 20282-1:2006, definition 3.9]
4.14
goal
intended outcome
[ISO 9241-11:1998, definition 3.8]
NOTE A goal is stated independently of the functionality used to achieve it.
4.15
intended users
group(s) of people for whom a product is designed
NOTE 1 Adapted from ISO 9241-9:2000, definition 3.4.6.
NOTE 2 In many cases the actual user population is different from that originally intended by the manufacturer. The
intended user group is based on realistic estimations of who the actual users of the product will be.
[ISO 20282-1:2006, definition 3.12]
4.16
interaction
bi-directional information exchange between users and equipment
[IEC/TR 61997:2001, definition 3.4]
NOTE 1 Equipment includes both hardware and software.
NOTE 2 Information exchange may include physical actions, resulting in sensory feedback.
4.17
main goal(s)
most frequent or important outcome(s) that all or a large majority of users want to achieve when using a
product
[ISO 20282-1:2006, definition 3.14]
NOTE Examples of main goals are given in Annex A.
4.18
satisfaction
freedom from discomfort, and positive attitudes towards the use of the product
[ISO 9241-11:1998, definition 3.4]
NOTE 1 For the purposes of this test method, satisfaction with operation is measured by the attitude towards the
operation of the product.
NOTE 2 The satisfaction with installation is measured by the satisfaction with operation for the goal of first installing a
product.
4.19
satisfaction with installation
satisfaction with operation for the goal of first installing a product
4.20
satisfaction with operation
measures of attitude towards the operation of the product user interface
[ISO 20282-1:2006, definition 3.16]
4.21
task
activities required to achieve a goal
NOTE These activities can be physical and/or cognitive.
[ISO 9241-11:1998, definition 3.9]
4.22
usability
extent to which a product can be used by specified users to achieve specified goals with effectiveness,
efficiency and satisfaction in a specified context of use
[ISO 9241-11:1998, definition 3.1]
4 © ISO 2007 – All rights reserved
4.23
user
person who interacts with the product
[ISO 9241-11:1998, definition 3.7]
4.24
user characteristics
attributes of a user that can influence usability
[ISO 20282-1:2006, definition 3.20]
4.25
user interface
elements of a product used to control it and receive information about its status, and the interaction that
enables the user to use it for its intended purpose
EXAMPLE The user interface of a shower tap is the water control lever, where the movement of the lever controls
the temperature of the water and the position of the lever communicates the temperature to the user.
NOTE A list of operating instructions permanently displayed on the product is part of the user interface.
[ISO 20282-1:2006, definition 3.21]
4.26
user test group
group of persons selected to participate in a test of usability, sampled according to specific requirements
[ISO/TS 20282-2:2006, definition 4.22]
4.27
walk-up-and-use product
everyday product that provides a service to the general public
NOTE This includes products intended for use by the general public in commercial premises such as in a shop or
hotel.
[ISO 20282-1:2006, definition 3.22]
5 Purpose of testing ease of installation
The purpose of the test method is to evaluate whether ease of installation objectives have been met, or to
compare products with previous versions or competitor products.
NOTE 1 This method is complementary to test methods for formative evaluation that use a smaller number of
participants (see Annex B).
The test method may be used by
⎯ a manufacturer to test whether usability requirements have been met and/or to provide evidence of the
ease of installation of a product for marketing purposes, or
⎯ a potential corporate purchaser or test organization to compare alternative products.
EXAMPLE A manufacturer wants to demonstrate that a multi-function home printer and copier is very easy to install.
A sample of 50 people who own a printer/copier at home and who are representative in age, education and ownership of
different brands (as these are expected to be the major factors that influence ease of installation) are recruited. Testing
takes place on one day. Each session is expected to take a total of 10 min to 30 min, and five kits are available. The
printer/copier is returned to its default settings on completion of each test and repackaged as it would be received by the
consumer. Users are taken from a pool in a waiting room. Each person is asked to install the printer/copier and print and
copy a test page. The test result is given as the measured success rate together with a confidence interval, and the
median task time together with a confidence interval. To be 95 % confident that 80 % of the user population can
successfully install the printer/copier, 45 of the 50 people tested will have to be successful.
NOTE 2 ISO/TS 20282-2 specifies a similar test method for ease of operation of walk-up-and-use products, and
ISO/PAS 20282-3 specifies a similar method for the ease of operation of consumer products.
6 Test procedure
To measure ease of installation, the following steps shall be followed.
a) Identify the product to be tested, see 7.1.
b) Identify the expected context of use (users, tasks and environment), see 7.2.
c) Check that the product is compatible with intended user characteristics, see 7.3.
d) Decide whether to test one or more groups, see 7.4.1.
e) Identify which measures are required, whether there are required values for the measures, or whether
two results are being compared, see 7.4.2.
f) Select a group of users that represents the intended user group of the product, see 7.4.4.
g) Design a test procedure that includes a representative group of users to install the products, see 7.4.7.
h) Measure success rate and, optionally, task time and satisfaction (using a questionnaire), see 7.5.
i) Calculate effectiveness of installation (percentage success rate) and, optionally, efficiency of installation
(median task time) and satisfaction with installation (mean questionnaire scores), see Clause 8.
j) Prepare a full report and/or a short summary, see Clause 9.
7 Test method
7.1 Identify product
Identify the specific product and version to be tested.
The product shall be provided as it would typically be received by the user.
Consumer products may be tested with separate instructions, if these would typically be available.
EXAMPLE A mobile phone is provided in a box with associated documentation, or an oven is provided professionally
installed in a physical housing connected to gas or electricity, but without configuration of the clock or other controls.
7.2 Specify expected context of use
7.2.1 Identify criteria for successful installation
The condition(s) that constitute successful installation shall be identified from information supplied by the
manufacturer.
The main goal is to install the most common configuration.
The criteria for complete and effective installation shall be specified.
6 © ISO 2007 – All rights reserved
7.2.2 Identify installation procedure
The intended installation procedure shall be identified, typically from information supplied by the manufacturer.
Examples are given in Annex A.
This information is needed to plan the test and analyse the results, but is not included in the task instructions
(see 7.4.7).
7.2.3 Specify intended or actual user groups
The actual or intended user group expected to install the product shall be identified — for example, based on
information provided by the manufacturer.
NOTE If installation requires special skills (e.g. in the use of tools), it is possible that the user group for installation
might not be the same as the user group for use.
Some products are aimed at specific segments of the population (e.g. related to income or age group), or
could be in a family of related consumer products for different market sectors. The range of each user
characteristic listed in ISO 20282-1:2006, Clause 7, expected to have a significant effect on ease of
installation, shall be specified.
EXAMPLE The user population of a mobile phone is expected to be 80 % English speaking, 10 % French speaking
and 10 % other languages. It is assumed that all the users will have prior experience of using mobile phones to make
phone calls.
For those user groups to be included in the testing, the following information is needed.
⎯ Which user characteristics could affect the ease of installation of the product?
⎯ What range of characteristics exists in the intended or actual user group?
⎯ What is the expected distribution of each relevant user characteristic?
a) Physical characteristics
Identify whether installation of the product requires particular physical characteristics (such as body
dimensions, strength and biomechanical abilities, visual abilities, auditory abilities, or handedness). Either
prior tests of users near the expected limits or the use of existing sources of data on the range of human
characteristics may be used to establish the range of people who can use the product.
EXAMPLE Existing data could be used to determine the size of text required for legibility by particular segments of
the population.
The range of potential users may also be established by testing users near the expected limits.
b) Psychological and social characteristics
It is important to establish what cognitive characteristics or capabilities (such as knowledge and
experience, cultural differences, literacy and language) are likely to have a major effect on ease of
installation. This may be done by expert assessment, collection of actual usage data, or empirical studies
to evaluate the effect of different user characteristics.
c) Special needs
Identify to what extent the product is intended to support people (such as older users) whose physical or
psychological characteristics (body dimensions, strength, biomechanical abilities, visual abilities, auditory
abilities, handedness, knowledge, experience, culture, literacy or language) are towards the end of the
range. Where possible, use existing data.
EXAMPLE 1 The product is intended also to be used by elderly users. The required text size for the display is
identified from existing data.
If there is particular interest in whether subgroups or individuals at the end of the ranges of variation in
physical or cognitive abilities can use the product, additional evaluation may be carried out for these
groups.
EXAMPLE 2 Additional tests are carried out to establish whether the product can be installed by people with poor
sight, or wheelchair users.
7.2.4 Specify environmental characteristics
The main environments in which the product is (or is intended to be) installed shall be identified. Those
attributes of the physical or social environment that are likely to have significant effects on the effectiveness
with which it can be installed shall be specified.
7.3 Check that the product is compatible with intended user characteristics
Where inspection of the product indicates that successful attainment of the main goal(s) identified in 7.2.1 will
not be possible for some members of the intended user population, it may be appropriate to use existing data
to predict how many people will be affected. If the number of people who cannot use the product represents
an unacceptable proportion of the intended users, no user-based testing can be carried out.
7.4 Design the test
7.4.1 Decide whether to test one or more groups
The widest possible range of users within the expected user population should be tested, but if any
differences in the context of use would have a major impact on the ease of installation, each user group or
contextual condition should be tested or analysed separately (see Annex C).
Decide whether to test separately any special groups who have characteristics that might make it difficult to
use the product, for example, with a particular disability.
7.4.2 Identify measures
a) Identify which measures are required.
⎯ Measure effectiveness of installation: the most important measure of ease of installation is
effectiveness.
⎯ Establish whether measures of efficiency of installation and/or satisfaction with installation are
needed.
b) Identify whether there are required values for the measures, or whether two results are being compared.
If so, identify the required statistical confidence (confidence that the result has not occurred by chance).
NOTE The higher the required success rate and the higher the confidence, the more users will be required. In
scientific work, it is usual to require at least 95 % confidence in order to be able to draw a conclusion, but for some
business purposes, a lower degree of confidence (such as 80 %) might be sufficient.
EXAMPLE 1 The objective is to achieve a success rate of 80 % with 95 % confidence (see the example in Clause 5).
EXAMPLE 2 The objective is to compare the ease of installation of two alternative products, and establish with 80 %
confidence whether there are any differences.
8 © ISO 2007 – All rights reserved
7.4.3 Specify the installation tasks
Define the scope of the installation task(s).
The test tasks shall include a precise statement of the goal(s) to be attained.
EXAMPLE Set up a mobile phone for first use or install a new TV so that it can receive available channels.
The condition(s) associated with successful installation shall be identified, together with a way of monitoring
when it has been achieved. Since successful completion is the criterion, alternative methods of achieving
installation (including errors that are successfully corrected) shall be included as positive results, unless the
means used have undesirable consequences, such as posing a risk to the well-being of the individual, or
causing damage to the product.
To enable task timing, the criteria for task completion shall be specified (typically, a specific action or
statement by the user).
A maximum amount of time allowed for successful installation shall be established. This period should be
sufficient to allow test persons to try different ways of achieving installation before they give up. The expected
time to complete the task should be estimated from pretests, and the maximum time allowed to users before
they are categorized as having failed should be at least three times the expected time.
If there is more than one installation task to be tested, it will be necessary to decide the order in which the
tasks are to be undertaken. In general, if there is a normal sequence in which tasks would be undertaken, this
should be the order for testing. If no normal sequence exists it will be necessary to avoid testing in one fixed
sequence, in order to avoid arbitrary order effects. In this case, the order may be systematically varied, or
assigned randomly for each person tested.
7.4.4 Recruit a representative sample of users
A sample representing the intended or actual people who will install the product shall be recruited to take part
in the test. Stratified sampling shall be used to set up a sample that models the distribution of relevant user
characteristics within the intended or actual user groups (see Annex C). Nobody who takes part in the test
shall fall outside the ranges specified for the variation in user characteristics identified in 7.2.3.
Decide whether the characteristics of the intended or actual user groups identified in 7.2.3 divide users into
distinct categories that will have a major impact on ease of installation. For example, a global product would
probably need separate groups of each nationality.
It is important to decide whether to test first-time users, or people with previous experience (or both as
separate groups). Even with a new product, people could have experience with similar products or a similar
previous model, so the type of previous experience may need to be defined. Any relevant background
experience of use of similar or related products shall be recorded for each user.
Systematically select a sample of users with the same distribution of values or attributes of the relevant user
characteristics as the intended or actual user groups identified in 7.2.3, and record the characteristics of each
user.
Many general physical and psychological characteristics (such as strength, visual acuity and cognitive
capabilities) can be adequately sampled through demographic variables such as age and education. The main
exceptions are relevant previous experience, specialized knowledge or skills and culture.
EXAMPLE An alarm clock requires manual dexterity to operate the controls and good visual acuity to read the
instructions. These relevant user characteristics are sampled by recruiting users with a representative distribution of age
and educational attainment. Owing to the fact that 5 % of purchasers are expected to have previous experience of this
type of alarm clock, and as the task of setting the alarm is expected to be much more difficult for those who do not have
this experience, only people without previous experience will be tested.
The number of users selected and the accuracy of sampling will determine the extent to which the results
accurately estimate the values for the population sampled (see Annex C).
Test persons shall not be from the testing or manufacturing organization.
7.4.5 Product and equipment
The version of the product that is tested should normally be a standard production model packaged (including
any instructions) as normally received by the user. If testing is being carried out before development has been
completed, the version used shall closely resemble the completed final delivered product, and any areas that
are different shall be noted. Evaluation shall be conducted with the product being used in conjunction with any
other equipment that is required for installation.
The product should be provided contained in normal packaging.
Any instructions provided with the product will normally be made available to the users (see 7.4.7).
7.4.6 Test environment
a) Testing shall be carried out in an environment that resembles as closely as possible the environment in
which the product would be installed. If a usability laboratory is used, the normal conditions of installation
shall be simulated.
If installation of the product could be adversely affected by particular environmental conditions, it may be
appropriate to carry out the testing in those conditions in order to be assured of high levels of successful
installation at all times.
EXAMPLE 1 Normally installed in cold weather by people wearing gloves.
b) Provide access to a help line or internet help, if provided for the product.
c) Provide any tools that are specified in the instructions, or that the user is expected to possess.
NOTE Tools may be included with the product.
d) If the product is normally installed in a stressful environment, this should be reproduced.
EXAMPLE 2 A noisy environment or time pressure to configure the product.
7.4.7 Establish test procedure
a) A written script shall be prepared, containing instructions that are presented to each user. The script shall
include a description of the scenario within which testing is taking place (e.g. receiving a product after
purchase) and shall state the particular installation goal(s) and the conditions which apply to it. No hints
shall be included on how to achieve the goal(s) or which tools to use.
b) Users shall not be given any hints or assistance from the personnel conducting the test but depending on
the purpose of the test, the user will normally be free to use the instructions that come with the product.
c) Those conducting the test shall note the time taken to achieve each goal. If the user reaches the
maximum amount of time allowed without attaining the goal, they shall be asked to stop and, if
appropriate, move on to the next goal.
10 © ISO 2007 – All rights reserved
7.5 Measures
7.5.1 Effectiveness of installation
All tests shall measure effectiveness of installation. The precise criteria for successful achievement of each
installation goal identified in 7.2.1 shall be used to determine the number of users successfully achieving each
goal.
7.5.2 Efficiency of installation
If time to achieve the installation goal(s) is important, this shall be measured. The time taken to achieve the
goal(s) shall be measured from the time the user is asked to start opening the packaging to the time the goal
has been achieved.
7.5.3 Satisfaction with installation
If satisfaction with installation is being measured, it shall be measured by the attitude towards the installation
of the product with the scale specified in Annex E.
7.5.4 Other data
The nature of any errors or other difficulties encountered by users may be recorded in order to identify ease of
installation problems that can be provided as feedback to design. This could include partial goal achievement.
8 Results
8.1 Effectiveness of installation
The result(s) calculated shall be the percentage of users successfully achieving the main goal (success rate),
together with the confidence intervals, as specified in Annex D. If there is more than one goal, the result shall
be reported for the percentage of users successfully achieving each goal.
EXAMPLE 45 out of 50 users successfully installed the videorecorder. 90 % of users were successful and it is
estimated with 95 % confidence that at least 80,1 % of the intended users will be successful.
8.2 Efficiency of installation
The result(s) reported shall be the mean or median time taken by users who successfully achieved the
specified goal(s), together with the 95 % confidence intervals.
If the values of task time are not approximately normally distributed (which is the case when some times are
particularly long), a logarithmic transformation may be used before making a statistical analysis, and the
median task time reported.
EXAMPLE The median time taken by those users who successfully bought the correct ticket was 20 s (with a 95 %
probability that the true value is between 15 s and 25 s).
8.3 Satisfaction with installation
The result reported shall be the mean satisfaction scores on the satisfaction scale for all users (see Annex E).
9 Report
A full report of the results shall be prepared using the format specified in Annex F.
If a short version of the report is provided, it should include the following information:
a) which user group(s) and goal(s) have been tested;
b) overall effectiveness of installation;
c) whether the instructions included with the product were provided to the user, and whether they were
used;
d) if measured,
⎯ mean or median time taken for each goal, and
⎯ overall satisfaction.
12 © ISO 2007 – All rights reserved
Annex A
(informative)
Product goals and installation tasks
Table A.1 gives the main goals for examples of consumer products.
Table A.1 — Examples of different products and their main goal(s)
Consumer
Main goal(s) Example tasks Installation and other notes
product
Alarm clock Get woken at a certain Adjust time, set alarm time, switch Insertion of batteries is an
time alarm on, switch alarm off. installation and servicing task.
Re-establish silence Switch alarm off.
Blood pressure Measurement of blood Put on, start measurement, take Insertion of batteries is an
measuring device pressure reading, take off. installation and servicing task.
Camcorder Make and play a Insert cassette, take movie, stop,
selected moving restart, play movie.
picture
Cassette recorder Record and play Insert new cassette, control levels, Setup with stereo is an installation
auditory information take recording, stop recording, task.
rewind tape, play tape, adjust
loudness, remove cassette.
CD player Play a CD Insert CD, play CD, select track, stop Scan, shuttle, etc. are arbitrary.
CD, eject CD.
Dishwasher Wash a set of dishes Insert dishes, insert detergent(s), The correctness of the selected
select program and start machine, program is arbitrary, but the
stop machine and remove dishes. intended selection shoul
...
SPÉCIFICATION ISO/PAS
PUBLIQUEMENT 20282-4
DISPONIBLE
Première édition
2007-12-15
Facilité d'emploi des produits
quotidiens —
Partie 4:
Méthode d'essai pour l'installation de
produits de consommation courante
Ease of operation of everyday products —
Part 4: Test method for the installation of consumer products
Numéro de référence
©
ISO 2007
PDF – Exonération de responsabilité
Le présent fichier PDF peut contenir des polices de caractères intégrées. Conformément aux conditions de licence d'Adobe, ce fichier
peut être imprimé ou visualisé, mais ne doit pas être modifié à moins que l'ordinateur employé à cet effet ne bénéficie d'une licence
autorisant l'utilisation de ces polices et que celles-ci y soient installées. Lors du téléchargement de ce fichier, les parties concernées
acceptent de fait la responsabilité de ne pas enfreindre les conditions de licence d'Adobe. Le Secrétariat central de l'ISO décline toute
responsabilité en la matière.
Adobe est une marque déposée d'Adobe Systems Incorporated.
Les détails relatifs aux produits logiciels utilisés pour la création du présent fichier PDF sont disponibles dans la rubrique General Info
du fichier; les paramètres de création PDF ont été optimisés pour l'impression. Toutes les mesures ont été prises pour garantir
l'exploitation de ce fichier par les comités membres de l'ISO. Dans le cas peu probable où surviendrait un problème d'utilisation,
veuillez en informer le Secrétariat central à l'adresse donnée ci-dessous.
DOCUMENT PROTÉGÉ PAR COPYRIGHT
© ISO 2007
Droits de reproduction réservés. Sauf prescription différente, aucune partie de cette publication ne peut être reproduite ni utilisée sous
quelque forme que ce soit et par aucun procédé, électronique ou mécanique, y compris la photocopie et les microfilms, sans l'accord écrit
de l'ISO à l'adresse ci-après ou du comité membre de l'ISO dans le pays du demandeur.
ISO copyright office
Case postale 56 • CH-1211 Geneva 20
Tel. + 41 22 749 01 11
Fax. + 41 22 749 09 47
E-mail copyright@iso.org
Web www.iso.org
Publié en Suisse
ii © ISO 2007 – Tous droits réservés
Sommaire Page
Avant-propos. iv
Introduction . v
1 Domaine d'application. 1
2 Conformité. 1
3 Références normatives . 1
4 Termes et définitions. 1
5 Objectif des essais de facilité d’installation . 5
6 Mode opératoire d’essai. 6
7 Méthode d’essai . 7
7.1 Identifier le produit . 7
7.2 Spécifier le contexte d’utilisation prévu. 7
7.3 Vérifier que le produit est compatible avec les caractéristiques des utilisateurs cibles. 8
7.4 Concevoir l’essai . 8
7.5 Mesures . 11
8 Résultats. 12
8.1 Efficacité d’installation. 12
8.2 Efficience d’installation. 12
8.3 Satisfaction eu égard à l’installation . 12
9 Rapport . 12
Annexe A (informative) Objectifs et tâches d’installation du produit. 13
Annexe B (informative) Antécédents de la méthode d’essai. 16
Annexe C (normative) Réunir un échantillon représentatif d’utilisateurs. 18
Annexe D (normative) Intervalles de confiance . 21
Annexe E (normative) Échelle de satisfaction eu égard à l’installation . 24
Annexe F (normative) Format de présentation des rapports d’essai . 25
Annexe G (informative) Retour d’informations sur la présente partie de l’ISO 20282 . 31
Bibliographie . 33
Avant-propos
L'ISO (Organisation internationale de normalisation) est une fédération mondiale d'organismes nationaux de
normalisation (comités membres de l'ISO). L'élaboration des Normes internationales est en général confiée
aux comités techniques de l'ISO. Chaque comité membre intéressé par une étude a le droit de faire partie du
comité technique créé à cet effet. Les organisations internationales, gouvernementales et non
gouvernementales, en liaison avec l'ISO participent également aux travaux. L'ISO collabore étroitement avec
la Commission électrotechnique internationale (CEI) en ce qui concerne la normalisation électrotechnique.
Les Normes internationales sont rédigées conformément aux règles données dans les Directives ISO/CEI,
Partie 2.
La tâche principale des comités techniques est d'élaborer les Normes internationales. Les projets de Normes
internationales adoptés par les comités techniques sont soumis aux comités membres pour vote. Leur
publication comme Normes internationales requiert l'approbation de 75 % au moins des comités membres
votants.
Dans d'autres circonstances, en particulier lorsqu'il existe une demande urgente du marché, un comité
technique peut décider de publier d'autres types de documents:
⎯ une Spécification publiquement disponible ISO (ISO/PAS) représente un accord entre les experts dans
un groupe de travail ISO et est acceptée pour publication si elle est approuvée par plus de 50 % des
membres votants du comité dont relève le groupe de travail;
⎯ une Spécification technique ISO (ISO/TS) représente un accord entre les membres d'un comité technique
et est acceptée pour publication si elle est approuvée par 2/3 des membres votants du comité.
Une ISO/PAS ou ISO/TS fait l'objet d'un examen après trois ans afin de décider si elle est confirmée pour trois
nouvelles années, révisée pour devenir une Norme internationale, ou annulée. Lorsqu'une ISO/PAS ou
ISO/TS a été confirmée, elle fait l'objet d'un nouvel examen après trois ans qui décidera soit de sa
transformation en Norme internationale soit de son annulation.
L'attention est appelée sur le fait que certains des éléments du présent document peuvent faire l'objet de
droits de propriété intellectuelle ou de droits analogues. L'ISO ne saurait être tenue pour responsable de ne
pas avoir identifié de tels droits de propriété et averti de leur existence.
L'ISO/PAS 20282-4 a été élaborée par le comité technique ISO/TC 159, Ergonomie, sous-comité SC 1,
Principes directeurs en ergonomie.
L'ISO/PAS 20282 comprend les parties suivantes, présentées sous le titre général Facilité d'emploi des
produits quotidiens:
⎯ Partie 1: Exigences de conception pour le contexte d'utilisation et pour les caractéristiques de l'utilisateur
⎯ Partie 2: Méthode d'essai pour les produits grand public d'accès et d'utilisation immédiats [Spécification
technique]
⎯ Partie 3: Méthode d'essai pour produits de consommation courante [Spécification publiquement
disponible]
⎯ Partie 4: Méthode d'essai pour l'installation de produits de consommation courante [Spécification
publiquement disponible]
iv © ISO 2007 – Tous droits réservés
Introduction
Nombreuses sont les personnes qui trouvent que les produits usuels tels que répondeurs téléphoniques et
magnétoscopes sont difficiles à installer. Si le produit n’est pas facile à installer, beaucoup d’utilisateurs
trouveront le produit difficile, voire impossible, à utiliser. Cela n’est clairement pas souhaitable ni pour les
fournisseurs de ces produits, ni pour les utilisateurs. Les informations sur la facilité d’installation d’un produit
seront donc précieuses à la fois pour les fournisseurs, comme partie intégrante du processus de
développement, et pour les acheteurs potentiels qui ont des décisions à prendre en matière d’achat ou qui
comparent des produits. Cela encouragera la production de produits plus faciles à installer et à utiliser et
permettra aux acheteurs potentiels de prêter une attention particulière à la facilité d’installation du produit lors
de son achat.
La présente partie de l’ISO 20282 spécifie une méthode d’essai permettant de procéder à une évaluation
opérationnelle de la facilité d’installation des produits de consommation courante. La méthode d’essai décrite
est une méthode sommative fournissant des mesures basées sur les performances, pouvant être utilisées
pour évaluer des critères prédéterminés ou comme base de comparaison entre différents produits. Cette
méthode d’essai constitue donc un exemple de méthode d’utilisabilité «relative aux performances» (voir
l’ISO/TR 16982) permettant de mesurer la facilité d’installation et d’établir si les exigences quantitatives
d’utilisabilité en matière de facilité d’installation ont été respectées.
La méthode d’essai présentée ici peut être utilisée par les fabricants pour évaluer si les exigences en matière
de facilité d’installation ont été respectées, ou pour comparer leurs produits avec des versions antérieures ou
avec des produits concurrents. Ils peuvent communiquer les résultats d’essai aux acheteurs potentiels dans
les documents de description des produits ou dans les supports publicitaires. Cette méthode d’essai permet
aux acheteurs commerciaux de déterminer si les produits répondent à leurs besoins. Enfin, elle peut servir de
base aux organismes d’essai pour fournir des informations aux clients potentiels et aux organisations de
consommateurs.
L’utilisabilité (voir l’ISO 9241-11) est le degré selon lequel un produit peut être utilisé, par des utilisateurs
identifiés, pour atteindre des buts définis avec efficacité, efficience et satisfaction, dans un contexte
d’utilisation spécifié. La facilité d’installation fournit une mesure de l’utilisabilité d’un produit usuel employé par
les utilisateurs effectifs ou les utilisateurs cibles pour atteindre leurs objectifs principaux à l’aide dudit produit.
Il est supposé que les utilisateurs sont en mesure d’atteindre les objectifs principaux prévus lorsque le produit
est utilisé correctement. Cette méthode est destinée à être utilisée pour les produits présentant un critère
explicite de réalisation des objectifs, et non en cas de qualité variable du résultat. La facilité d’installation
concerne d’abord la procédure d'installation, plutôt que la qualité des caractéristiques inhérentes à un produit
par rapport à l’installation prévue du produit.
Lorsque la procédure d’installation est relativement rapide et peu complexe, la mesure la plus importante de
facilité d’installation est l’efficacité. L’efficacité d’installation est mesurée par le pourcentage d’utilisateurs
pouvant réussir l’installation du produit. L’efficience d’installation peut être un élément important, notamment
si la durée est prolongée. En outre, pour certains produits devant être identifiés comme faciles à installer, il
est important que les utilisateurs soient satisfaits de leur expérience quant à leur installation, par exemple
lorsque les procédures sont très complexes.
L’ISO 13407 donne des recommandations sur les principes et activités de conception centrée sur l’opérateur
humain à appliquer tout au long du processus de développement afin de produire des produits faciles à
utiliser. Elle insiste sur le fait qu’il convient que les exigences d’utilisabilité soient spécifiées avant le
développement, et sur le fait que l’évaluation est un processus itératif au cours du développement. La
méthode sommative d’essai décrite dans la présente partie de l’ISO 20282 peut être utilisée pour évaluer les
exigences préétablies. D’autres types de méthodes formatives d’utilisabilité sont plus appropriés lorsque
l’objectif principal consiste à fournir des retours d’information au cours de la conception, bien que cette
méthode sommative permette également de fournir des informations sur les problèmes d’utilisabilité à corriger.
L’ISO 13407 insiste également sur l’importance de l’identification du contexte d’utilisation. L’ISO 20282-1
décrit plus en détail les sources de variance des caractéristiques de l’utilisateur qui font partie du contexte
d’utilisation à prendre en compte pour la conception d’un produit facile à installer. Ces informations sont
également nécessaires pour identifier les exigences d’essai dans la présente partie de l’ISO 20282.
La présente partie de l’ISO 20282 est publiée en tant que Spécification publiquement disponible, dans le but
de recueillir des informations et d’acquérir de l’expérience quant à son application dans la pratique (voir
Annexe G). L’ISO/TS 20282-2 et l’ISO/PAS 20282-3 contiennent des versions de la méthode d’essai pour les
produits grand public d'accès et d'utilisation immédiats et de la méthode d’essai pour la facilité d’emploi des
produits de consommation courante.
vi © ISO 2007 – Tous droits réservés
SPÉCIFICATION PUBLIQUEMENT DISPONIBLE ISO/PAS 20282-4:2007(F)
Facilité d'emploi des produits quotidiens —
Partie 4:
Méthode d'essai pour l'installation de produits de
consommation courante
1 Domaine d'application
La présente partie de l’ISO 20282 spécifie une méthode d’essai pour le mesurage de la facilité d’installation
des produits de consommation courante.
L’objectif de cet essai consiste à fournir un cadre permettant de prévoir la facilité d’installation d’un produit de
consommation courante, y compris la mesure de son efficacité et de son efficience d’installation, ainsi que la
satisfaction de la population d’utilisateurs cibles dans le contexte d’utilisation prévu. La méthode d’essai peut
également être appliquée aux tâches de maintenance.
La présente partie de l’ISO 20282 est destinée aux personnes ayant une compétence en matière de facteurs
humains dans la conception et la gestion d’essais appropriés, y compris les fabricants, fournisseurs,
organismes d’achat ou tierces parties (telles que les organisations de consommateurs).
2 Conformité
Toute méthode d’essai spécifiant des valeurs relatives à la facilité d’installation d’un produit de consommation
courante est conforme à la présente partie de l’ISO 20282 si la méthode utilisée satisfait aux exigences
applicables des Articles 7, 8 et 9 et des Annexes C, D et E. Pour démontrer la conformité de la méthode, les
résultats doivent être consignés dans un rapport complet suivant le format spécifié dans l’Annexe F.
3 Références normatives
Les documents de référence suivants sont indispensables pour l'application du présent document. Pour les
références datées, seule l'édition citée s'applique. Pour les références non datées, la dernière édition du
document de référence s'applique (y compris les éventuels amendements).
ISO 20282-1:2006, Facilité d’emploi des produits quotidiens — Partie 1: Exigences de conception pour le
contexte d’utilisation et pour les caractéristiques de l’utilisateur
4 Termes et définitions
Pour les besoins du présent document, les termes et définitions suivants s'appliquent.
4.1
utilisateurs effectifs
groupe(s) de personnes qui interagit(ssent) directement avec un produit
NOTE Avant la mise en circulation d'un produit, il s'agit du groupe d'utilisateurs cibles; après sa mise en circulation,
la notion d'utilisateurs est basée sur les éléments connus du groupe d'utilisateurs.
[ISO 20282-1:2006, définition 3.1]
4.2
produit de consommation courante
produit destiné à être acquis et utilisé par une personne physique pour un usage personnel plutôt que
professionnel
[ISO 20282-1:2006, définition 3.2]
4.3
contexte d’évaluation
utilisateurs, tâches, équipement (matériel, logiciels et documents) et environnements physique et social
d'évaluation d'un produit
[ISO/TS 20282-2:2006, définition 4.3]
4.4
contexte d’utilisation
utilisateurs, tâches, équipement (matériel, logiciels et documents) et environnements physique et social
d’utilisation d’un produit
[ISO 9241-11:1998, définition 3.5]
4.5
facilité d’installation
facilité d’emploi lorsque l’objectif est la première installation d’un produit
4.6
facilité d’emploi
utilisabilité de l'interface utilisateur d'un produit usuel employé par les utilisateurs cibles pour atteindre le ou
les objectifs principaux à l'aide dudit produit
NOTE 1 La facilité d'emploi est un sous-ensemble spécifique de l'utilisabilité, telle que définie dans l'ISO 9241-11, qui
s'applique, dans ce cas, à l'emploi des produits usuels. La facilité d'emploi pose comme hypothèse que les fonctions du
produit autres que l'interface utilisateur marchent correctement.
NOTE 2 La facilité d'emploi est mesurée en termes d'efficacité d'emploi, y compris éventuellement l'efficience d'emploi
et la satisfaction à l'égard dudit emploi.
[ISO 20282-1:2006, définition 3.4]
4.7
efficacité
précision et degré d’achèvement selon lesquels l’utilisateur atteint des objectifs spécifiés
[ISO 9241-11:1998, définition 3.2]
NOTE 1 Pour les besoins de la présente méthode d’essai, l’efficacité d’emploi est mesurée par le pourcentage
d’utilisateurs atteignant précisément et complètement l’(les) objectif(s) principal(aux) d’utilisation d’un produit. La mesure
de l’efficacité d’emploi est basée sur le résultat final, indépendamment du degré d’efficience selon lequel l’objectif est
atteint.
NOTE 2 L’efficacité d’installation est mesurée en tant qu'efficacité d’emploi lorsque l’objectif est la première installation
d’un produit.
2 © ISO 2007 – Tous droits réservés
4.8
efficacité d’installation
efficacité d’emploi lorsque l’objectif est la première installation d’un produit
4.9
efficacité d’emploi
pourcentage d'utilisateurs atteignant précisément et complètement l’(les) objectif(s) principal(aux) d'utilisation
d'un produit
NOTE La mesure de l'efficacité d'emploi est basée sur le fait de réussir à atteindre le résultat final, indépendamment
du degré d'efficience selon lequel l'objectif est atteint.
[ISO 20282-1:2006, définition 3.6]
4.10
efficience
rapport entre les ressources dépensées et la précision et le degré d’achèvement selon lesquels l’utilisateur
atteint des objectifs spécifiés
[ISO 9241-11:1998, définition 3.3]
NOTE 1 Pour les besoins de la présente méthode d’essai, l’efficience d’emploi est mesurée par le temps nécessaire
pour atteindre l’(les) objectif(s) principal(aux).
NOTE 2 L’efficience d’installation est mesurée en tant qu'efficience d’emploi lorsque l’objectif est la première
installation d’un produit.
4.11
efficience d’installation
efficience d’emploi lorsque l’objectif est la première installation d’un produit
4.12
efficience d’emploi
temps nécessaire pour atteindre l’(les) objectif(s) principal(aux)
NOTE Ce terme identifie une ressource spécifique de l'efficience telle que définie en 4.10.
[ISO 20282-1:2006, définition 3.8]
4.13
produit usuel
produit de consommation courante ou produit d'accès et d'utilisation grand public, conçu pour être utilisé
quotidiennement par les individus constituant le grand public
NOTE 1 Bien que certains produits soient conçus à la fois pour être utilisés par le grand public et pour un usage
professionnel, cette définition ne s'applique qu'à l'usage non professionnel du produit.
NOTE 2 Le terme «quotidiennement» n'implique pas que le produit est utilisé tous les jours par l'utilisateur, il signifie
plutôt que le produit fait partie de l'environnement quotidien.
[ISO 20282-1:2006, définition 3.9]
4.14
objectif
but à atteindre
[ISO 9241-11:1998, définition 3.8]
NOTE Un objectif est spécifié indépendamment de la fonctionnalité employée pour l’atteindre.
4.15
utilisateurs cibles
groupe(s) de personnes pour le(s)quel(s) un produit est conçu
NOTE 1 Adapté de l'ISO 9241-9:2000, définition 3.4.6.
NOTE 2 Dans de nombreux cas, la population d'utilisateurs effectifs est différente de celle prévue à l'origine par le
fabricant. Le groupe d'utilisateurs cibles est basé sur des estimations réalistes de l'identification de la population
d'utilisateurs effectifs du produit.
[ISO 20282-1:2006, définition 3.12]
4.16
interaction
échange d’information bidirectionnel entre les utilisateurs et l’équipement employé
[CEI/TR 61997:2001, définition 3.4]
NOTE 1 L’équipement comprend à la fois le matériel et le logiciel.
NOTE 2 L’échange d’information peut inclure des actions physiques, entraînant des retours sensoriels d’information.
4.17
objectif(s) principal(aux)
résultat(s) le(s) plus fréquent(s) ou important(s) que tous les utilisateurs, ou une grande majorité d'entre eux,
veulent obtenir lorsqu'ils utilisent un produit
[ISO 20282-1:2006, définition 3.14]
NOTE Des exemples d’objectifs principaux sont donnés à l’Annexe A.
4.18
satisfaction
absence d’inconfort, et attitudes positives dans l’utilisation du produit
[ISO 9241-11:1998, définition 3.4]
NOTE 1 Pour les besoins de la présente méthode d’essai, la satisfaction eu égard à l’emploi est mesurée par l’attitude
dans l’emploi du produit.
NOTE 2 La satisfaction eu égard à l’installation est mesurée par la satisfaction eu égard à l’emploi lorsque l’objectif est
la première installation d’un produit.
4.19
satisfaction eu égard à l’installation
satisfaction eu égard à l’emploi lorsque l’objectif est la première installation d’un produit
4.20
satisfaction eu égard à l’emploi
mesures de l'attitude dans l'emploi de l'interface utilisateur d'un produit
[ISO 20282-1:2006, définition 3.16]
4.21
tâche
activités requises pour atteindre un objectif
NOTE Ces activités peuvent être physiques et/ou cognitives.
[ISO 9241-11:1998, définition 3.9]
4 © ISO 2007 – Tous droits réservés
4.22
utilisabilité
degré selon lequel un produit peut être utilisé, par des utilisateurs identifiés, pour atteindre des buts définis,
avec efficacité, efficience et satisfaction, dans un contexte d’utilisation spécifié
[ISO 9241-11:1998, définition 3.1]
4.23
utilisateur
personne qui interagit avec le produit
[ISO 9241-11:1998, définition 3.7]
4.24
caractéristiques de l’utilisateur
attributs d’un utilisateur susceptibles d’influencer l’utilisabilité
[ISO 20282-1:2006, définition 3.20]
4.25
interface utilisateur
éléments d'un produit permettant de le contrôler et de recevoir des informations sur son état ainsi que
l'interaction qui permet à l'utilisateur d'employer ledit produit pour son usage prévu
EXEMPLE L'interface utilisateur d'un robinet de douche est le levier de commande de l'eau, le mouvement du levier
contrôlant la température de l'eau et sa position communiquant la température à l'utilisateur.
NOTE Une liste d'instructions d'utilisation affichée de façon permanente sur le produit fait partie intégrante de
l'interface utilisateur.
[ISO 20282-1:2006, définition 3.21]
4.26
groupe d’essai
groupe de personnes sélectionnées pour participer à un essai d'utilisabilité, échantillonné selon des
exigences spécifiques
[ISO/TS 20282-2:2006, définition 4.22]
4.27
produit grand public d’accès et d’utilisation immédiats
produit usuel qui fournit un service au grand public
NOTE Ce terme inclut les produits destinés à être utilisés par le grand public dans les établissements commerciaux
tels qu’un magasin ou un hôtel.
[ISO 20282-1:2006, définition 3.22]
5 Objectif des essais de facilité d’installation
Le but de cette méthode d’essai consiste à évaluer si les objectifs en matière de facilité d’installation ont été
atteints, ou à comparer les produits avec des versions antérieures ou avec des produits concurrents.
NOTE 1 Cette méthode est complémentaire aux méthodes d’évaluation formative qui utilisent un plus petit nombre de
participants (voir Annexe B).
Cette méthode d’essai peut être utilisée par
⎯ les fabricants, pour évaluer si les exigences d’utilisabilité ont été respectées et/ou pour démontrer la
facilité d’installation d’un produit à des fins de marketing, ou
⎯ les acheteurs potentiels provenant d’entreprises ou les organismes d’essai, pour comparer plusieurs
produits.
EXEMPLE Un fabricant veut démontrer qu’il est très facile d’installer une imprimante/copieuse domestique à
fonction multiple. Un échantillon de 50 personnes possédant une imprimante/copieuse est recruté de manière à être
représentatif en termes d’âge, d’éducation et de possession de différentes marques (étant entendu que ces éléments
constituent les principaux facteurs qui conditionnent la facilité d’installation). L’essai se déroule en une journée. Chaque
séance est prévue pour durer au total 10 min à 30 min, et 5 équipements sont disponibles. À l’issue de chaque essai,
l’imprimante/copieuse est réglée sur ses paramètres par défaut et remballée telle qu’elle serait parvenue au client. Les
utilisateurs sont issus d’un groupe de personnes dans une salle d’attente. Il est demandé à chaque personne d’installer
l’imprimante/copieuse, d’imprimer et de copier une page d’essai. Le résultat d’essai est donné sous forme de taux de
succès et de temps médian de réalisation de la tâche, avec un intervalle de confiance. Pour être sûr à 95 % que 80 % de
la population est en mesure d’installer l’imprimante/copieuse, 45 personnes sur les 50 ayant participé à l’essai doivent
avoir réussi.
NOTE 2 L’ISO/TS 20282-2 spécifie une méthode d’essai similaire pour les produits grand public d'accès et d'utilisation
immédiats, et l’ISO/PAS 20282-3 spécifie une méthode similaire pour la facilité d’installation des produits de
consommation courante.
6 Mode opératoire d’essai
Pour mesurer la facilité d’installation, les étapes suivantes doivent être suivies.
a) Identifier le produit à soumettre à essai, voir 7.1.
b) Identifier le contexte d’utilisation prévu (utilisateurs, tâches et environnement), voir 7.2.
c) Vérifier que le produit est compatible avec les caractéristiques des utilisateurs cibles, voir 7.3.
d) Décider d’essayer un ou plusieurs groupes, voir 7.4.1.
e) Identifier les mesures requises et si des valeurs sont requises pour ces mesures, ou bien s’il s’agit de
comparer deux résultats, voir 7.4.2.
f) Sélectionner un groupe d’utilisateurs représentatif du groupe d’utilisateurs cible du produit, voir 7.4.4.
g) Établir un mode opératoire d’essai comprenant un groupe représentatif d’utilisateurs pour installer le
produit, voir 7.4.7.
h) Mesurer le taux de succès et, éventuellement, le temps de réalisation de la tâche et la satisfaction (par
l’intermédiaire d’un questionnaire), voir 7.5.
i) Calculer l’efficacité d’installation (taux de succès en pourcentage) et, éventuellement, l’efficience
d’installation (temps médian de réalisation de la tâche) et la satisfaction eu égard à l’installation
(moyenne des notes du questionnaire), voir Article 8.
j) Élaborer un rapport complet et/ou un court résumé, voir Article 9.
6 © ISO 2007 – Tous droits réservés
7 Méthode d’essai
7.1 Identifier le produit
Identifier le produit spécifique et sa version à soumettre à essai.
Le produit doit être livré tel qu’il serait normalement reçu par l’utilisateur.
Les produits de consommation courante peuvent être soumis à essai avec des instructions séparées, si ces
dernières sont disponibles par type.
EXEMPLE Un téléphone mobile est livré dans une boîte avec toute la documentation associée, ou,
professionnellement, un four est livré et installé à domicile connecté à une bouteille à gaz ou à l’électricité, cependant ni
l’horloge ni les autres commandes ne sont configurées.
7.2 Spécifier le contexte d’utilisation prévu
7.2.1 Identifier les critères de réussite de l’installation
La ou les conditions pour la réussite d’une installation doivent être identifiées sur la base des informations
fournies par le fabricant.
L’objectif principal est l’installation des configurations les plus courantes.
Les critères d’installation complète et effective doivent être spécifiés.
7.2.2 Identifier les procédures d’installation
La procédure d’installation prévue doit être identifiée. Les informations fournies par le fabricant peuvent
permettre d’y parvenir. Des exemples sont donnés en Annexe A.
Ces informations sont nécessaires pour planifier l’essai et pour analyser les résultats, mais ne sont pas
incluses dans les instructions relatives à la tâche (voir 7.4.7).
7.2.3 Spécifier les groupes d’utilisateurs cibles ou effectifs
Les utilisateurs cibles ou effectifs, prévus pour installer le produit, doivent être identifiés sur la base, par
exemple, des informations fournies par le fabricant.
NOTE Si l’installation requiert des connaissances spéciales (par exemple l’utilisation d’outils), il est possible que le
groupe d’utilisateurs choisi pour l’installation ne soit pas le même que celui qui s’en sert réellement.
Certains produits sont destinés à des segments spécifiques de la population (par exemple relatifs au revenu
ou au groupe d’âge), ou peuvent appartenir à une famille de produits de consommation courante apparentés,
destinés à différents secteurs du marché. L’étendue de chaque caractéristique de l’utilisateur mentionnée
dans l’ISO 20282-1:2006, Article 7, quand un effet significatif sur la facilité d’installation est supposé, doit être
spécifiée.
EXEMPLE Il est prévu que la population d’utilisateurs d’un téléphone mobile soit constituée de 80 % d’anglophones,
10 % de francophones et 10 % de personnes parlant d’autres langues. Tous les utilisateurs sont supposés avoir déjà
utilisé un téléphone mobile auparavant pour effectuer des appels.
Pour que ces groupes d’utilisateurs soient inclus dans l’essai, les informations suivantes sont nécessaires.
⎯ Quelles caractéristiques de l’utilisateur sont susceptibles d’affecter la facilité d’installation du produit?
⎯ Quel éventail de caractéristiques existe-t-il au sein du groupe d’utilisateurs cibles ou effectifs?
⎯ Quelle est la répartition attendue de chaque caractéristique pertinente de l’utilisateur?
a) Caractéristiques physiques
Identifier si l’installation du produit requiert des caractéristiques physiques particulières (par exemple
dimensions corporelles, force et caractéristiques biomécaniques, capacités visuelles, auditives, ou
latéralité). Pour établir la gamme de personnes pouvant utiliser le produit, il est possible de réaliser des
essais utilisateur préalables proches des limites attendues, ou d’utiliser des sources de données
existantes sur l’étendue des caractéristiques humaines.
EXEMPLE Les données existantes peuvent être utilisées pour déterminer la taille de texte nécessaire pour en
permettre la lisibilité à des segments particuliers de la population.
Il est également possible d’établir la gamme d’utilisateurs potentiels en réalisant des essais utilisateur
proches des limites attendues.
b) Caractéristiques psychosociales
Il est important de déterminer les caractéristiques ou capacités cognitives (telles que les connaissances
et l’expérience, les différences culturelles, le niveau d’instruction et la langue) susceptibles d’influencer la
facilité d’installation de manière significative. L’évaluation par des experts, le recueil de données sur
l’utilisation réelle du produit ou des études empiriques peuvent permettre d’y parvenir afin d’évaluer l’effet
des différentes caractéristiques de l’utilisateur.
c) Besoins particuliers
Identifier jusqu’à quel point le produit est destiné à assister les personnes (telles que les utilisateurs âgés)
dont les caractéristiques physiques ou psychologiques (dimensions corporelles, force, caractéristiques
biomécaniques, capacités visuelles et auditives, latéralité, connaissances, expérience, culture, niveau
d’instruction ou langue) se trouvent proches de la limite. Si possible, utiliser les données existantes.
EXEMPLE 1 Le produit est également destiné à être utilisé par les personnes âgées. La taille de texte nécessaire
est identifiée à partir des données existantes sur ce sujet.
S’il existe un intérêt particulier à déterminer si les sous-groupes ou les individus à la limite des domaines
de variation des capacités physiques ou cognitives peuvent utiliser le produit, une évaluation
complémentaire peut être réalisée pour ces groupes.
EXEMPLE 2 Des essais supplémentaires sont réalisés afin d’établir si le produit peut être installé par des
personnes malvoyantes ou en fauteuil roulant.
7.2.4 Spécifier les caractéristiques environnementales
Les principaux environnements dans lesquels le produit est (ou est destiné à être) installé doivent être
identifiés. Les attributs de l’environnement physique ou social susceptibles d’avoir des effets significatifs sur
l’efficacité avec laquelle il peut être installé, doivent être spécifiés.
7.3 Vérifier que le produit est compatible avec les caractéristiques des utilisateurs cibles
Si l’examen du produit indique qu’il ne sera pas possible pour certains membres de la population d’utilisateurs
cibles d’atteindre l’(les) objectif(s) principal(aux) identifié(s) en 7.2.1, il peut être approprié d’utiliser les
données existantes pour prévoir le nombre de personnes qui seront affectées. Si le nombre de personnes ne
pouvant pas utiliser le produit représente une proportion inacceptable d’utilisateurs cibles, aucun essai centré
sur l’utilisateur ne peut être effectué.
7.4 Concevoir l’essai
7.4.1 Décider d’essayer un ou plusieurs groupes
Il convient que le plus large éventail possible d’utilisateurs au sein de la population d’utilisateurs cibles
participe à l’essai. Cependant, s’il est prévu que des différences dans le contexte d’utilisation auront un impact
8 © ISO 2007 – Tous droits réservés
significatif sur la facilité d’installation, il convient que chaque groupe d’utilisateurs ou contexte soit soumis à
essai et analysé séparément (voir Annexe C).
Choisir d’effectuer ou non des essais séparés pour des groupes spécifiques dont les caractéristiques sont
susceptibles de rendre difficile l’utilisation du produit, par exemple dans le cas d’une déficience particulière.
7.4.2 Identifier les mesures
a) Identifier les mesures requises.
⎯ Mesure de l’efficacité d’installation: la mesure la plus importante de facilité d’installation est
l’efficacité.
⎯ Établir s’il est nécessaire de mesurer l’efficience et/ou la satisfaction d’installation.
b) Identifier si des valeurs sont requises pour ces mesures, ou bien s’il s’agit de comparer deux résultats.
Dans ce cas, identifier le niveau de confiance statistique requis (confiance en ce que le résultat n’est pas
le fruit du hasard).
NOTE Plus le taux de succès requis et le niveau de confiance sont élevés, plus le nombre d’utilisateurs nécessaires
est important. Dans le domaine scientifique, il est courant de demander un niveau de confiance d’au moins 95 % pour
aboutir à une conclusion. Toutefois, pour certains besoins commerciaux, un degré de confiance inférieur (80 % par
exemple) peut être suffisant.
EXEMPLE 1 L’objectif consiste à atteindre un taux de succès de 80 % avec une confiance à 95 % (voir l’exemple de
l’Article 5).
EXEMPLE 2 L’objectif consiste à comparer la facilité d’installation de deux produits différents, et à établir avec une
confiance à 80 % s’il existe des différences.
7.4.3 Spécifier les tâches d’installation
Définir le domaine d’application de la ou des tâches d’installation.
Les tâches d’essai doivent mentionner l’(les) objectif(s) précis à atteindre.
EXEMPLE Configurer un téléphone mobile pour un premier usage, ou installer une nouvelle télévision afin de
pouvoir capter les chaînes disponibles.
La ou les conditions associées à une installation réussie doivent être identifiées, ainsi qu’un moyen de
surveiller quand l’objectif a été atteint. Étant donné que le critère est la réalisation de l’objectif, les autres
méthodes permettant d’atteindre l’(les) objectif(s) (y compris la correction appropriée des erreurs) doivent être
comptabilisées dans les résultats positifs, à moins que les moyens utilisés aient des conséquences
indésirables, telles que mettre en péril le bien-être de l’individu ou endommager le produit.
Pour mesurer le temps d’exécution de la tâche, le critère de réalisation de la tâche doit être spécifié (en
général, une action spécifique ou une déclaration de la part de l’utilisateur).
La durée maximale autorisée pour l’installation doit être établie. Il convient que cette période soit suffisante
pour permettre aux personnes d’essayer différents moyens pour réaliser l’installation avant d’abandonner. Il
convient que le temps prévu pour accomplir la tâche soit évalué au cours d’essais préalables, et que le temps
maximal alloué aux utilisateurs avant que l’échec ne soit comptabilisé soit au moins égal à trois fois le temps
prévu.
Si l’essai porte sur plusieurs tâches d’installation, il est nécessaire de choisir l’ordre d’exécution des tâches.
En général, il convient que l’ordre choisi corresponde à la séquence normale d’exécution des tâches. En cas
d’absence de séquence normale, il est nécessaire d’éviter de procéder à l’essai selon une séquence fixe, afin
d’éviter les effets arbitraires dus à l’ordre d’exécution des tâches. Dans ce cas, il est possible de faire varier
l’ordre systématiquement, ou d’attribuer un ordre aléatoire à chaque personne participant à l’essai.
7.4.4 Réunir un échantillon représentatif d’utilisateurs
Un échantillon représentatif de personnes cibles ou effectives qui installeront le produit doit être recruté pour
participer à l’essai. L’échantillon stratifié doit être utilisé de manière à refléter la répartition des
caractéristiques pertinentes des utilisateurs au sein des groupes d’utilisateurs cibles ou effectifs (voir
Annexe C). Aucune personne participant à l’essai ne doit se trouver en dehors des limites de variation
spécifiées des caractéristiques de l’utilisateur telles qu’identifiées en 7.2.3.
Déterminer si les caractéristiques des groupes d’utilisateurs cibles ou effectifs identifiés en 7.2.3 divisent les
utilisateurs en différentes catégories qui auront un impact significatif sur la facilité d’installation. Par exemple,
pour un produit global, il serait probablement nécessaire de créer des groupes séparés correspondant à
chaque nationalité.
Il est important de choisir, pour participer à l’essai, entre de nouveaux utilisateurs et des personnes ayant une
expérience préalable (ou de les faire participer à l’essai en tant que groupes séparés). Même dans le cas d’un
nouveau produit, les individus peuvent connaître, par expérience, des produits similaires ou un modèle
antérieur similaire, susceptibles de rendre nécessaire la définition du type d’expérience antérieure. Toute
expérience préalable pertinente dans l’utilisation de produits similaires ou associés doit être consignée pour
chaque utilisateur.
Sélectionner systématiquement un échantillon d’utilisateurs présentant la même répartition quant aux valeurs
ou aux attributs des caractéristiques pertinentes de l’utilisateur que les groupes d’utilisateurs cibles ou
effectifs identifiés en 7.2.3, et consigner les caractéristiques de chaque utilisateur.
De nombreuses caractéristiques physiques et psychologiques générales (telles que la force, l’acuité visuelle
et les capacités cognitives) peuvent être correctement échantillonnées à l’aide de variables démographiques
telles que l’âge et l’éducation. Les principales exceptions sont l’expérience préalable, des connaissances ou
des compétences spécialisées et la culture.
EXEMPLE Une certaine dextérité manuelle est nécessaire pour utiliser les commandes d’un réveil, et une bonne
acuité visuelle pour lire les instructions. Les caractéristiques pertinentes de l’utilisateur sont échantillonnées en recrutant
des utilisateurs présentant une répartition représentative en termes d’âge et de niveau d’éducation. Comme il est prévu
que 5 % des acheteurs auront une expérience préalable de ce type de réveil, et comme il est également prévu que la
tâche de régler la sonnerie sera beaucoup plus difficile pour ceux qui ne bénéficient pas de cette expérience, seules les
personnes sans expérience préalable participeront à l’essai.
Le nombre d’utilisateurs sélectionnés et la précision de l’échantillonnage détermineront le degré selon lequel
les résultats permettent d’estimer de façon exacte les valeurs pour la population échantillonnée
(voir Annexe C).
Les personnes participant à l’essai ne doivent pas faire partie de l’organisme d’essai ni de l’entreprise de
fabrication du produit.
7.4.5 Produit et équipement
Il convient normalement que la version du produit soumis à essai soit un modèle standard emballé (contenant
toutes les instructions) tel que normalement livré à l’utilisateur. Si l’essai est effectué avant la fin du
développement, la version utilisée doit être très proche du produit final terminé, et tous les aspects divergents
doivent être notés. Lors de l’évaluation, le produit doit être utilisé conjointement à tout autre équipement
nécessaire pour son installation.
Il convient de livrer le produit dans un emballage normal.
Les utilisateurs peuvent avoir accès à toutes instructions intégrées au produit (voir 7.4.7).
10 © ISO 2007 – Tous droits réservés
7.4.6 Environnement d’essai
a) L’essai doit être effectué dans un environnement aussi proche que possible de celui dans lequel le
produit sera installé. Si l'essai a lieu dans un laboratoire spécialisé dans l’utilisabilité, les conditions
normales d’installation doivent être simu
...
Questions, Comments and Discussion
Ask us and Technical Secretary will try to provide an answer. You can facilitate discussion about the standard in here.
Loading comments...