5-评估之用户测试

1. DECIDE评估框架👍

步骤：

1. 决定评估需要完成的总体目标
2. 发掘需要回答的具体问题
3. 选择用于回答具体问题的评估泛型和技术
4. 标识必须解决的实际问题，如测试用户的选择
5. 决定如何处理有关道德的问题
6. 评估解释并表示数据

1.1. 确定目标

评估目标决定了评估过程，影响评估泛型发选择。

1.1.1. 为什么要评估

1. 产品设计是否理解了用户需要
2. 为概念设计选择最佳隐喻
3. 界面是否满足一致性需要
4. 探讨新产品

1.2. 发掘问题

• 根据目标确定问题
• 问题可以逐层分解

1.3. 选择评估泛型和技术

• 泛型决定了技术类型
• 必须权衡实际问题和道德问题
  • 最合适的技术可能成本过高
  • 或所需时间过长
  • 或不具备必要设备和技能
• 可结合使用多种技术
  • 不同技术有助于了解设计的不同方面
  • 不同类型的数据可以从不同角度看待问题
  • 组合有助于全面了解设计的情况

1.4. 明确实际问题

• 用户
  • 应选择恰当的用户参与评估
  • 能代表产品的目标用户群体
    • 可以先做测试，确定用户技能所属的用户群
  • 任务时间多长
    • 20分钟休息一次
  • 可在任务执行前，安排用户熟悉系统
• 设施及设备
• 期限及预算是否允许
• 是否需要专门的技能

1.5. 处理道德问题

• 应该保护个人隐私

  • 除非获得批准，否则书面报告不应提及个人姓名，或把姓名与搜集到的数据相联系
  • 受保护的个人资料包括健康状况、雇佣情况、教育、居所和财务状况等
  • 可在评估前签署一份协议书（IRB）

• 指导原则-1

  • 说明研究的目的及要求参与者做的工作
  • 说明保密事项，对用户&对项目
  • 测试对象是软件，而非个人

• 指导原则-2

  • 对测试过程的特殊要求，是否边做边说等
  • 用户可自由表达对产品的意见
  • 说明是否对过程进行录像
  • 不能拍摄用户的面部
  • 欢迎用户提问
  • 用户有随时终止测试的权利
  • 对用户话语的使用应征得同意，并选择匿名方式

1.6. 评估、解释并表示数据

• 搜集什么类型的数据，如何分析，如何表示
• 可靠性
  • 非正式访谈的效率低
  • 给定相同时间，不同时间应用同一技术能否得到相同效果
• 有效性
  • 能否得到想要的测量
• 偏见
  • 评估人员可能有选择地搜集自己认为重要的数据
• 范围
  • 研究发现是否具有普遍性
• 环境影响
  • 霍桑效应

2. 小规模实验 Pilot Study 👍

在正式实验之前先验证设计是否严谨。

• 对评估计划进行小范围测试
  • 以确保评估计划的可行性
  • 如检查设备及使用说明
  • 练习访谈技巧
  • 检查问卷中问题是否明确
• 小规模实验可进行多次
  • 类似迭代设计
  • 测试-反馈-修改-再测
  • 快速、成本低

2.1. 可用性问题分级

• 评估结果总是可用性问题清单，以及改进建议。
• 方法：
  1. 基于量化数据的分级
     • 如多少人遇到该问题，耗费多少时间等
  2. 问题严重性的主观分级，取平均值
  3. 可用性分级的两个因素
     1. 多少用户遇到问题
     2. 用户受该问题影响的程度
  4. 该问题只在第一次使用时出现，还是会永远出现
     • 如菜单条中的下拉菜单。用户从不尝试下拉用图标表示的菜单，有人告诉他们后，可马上知道如何克服该不一致性问题，因此该问题不属于永久性的可用性问题

``

3. 用户测试

隶属于可用性测试，最严格

1. 在受控环境下测量典型用户执行典型任务的情况
2. 目的是获得客观的性能数据，从而评价产品或系统的可用性，如易用性、易学性等
3. 最适合对原型和能够运行的系统进行测试

设计测试任务
不要把任务设计成使用手册

3.1. 测试设计👍

• 用户测试须考虑实际限制并做出适当的折衷
  • 应确保不同参与者的测试条件相同
  • 应确保评估目标特征具有代表性
  • 实验可重复，但通常不能得到完全相同的结果
  • 以DECIDE框架为基础

1. 定义目标和问题
   • 目标描述了开展一个测试的原因，定义了测试在整个项目中的价值
   • 目标是对关注点的说明和解答
2. 选择参与者
   • 参与者的选择对于任何实验的成功至关重要
   • 了解用户的特性有助于选择典型用户
     • 要尽可能接近实际用户
   • 通常也需要平衡性别比例
   • 至少45位，512位用户就足够了（视情况而言）
3. 设计测试任务
   • 测试任务与定义的目标相关
4. 明确测试步骤
5. 数据搜集
   • 确定如何度量观测的结果
   • 使用的度量类型（定性/定量）依赖于所选择的任务

3.2. 分析方法

• 定量数据
  • 最常用的描述性统计方法是次数统计
  • 次数统计、平均数统计
• 定性数据
  • 按照主题分类

3.3. 总结报告

将测试的结果以书面形式反馈给产品的设计人员，以便于他们对设计进一步的分析和改进。