4-实验设计

1. 研究假设

1.1. 定义

• 实验通常从研究假设开始
• 假设类型
  • 零假设Null Hypothesis
    • 假设不同实验条件不会产生差异
  • 备择假设
    • 存在差异，往往是一个与零假设相反的陈述。
  • 两者应该互斥
• 实验的目标是找到统计学证据来反驳或否定零假设，以支持备择假设

一个成功的实验，从一个或多个好的假设开始

1.2. 自变量和应变量

• 自变量 Independent Variables

  • 指的是研究者感兴趣的因素或因变量变化的可能原因
  • 实验条件：一个自变量至少需要2个不同取值，这些取值被称为实验条件test conditions
  • 如：不同技术和设备，不同类型设计

• 因变量 Dependent Variables

  • 指的是研究者感兴趣的结果或效果
  • 如：任务完成事件、速度、准确性、错误率…
  • 应变量必须明确定义

研究者希望找出自变量的变化是否会引起因变量的变化（实验必须可复现）

• 如何区分

  • 自变量时实验人员可以控制的实验条件
  • 因变量时研究者需要测量的实验结果

• 例子：零假设，下拉式菜单和弹出式菜单在定位界面的时间上没有开销差异。

  • 自变量：菜单类型
  • 因变量：定位时间

2. 实验构成

• 实验条件

  • 指我们需要比较不同技术、设备和程序

• 实验单位

  • 指的是我们应用实验条件的对象
  • 在人机交互研究领域，通常指具有特定特征的人类受试者。特征指年龄、性别等

• 分配方式

  • 实验单位分配到不同实验条件的方式

• 例子：

  • 比较QWERTY键盘和DVORAK键盘打字速度
  • 假设：没有差异
  • 实验条件：键盘类型
  • 自变量：键盘类型
  • 为了公平，找受试者之前都没有使用这两种键盘的经验
  • 分配：随机选择

3. 实验设计

• 特点:

  1. 至少两种条件或组（实验组，对照组）
  2. 以至少一个可检验的研究假设为基础，并旨在验证他们
  3. 因变量通常定量测量
  4. 通过各种统计显著性检验对结果进行分析, 以消除潜在偏差为目标来设计和进行
  5. 具备不同的参与者样本, 在不同的时间，不同的地点，由不同的参与者进行复现

• 注意事项

  1. 需要定义明确的、合理范围内的研究假设
  2. 自变量的数量和值直接决定了实验有多少条件
  3. 需要确定自变量是谁，如何取值？因变量是谁，如何度量？

3.1. 减小疲劳和学习影响

假设有4种实验条件“ABCD”和4个测试用户“甲乙丙丁”，如何应 用拉丁方设计实验过程，尽量减小学习和疲劳的影响

左边有三个都是BC任务连在一起，如果B很累或者BC有学习效应就会对实验数据造成影响。

4. 实验结构

• 实验中要研究多少自变量？
  • 基本设计 or 析因设计
• 每个自变量有多少个不同的值？
  • 条件数 => 组间设计、组内设计、列区设计

5. 组间设计与组内设计

理想情况下组件设计更好，但实际上可能因为用户数量不够选择组内设计。

5.1. 组间设计

• 每个参与者只暴露在一种实验条件下

• 参与组的数量直接对应于实验条件的数量

• 优点

  • 设计更简洁
  • 避免学习效应

• 缺点

  • 结果受个体差异大
  • 样本大

对于简单任务，个体差异小，有条件时可以使用组间设计

5.2. 组内设计

• 一个参与者暴露在多个条件下

• 优点

  • 样本小
  • 隔离个体差异

• 缺点

  • 疲劳问题
  • 存在学习效应

5.3. 选择设计方法

• 组间设计

  • 任务简单，个体差异有限
  • 受学习效应影响大
  • 一些任务不可能使用组内（例：不可能既是新手又是老手）

• 组内设计

  • 个体差异大的任务，学习效果不容易受到影响的任务
  • 或目标与群体很小的任务
  • 需要考虑控制于组内设计相关的学习效果、疲劳和其他潜在问题的负面因素

6. 多自变量的实验

6.1. 析因设计 Factorial Design

• 优点：允许在一个实验中研究两个或两个以上自变量之间的相互作用的影响
• 相互作用可以被描述为“一个自变量对因变量的不同影响，取决于另一个自变量的特定取值”
• 析因设计中条件的数量由自变量的总数和每个自变量的取值决定

举例：比较使用三种类型键盘(QWERTY键盘、DVORAK键盘和字母键盘)时的打字速度，且调查不同的任务(写作和抄写)对打字速度的影响。

条件数：

6.2. 裂区设计split-plot design

析因研究中的一种设计，既有组间成分，也有组内成分。

举例：