如何提高调查数据质量

米克洛斯·克雷姆瑟 |市场总监

上次更新时间：2022 年 10 月 24 日

最值得信赖的产品功能和定价优化市场研究技术称为联合分析（conjoint analysis）。 联合分析是一种基于调查的研究技术，其中从数百名调查者那里收集数据。调查者通过一项称为“选择任务”的练习，或联合练习，他们在潜在的可用产品或服务中进行选择。

当受访者在选择之前仔细考虑产品时，研究人员可以确信数据是高质量的，反映了调查者的真实意见。但是我们如何知道我们可以信任数据呢？如果调查对象只是快速随机地点击调查以完成调查，该怎么办？如果他们这样做 - 数据将毫无用处，您作为研究人员和您的客户，将为低质量的数据浪费大量资金。

幸运的是，有几种方法可以检查数据的质量。一种良好且常见的方法是检查选择任务的完成时间。大多数调查提供者记录了调查对象完成选择练习所花费的时间。一个好的经验法则是找到调查受访者的中位数时间，并调查那些时间少于中位数 40% 的调查对象。

另一种好方法是使用称为根似然或 RLH 分数的东西。根似然的作用与 R 平方在回归中的作用类似：从技术上讲，它告诉您，对于每个调查受访者，受访者根据他们的偏好或“效用”分数做出选择的概率）。

根似然方法的工作原理如下：假设我们在联合练习中显示三个产品选择。如果我们对偏好一无所知，我们可能会说这三个选项中的每一个都有三分之一或33%的机会被选中 - 我们从随机机会中获得的比率。

由于受访者确实有偏好，并且我们在此过程中了解调查对象的偏好，因此我们会计算每个受访者的效用分数。使用调查受访者的实用程序和所谓的 logit 方程，我们可以轻松计算出调查受访者选择向他们显示的三个产品选项中的每一个的概率。

例如，假设选项 A 有 80% 的概率被选中，选项 B 有 15%，选项 C 有 5%。如果调查受访者确实选择了选项A，他们的根似然得分将为0.8 - 与33%的机会概率有很大不同。

在调查中，调查对象要经历多个选择任务，每个任务都有不同的产品选项和要选择的概率，计算调查受访者的 Root Likelihood 拟合分数的方法需要几个额外的步骤。在几个选择任务结束时，我们计算概率的几何平均值，我们称之为受访者的似然根分数或拟合指标。

有了Root Likelihood 的技术背景，我们可以使用它来识别质量差的调查回复，并识别随机（或近乎随机）点击选择任务的受访者：

首先，与随机受访者创建一个联合练习（选择任务）。Sawtooth Software的Lighthouse Studio允许您只需单击几下即可完成。只需几分钟，您就可以生成一个包含随机受访者的数据集。将它们视为对任何选项都没有偏好的“机器人”。生成随机数据集后，第二步：运行联合分析。确保使用 HB（分层贝叶斯）方法，以便对每个“机器人”调查对象进行效用估计。

然后查看调查受访者的根似然拟合分数。现在，请记住，这些是随机生成的机器人，而不是真正的调查对象，我们仍然计算了每个机器人的根似然拟合指标。分数应该非常接近机会概率，但可能会有一些随机变化，因为一些机器人可能很幸运。事实上，由于随机受访者的根似然拟合指标的随机变化，我通常会找到随机机器人的第 80个百分位根似然分数，并将该分数称为截止分数。我将使用该截止分数来标记每个真实调查受访者，其 Root Likelihood 分数低于此数字。为什么？这意味着：如果一个真实的受访者得分低于随机机器人的20%，我认为调查对象的选择是随机的——当然没有仔细考虑。该调查受访者可能应该从数据中删除，因为他们的回答会损害整体数据质量。使用这种截止方法，我查看真实数据的“根似然”分数，并标记“根似然”分数低于阈值的每个受访者。

同样，为了提高数据质量：首先，完成对随机受访者的调查和联合任务，然后运行HB联合分析。完成后，检查其根似然拟合指标并找到第 80个百分位分数。将此分数作为真实受访者的截止分数 - 并标记低于截止值的每个人。

一个重要的注意事项是，您的联合数据集应该有足够的问题，以便能够区分好的响应者和随机的响应者。如果每个属性的每个级别在每个受访者的联合问题中至少出现六次，那么您就处于这种方法的良好状态。如果每个级别出现三次或更少次，那么您可能不应该使用这种方法，并且很难区分使用根可能性的真实响应者和随机响应者。

现在，您有一种方便的方法来确保清除了对低质量、随机受访者和提高整体数据质量的联合分析。此过程非常重要，因为您会惊讶于调查受访者快速点击联合练习的频率。如果不清理数据，重要的结果（例如为增强功能付费的意愿）将不正确且夸大。您还会高估对低质量产品的偏好。如果您认为它不会发生在您身上，它很可能会发生——事实上，它几乎肯定发生在您身上。因此，请保持警惕并使用根似然拟合分数来增强数据质量。