如何对待不合逻辑的调查答复

我已经向艺术家样本进行了调查。问题之一是要说明以下各项所产生的收入百分比：艺术活动，政府支持，私人养老金，与艺术无关的活动。大约有65％的人回答说百分数之和是100。其他人则没有：例如，有人回答说，他们收入的70％来自他/她的艺术活动，而60％来自收入政府。 ， 等等。我的问题是：我应该如何对待这些观察？我应该删除，修改或保留它们吗？谢谢！

这是进行敏感性分析的一个好情况。通过以下三种方式分别分析数据-

1. 像他们那样
2. 排除“不合逻辑的人”之后，即百分比不等于100（或100 +/- 10）的人
3. 经过必要的调整后，每个人的百分比总计为100

然后比较结果，分享您可以开发出的任何理由，这些结果可能在某些方面更准确或更准确。

您还可以研究逻辑和非逻辑之间不同的方式范围（如果有）。不合逻辑的人倾向于报告较高的收入吗？为某些想法或程序显示更大的支持？要跳过更多问题？是为了避免出现更多的偏见，或者是选择不适当的中间反应还是极端反应？

随着约400或这些illogicals，你有足够的数据，即使以评估之间的关系程度的给定类型的偏差的不合逻辑的和程度。有点像剂量反应关系。

您从这些调查中学到的知识可能会反馈到您处理主要问题的不合逻辑的计划中。

正如这里已经提到的，这些答案不一定是不合逻辑的。例如，你说

其他人则没有：例如，有谁回答他们收入的70％来自他/她的艺术活动，而60％来自收入政府，依此类推。

如果30％的收入来自为政府所做的艺术活动，那将是完全合理的。然后，我们实际上分为三组：

• 与政府无关的艺术活动：40％。
• 政府，与艺术活动无关：30％。
• 政府资助的艺术活动：30％。

这些数字总计为100％。

请考虑以下问题：

• 食品券政府或与艺术无关的活动吗？
• 是社会保障政府还是养老金？
• 政府养老金（前政府雇员）是私人养老金还是政府？
• 是政府拨款来绘画艺术活动还是政府？
• 是在当地学校的政府任教艺术的职位，还是从事艺术活动或与艺术无关的活动？
• 如果退休是从事艺术工作（教学或商业活动，例如抽奖礼品卡），退休金是私人活动还是艺术活动？还是就教学而言，可能是政府？

您似乎希望这些类别互斥。但是，我不认为每个人都会这样解释它们。您可能对这些活动的分类方式有清晰的想法，但不清楚您的受访者回答时是否有相同的想法。至少，如果您希望数字增加到100％，您应该告诉人们。

我个人认为，解决此类问题的最佳方法是建立一个焦点小组。在传统调查中，您可能无法验证答案。因此，请致电或拜访调查对象，并开始对话。然后，当他们给出您不理解的答案时，请问他们为什么。除此之外，请问他们您应该如何提出问题，以便获得所需的结果。它是交互式的，因此更像焦点组。

完成此操作后，您将可以更好地了解如何处理不适合您格式的响应。例如，您可以多付30％的费用，并从中减去一半。然后您将有55％的艺术活动和45％的政府。或者，您可以将其归类为40％的私人艺术活动，30％的政府资助的艺术活动和30％的其他活动（在这种情况下，与艺术活动无关的政府支持，例如食物券或房租支持）。或者放弃调查并重做它，因为人们没有正确理解您的类别。这部分取决于您对类别的含义以及它们的解释方式。

现在为时已晚，但对于将来的调查，请考虑在调查之前进行定期的焦点小组讨论。然后，您可以在小组环境中测试您的问题并加以改进。您甚至可能会发现您从小组中获得其他问题。如果很难亲自进行，请考虑在线进行。或在进行真正的调查之前，通过电话亲自进行测试调查（针对较少的人，以确认后续问题的答案）。这些都可以帮助您使问题更清晰。

例如，也许您的真实类别应该是来自艺术活动的私人收入；政府赞助的艺术活动；以前工作的私人养老金；与艺术活动无关的其他收入。或其他不同的东西。问题的一部分是我无法说出您想要什么，这使我认为您的受访者也不能。如果存在三种不同的解释，则几乎就像您在混合来自三种不同调查的回答。

对于无法解决的一般情况，我无法给您答案。但是对于这种特定类型的问题-在那里进行。不仅在调查中，而且在半结构化访谈中，我都有机会观察人们如何提出这种答案。基于此，以及观察和分析认知过程的一些一般经验，我建议：将数据归一化至100％。原因是人们似乎首先进入了最显着的类别-在您的情况下，这将是最大的收入-以百分比给出对其直觉的估计，然后开始思考下一个较小的类别并根据其相对估计到第一个类别的锚点，再加上已经提到的其他类别的锚点。

例如，思路如下：“我的第一个收入来源肯定超过一半。它能赚到60％？不，那太低了，可以说是65％。第二个大概是收入的三分之一。 ，这大概会超过20％，嗯，在我的脑海中很难计算出来，我们将其舍入为25％。第三种感觉也像第一种的三分之一，但实际上总是比第一种多第二，应该是30％，甚至是35？不，我们去30。哦，我忘记了我有第四个来源，每年只发生一次，与其他来源相比应该很小，所以5％还是10％？概率5更接近了，它的确不是那么多。” 因此，您最终得到65 + 25 + 30 + 5 = 125％的答案。

由于人们倾向于更加了解收入各部分之间的相对大小，而不是各部分相对于总数的相对大小，因此，如果您要对收入进行某种数值分析，那么我想说这是为了使它们标准化。如果人们的信念和对收入的陈述与客观现实之间的差异是您工作的重要主题，例如，如果您是一位研究认知偏见的心理学家，或者如果您对心理偏见更感兴趣，那么我只会使用实际报告的数字。艺术家的自我感觉要比他们的经济情况好。

可悲的是，我没有足够的文献资料来证明它确实如我所描述的那样起作用，这只是我个人的经验观察。但是我不认为评论者会陷入这种决定，因为正如其他答案所说，没有单一的“正确”方法来对待它。如果有的话，由于有缺陷的查询技术，他们将把您所有的数据都视为无效。您可以做的最好的事情就是先占先机，并提出一些论据，说明尽管数据有这种特定的误差源，但是您的工作仍然有用，为什么您得出的结论仍然很好。

如果社会科学教会了我任何东西，那就是如果您给人们一个在逻辑上不一致的回答的机会，他们就会这样做。因此请放心，您的科目没有任何异常。这是设计将来的调查时要记住的事情。暂时最好将响应保持原样，并在分析中牢记响应实际上不会达到人们所认为的100％。您会听到嘈杂的信号，而不是真实的比例，这是每个主题从每个类别中获得多少收入的信息，因此请以这种方式进行分析。

艺术活动，政府支持，私人养老金，与艺术无关的活动

乍一看，似乎“艺术活动”和“与艺术无关的活动”之和应达到100％。

当然，“与艺术无关的活动”与“与艺术无关的活动”是不同的，因为可以有根本没有活动的收入。但这是大多数艺术家都不会注意到的。

如果您假设类别1和4的总和为100％，并相应地重新解释了这些答复者，则您可能会发现其中大多数都将类别2和3包含在类别4中。

但是，所有这些都是不理想的数据操作。如果需要准确的统计答案，则必须收集准确的数据。人们可能会对您的调查做出回应，这很难避免，但是如果人们老实地试图回答您的问题可能会混淆含义，则您的调查表需要重新编写。

下次发送之前，请对调查表的可理解性和歧义进行校对。

您提供了四个收入类别-没有一个类别的收入呢？例如，持有股票的股息收入。这不是来自任何形式的活动的收入，但也不是政府的支持或养老金。我建议在没有其他信息的情况下，您应将回答视为正确，并将缺失的钱归于受访者认为不属于此类的来源。

实际上，这很简单（而且甚至不像您想像的那样不合逻辑）！我认为它是真正的比例不同类别收入的你是后通过询问百分比。因此，您可以简单地将其规格化为100％。在您的示例中：如果有人说：我的收入的70％来自艺术活动，而60％来自政府支持，那么这个人（可能从未接受过有关使用百分比的培训）实际上是在说：相对我从艺术活动和政府获得的收入的大小或比例约为70到60或7到6（可能没有意识到百分比应该总计为100 ..）。您可以通过简单地对它们进行比例归一化，将这些关于比例的陈述转换为关于百分比的陈述，如下所示：70/130 * 100 = 53％艺术收入，而60/130 * 100 = 47％政府支持收入。

（我在这里所做的实际上是将130％作为“新” 100％并计算比例。）

PS。这适用于所有陈述百分比之和不等于100的情况

希望这可以帮助！

已经给出的大多数答案已经提供了对明显的调查方法学缺陷的一些见解，因此在此我不再赘述。取而代之的是，尽管存在有缺陷的问题，但鉴于已经收集了这些数据，我将提供一些实用的方法来处理这些数据。有几种方法可以解决此问题。您可以考虑将未解决的问题标记为不符合要求，方法是将整个问题视为缺失问题，然后采用许多处理项目无响应的做法（例如此处讨论的做法）。

$y_{{old}_{ij}}$ $(j=1,2,3,4)$$y_{{new}_{ij}}$

$$\begin{eqnarray*} y_{new_{ij}} & = & \begin{cases} 0 & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}=0\\ \frac{y_{old_{ij}}}{\sum_{j=1}^{4}y_{old_{ij}}} & ,\,\text{for}\,\sum_{j=1}^{4}y_{old_{ij}}>0\\ Missing & ,\,Otherwise \end{cases} \end{eqnarray*}$$ $i$

 A. (i=1) Artistic activity:  10% 
 B. (i=2) Government support: 0% 
 C. (i=3) Private pension: 30% 
 D. (i=1) Activities not related with arts:  40%

然后您将重新编码如下：

$$\begin{eqnarray*} y_{new_{i1}} & = & \frac{10}{10+0+30+40}=\frac{10}{80}=12.5\%\\ y_{new_{i2}} & = & \frac{0}{10+0+30+40}=\frac{0}{80}=00.0\%\\ y_{new_{i3}} & = & \frac{30}{10+0+30+40}=\frac{30}{80}=37.5\%\\ y_{new_{i4}} & = & \frac{40}{10+0+30+40}=\frac{40}{80}=50.0\% \end{eqnarray*}$$

请注意，所有新百分比现在都加到100％。无论您做什么，都请确保在报告结果时非常清楚地进行任何转换，并且我认为@ rolando2为如何执行敏感性分析提供了极好的建议，以了解此类转换如何影响您的结论。