在我们的现代社会中，批判性思维的基本技能之一是，首先，认识到并非所有的科学研究都是生来平等的。研究的范围从无价值到严谨，而且并非所有的“研究”都是真正的研究，而只是对先前研究的调查或回顾。
此外，能够查看一项研究并对其质量的基本问题进行评估也很有帮助。通常会有一些只有该领域的专家才知道的技术细节，而统计分析本身就是一门专业。但是基本的研究概念可以应用于任何研究，并至少让你知道它有多可靠。还有其他一般性因素，如发表论文的期刊质量、资金来源、研究人员的历史以及论文是否曾被收回。最后，任何单独的研究都需要放在整体文学的背景下，而不仅仅是挑选。
接种疫苗与未接种疫苗的研究
最近反疫苗团体发送研究报告在社交媒体上声称，接种疫苗的儿童比未接种疫苗的儿童有更高的神经发育障碍率(NDD)。这与大量先前的研究相矛盾，这些研究表明，接种疫苗和接种较少(疫苗较少和/或接种较晚)之间的唯一健康差异是接种较少的儿童有更多的感染，特别是疫苗可预防的疾病。
Orac给出了很好的历史和分析这项研究。这项研究首次发表在低租金的开放获取期刊《公共卫生前沿》上。实际上，由于某种原因，只有摘要被发表了。然后，在对研究质量的批评之后，它被收回了。显然，作者从那时起就一直在四处寻找，并找到了一份租金更低的期刊《转化研究期刊》。
该研究的主要作者安东尼·莫森显然赞同反疫苗的观点，该研究的文本也暴露了这种偏见。这项研究的资金是由反疫苗活动家协调的。
因此，这是一个可疑的和有偏见的低质量研究的所有危险信号，但研究的实际质量才是最重要的，所以让我们来看看。以下是对这些方法的描述:
该研究旨在对在家上学的母亲对其6至12岁的接种疫苗和未接种疫苗的亲生子女进行横断面调查。由于无法获得在家上学家庭的联系信息，因此没有明确的人群或抽样框架来进行随机研究，也无法确定回应率。然而，我们试点研究的目的不是获得在家上学儿童的代表性样本，而是获得足够数量的未接种疫苗儿童的便利样本，以测试各组之间结果的显著差异。
我们选择了4个州(佛罗里达州、路易斯安那州、密西西比州和俄勒冈州)进行调查(第一阶段)。NHERI编制了一份全州和地方家庭学校组织的名单，佛罗里达州共有84个，路易斯安那州18个，密西西比州12个，俄勒冈州17个。2012年6月进行了初步接触。NHERI通过电子邮件联系了每个州级组织的领导，请求他们的支持。然后发送第二封电子邮件，解释研究的目的和背景，并要求领导者转发给他们的成员(第二阶段)。提供了一个在线调查问卷的链接，其中没有要求提供个人身份信息。由于资金限制在12个月内，我们试图获得尽可能多的回应，只是通过家庭学校组织间接联系家庭。6-12岁儿童的生母被要求作为调查对象，以使数据收集标准化，并纳入可能与儿童当前健康状况相关的妊娠相关因素和生育史的数据。选择6至12岁的年龄范围是因为大多数推荐的疫苗接种将在那时接受。
显而易见的问题应该立即显现出来。他们决定关注家庭学校家庭的事实很奇怪，他们将其解释为一个“便利”样本。然而，这开启了研究对象不代表一般人群的可能性。
然而，最大的问题是，这是一个自我选择的调查。严格的研究设计就是控制变量，科学家称之为混杂因素。因此，如果我们想知道完全接种疫苗与部分或完全不接种疫苗的总体健康影响，我们需要将疫苗接种作为一个变量进行分离，并控制所有其他可能的变量。
最好的方法是随机选择受试者，要么接种疫苗，要么不接种。然而，这项研究永远不会完成，因为疫苗已经是标准护理的一部分，将研究对象随机分配到剥夺他们标准护理的部门是非常不道德的。没有随机化，父母选择是否给他们的孩子接种疫苗，有许多变量可能影响这个决定，从机会到持有反疫苗观点。
虽然这一理想的研究永远不会完成，但有办法通过仔细的方法获得相当好的数据。然而，在这样的研究中，使用严格和彻底的方法获取数据是特别重要的，并且具有非常彻底的数据，以便尽可能最好地控制可能的混杂变量。
然而，这并不是这项研究的目的。这是一项规模未定的非代表性人群的调查。因此，父母将决定他们是否会费心回答调查，他们对所提供的信息完全负责。我们不知道回应率，因为我们不知道有多少家长收到了请求。回复率越低，自我选择的潜在影响就越大。
在未确定大小的非代表性人群中，非随机化受试者信息的自我选择自我报告。所有这些加起来就是——毫无价值的废话。这项研究中的信息毫无价值。单独来看，这些都是可怕的缺陷，累积起来，它们是致命的。这就是为什么这项研究从一个声誉不佳的开放获取期刊上撤回。
这项研究发现了什么？正是这项研究的作者和资助者想要找到的。偏见总是一个问题，但是如果一项研究足够透明和严谨，我就不太担心资金来源。当一项研究的方法如此糟糕时，没有理由认为其结果是偏见的反映。
然而，这项研究确实表明了一件事——反疫苗团体愿意挑选任何研究，不管它多么没有价值，只要它表明了他们想要的。
与此同时，他们继续否认存在接种疫苗与未接种疫苗的研究(甚至吹捧这是第一个这样的研究)。这完全不是事实。以下是之前研究的总结比较这些人群。他们表明，接种疫苗的儿童比未接种疫苗的儿童更健康，没有增加NDD或任何其他不良后果。
这是伪科学和否认的标志之一，忽视更高质量的研究，同时鞭笞更低质量的研究，因为它们显示了你想要的。