串行执行单元测试（而不是并行执行）

我试图对我编写的WCF主机管理引擎进行单元测试。引擎基本上是根据配置动态创建ServiceHost实例。这使我们能够动态地重新配置哪些服务可用，而不必关闭所有服务并在添加新服务或删除旧服务时重新启动它们。

但是，由于ServiceHost的工作方式，在对该主机管理引擎进行单元测试时遇到了困难。如果已经为特定的端点创建，打开了一个ServiceHost，但尚未关闭它，则无法为该端点创建另一个ServiceHost，从而导致异常。由于现代单元测试平台可以并行执行其测试执行，因此我没有有效的方法来对这段代码进行单元测试。

我曾经使用过xUnit.NET，希望由于它的可扩展性，我可以找到一种方法来强制其顺序运行测试。但是，我没有任何运气。我希望有人在SO上遇到类似的问题，并且知道如何使单元测试连续运行。

注意：ServiceHost是由Microsoft编写的WCF类。我没有能力更改其行为。仅将每个服务端点托管一次也是一种正确的行为……但是，这特别不利于单元测试。

每个测试类都是一个唯一的测试集合，并且其下的测试将按顺序运行，因此，如果将所有测试放在同一集合中，则它将按顺序运行。

在xUnit中，您可以进行以下更改以实现此目的：

以下将并行运行：

namespace IntegrationTests
{
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

要使其具有顺序性，您只需要将两个测试类放在同一集合中：

namespace IntegrationTests
{
    [Collection("Sequential")]
    public class Class1
    {
        [Fact]
        public void Test1()
        {
            Console.WriteLine("Test1 called");
        }

        [Fact]
        public void Test2()
        {
            Console.WriteLine("Test2 called");
        }
    }

    [Collection("Sequential")]
    public class Class2
    {
        [Fact]
        public void Test3()
        {
            Console.WriteLine("Test3 called");
        }

        [Fact]
        public void Test4()
        {
            Console.WriteLine("Test4 called");
        }
    }
}

有关更多信息，请参考此链接

如上所述，所有好的单元测试都应100％隔离。使用共享状态（例如，取决于static每个测试修改的属性）被视为不良做法。

话虽如此，关于按顺序运行xUnit测试的问题确实有答案！我遇到了完全相同的问题，因为我的系统使用了静态服务定位器（不理想）。

默认情况下，xUnit 2.x并行运行所有测试。通过CollectionBehavior在测试项目的AssemblyInfo.cs中定义，可以按程序集对此进行修改。

对于每个组件的分离使用：

using Xunit;
[assembly: CollectionBehavior(CollectionBehavior.CollectionPerAssembly)]

或完全不使用并行化：

[assembly: CollectionBehavior(DisableTestParallelization = true)]

后者可能是您想要的。有关并行化和配置的更多信息，请参见xUnit文档。

对于.NET Core项目，请创建xunit.runner.json：

{
  "parallelizeAssembly": false,
  "parallelizeTestCollections": false
}

另外，您csproj应包含

<ItemGroup>
  <None Update="xunit.runner.json"> 
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </None>
</ItemGroup>

对于旧的.Net Core项目，您project.json应包含

"buildOptions": {
  "copyToOutput": {
    "include": [ "xunit.runner.json" ]
  }
}

对于.NET Core项目，您可以使用xunit.runner.json文件配置xUnit ，如https://xunit.github.io/docs/configuring-with-json.html所述。

您需要更改以停止并行测试执行的设置是parallelizeTestCollections，默认为true：

设置为 true如果程序集愿意并行运行该程序集内的测试则将其。...设置false为禁用此测试程序集内的所有并行化。

JSON模式类型：布尔
默认值：true

因此，xunit.runner.json用于此目的的最小值看起来像

{
    "parallelizeTestCollections": false
}

如文档中所述，请记住通过以下方式将该文件包含在您的版本中：

• 设置“ 复制到输出目录”以在文件属性中更新时进行复制在Visual Studio中中，或者

• 新增中

  <Content Include=".\xunit.runner.json">
    <CopyToOutputDirectory>PreserveNewest</CopyToOutputDirectory>
  </Content>

  到您的.csproj文件，或

• 新增中

  "buildOptions": {
    "copyToOutput": {
      "include": [ "xunit.runner.json" ]
    }
  }

  到你的project.json文件

取决于您的项目类型。

最后，除上述内容外，如果您使用的是Visual Studio，请确保您没有意外单击 “并行运行测试”按钮，这将导致测试并行运行，即使您已在中关闭了并行化xunit.runner.json。Microsoft的UI设计师巧妙地使此按钮不加标签，很难注意到，并且与Test Explorer中的“ Run All”按钮相距约一厘米，只是最大程度地增加了您误击它并且不知道为什么进行测试的机会突然失败：

这是个老问题，但我想为像我这样新搜寻的人写一个解决方案：)

注意：我在xunit版本2.4.1的Dot Net Core WebUI集成测试中使用此方法。

创建一个名为NonParallelCollectionDefinitionClass的空类，然后将CollectionDefinition属性赋予该类，如下所示。（重要的部分是DisableParallelization = true设置。）

using Xunit;

namespace WebUI.IntegrationTests.Common
{
    [CollectionDefinition("Non-Parallel Collection", DisableParallelization = true)]
    public class NonParallelCollectionDefinitionClass
    {
    }
}

之后，将Collection属性添加到您不希望其并行运行的类中，如下所示。（重要的部分是集合的名称。它必须与CollectionDefinition中使用的名称相同）

namespace WebUI.IntegrationTests.Controllers.Users
{
    [Collection("Non-Parallel Collection")]
    public class ChangePassword : IClassFixture<CustomWebApplicationFactory<Startup>>
    ...

当我们这样做时，首先要进行其他并行测试。之后，运行具有Collection（“ Non-Parallel Collection”）属性的其他测试。

您可以使用播放列表

右键单击测试方法->添加到播放列表->新播放列表

然后您可以指定执行顺序，默认顺序是将它们添加到播放列表时的顺序，但是您可以根据需要更改播放列表文件

我不知道细节，但是听起来您可能正在尝试进行集成测试而不是单元测试。如果您可以隔离对的依赖关系ServiceHost，则可能会使您的测试更加轻松（而且更快）。因此，（例如）您可以独立测试以下内容：

• 配置阅读课
• ServiceHost工厂（可能是集成测试）
• 带有IServiceHostFactory和的引擎类IConfiguration

可以帮助使用的工具包括隔离（模拟）框架和（可选）IoC容器框架。看到：

• http://www.mockobjects.com/
• http://www.hanselman.com/blog/ListOfNETDependencyInjectionContainersIOC.aspx

也许您可以使用高级单元测试。它允许您定义运行测试的顺序。因此，您可能必须创建一个新的CS文件来承载那些测试。

您可以按照以下方法弯曲测试方法，使其按所需顺序工作。

[Test]
[Sequence(16)]
[Requires("POConstructor")]
[Requires("WorkOrderConstructor")]
public void ClosePO()
{
  po.Close();

  // one charge slip should be added to both work orders

  Assertion.Assert(wo1.ChargeSlipCount==1,
    "First work order: ChargeSlipCount not 1.");
  Assertion.Assert(wo2.ChargeSlipCount==1,
    "Second work order: ChargeSlipCount not 1.");
  ...
}

让我知道它是否有效。

对我来说，在.Net Core Console应用程序中，当我想同步运行测试方法（而不是类）时，唯一有效的解决方案是在此博客中描述： xUnit：控制测试执行顺序

我在基类中添加了属性[Collection（“ Sequential”）]：

    namespace IntegrationTests
    {
      [Collection("Sequential")]
      public class SequentialTest : IDisposable
      ...


      public class TestClass1 : SequentialTest
      {
      ...
      }

      public class TestClass2 : SequentialTest
      {
      ...
      }
    }

到目前为止，没有建议的答案对我有用。我有一个XUnit 2.4.1的dotnet核心应用程序。通过在每个单元测试中加一个锁，我通过一种解决方法实现了所需的行为。就我而言，我不在乎运行顺序，只是测试是顺序的。

public class TestClass
{
    [Fact]
    void Test1()
    {
        lock (this)
        {
            //Test Code
        }
    }

    [Fact]
    void Test2()
    {
        lock (this)
        {
            //Test Code
        }
    }
}