编译的C#Lambda表达式性能


91

考虑对集合进行以下简单操作:

static List<int> x = new List<int>() { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 };
var result = x.Where(i => i % 2 == 0).Where(i => i > 5);

现在让我们使用表达式。以下代码大致等效:

static void UsingLambda() {
    Func<IEnumerable<int>, IEnumerable<int>> lambda = l => l.Where(i => i % 2 == 0).Where(i => i > 5);
    var t0 = DateTime.Now.Ticks;
    for (int j = 1; j < MAX; j++) 
        var sss = lambda(x).ToList();

    var tn = DateTime.Now.Ticks;
    Console.WriteLine("Using lambda: {0}", tn - t0);
}

但是我想即时构建表达式,所以这是一个新测试:

static void UsingCompiledExpression() {
    var f1 = (Expression<Func<IEnumerable<int>, IEnumerable<int>>>)(l => l.Where(i => i % 2 == 0));
    var f2 = (Expression<Func<IEnumerable<int>, IEnumerable<int>>>)(l => l.Where(i => i > 5));
    var argX = Expression.Parameter(typeof(IEnumerable<int>), "x");
    var f3 = Expression.Invoke(f2, Expression.Invoke(f1, argX));
    var f = Expression.Lambda<Func<IEnumerable<int>, IEnumerable<int>>>(f3, argX);

    var c3 = f.Compile();

    var t0 = DateTime.Now.Ticks;
    for (int j = 1; j < MAX; j++) 
        var sss = c3(x).ToList();

    var tn = DateTime.Now.Ticks;
    Console.WriteLine("Using lambda compiled: {0}", tn - t0);
}

当然,它与上面的不完全一样,因此,公平地说,我对第一个做些微修改:

static void UsingLambdaCombined() {
    Func<IEnumerable<int>, IEnumerable<int>> f1 = l => l.Where(i => i % 2 == 0);
    Func<IEnumerable<int>, IEnumerable<int>> f2 = l => l.Where(i => i > 5);
    Func<IEnumerable<int>, IEnumerable<int>> lambdaCombined = l => f2(f1(l));
    var t0 = DateTime.Now.Ticks;
    for (int j = 1; j < MAX; j++) 
        var sss = lambdaCombined(x).ToList();

    var tn = DateTime.Now.Ticks;
    Console.WriteLine("Using lambda combined: {0}", tn - t0);
}

现在得出MAX = 100000,VS2008的结果,调试打开:

Using lambda compiled: 23437500
Using lambda:           1250000
Using lambda combined:  1406250

并通过调试关闭:

Using lambda compiled: 21718750
Using lambda:            937500
Using lambda combined:  1093750

惊喜。编译的表达式比其他表达式慢大约17倍。现在出现了问题:

  1. 我在比较非对等表达式吗?
  2. 是否存在使.NET“优化”编译表达式的机制?
  3. 如何以l.Where(i => i % 2 == 0).Where(i => i > 5);编程方式表达相同的连锁电话?

一些更多的统计数据。Visual Studio 2010,调试打开,优化关闭:

Using lambda:           1093974
Using lambda compiled: 15315636
Using lambda combined:   781410

调试打开,优化打开:

Using lambda:            781305
Using lambda compiled: 15469839
Using lambda combined:   468783

调试关闭,优化打开:

Using lambda:            625020
Using lambda compiled: 14687970
Using lambda combined:   468765

新惊喜。从VS2008(C#3)切换到VS2010(C#4),UsingLambdaCombined比本地Lambda更快。


好的,我找到了一种将lambda编译性能提高一个数量级以上的方法。这是一个提示;运行探查器后,有92%的时间用于:

System.Reflection.Emit.DynamicMethod.CreateDelegate(class System.Type, object)

嗯...为什么要在每次迭代中创建一个新的委托?我不确定,但是解决方案将在另一篇文章中介绍。


3
这些计时是从Visual Studio中运行的吗?如果是这样,请使用“释放”模式构建重复计时,并且无需调试即可运行(例如,在Visual Studio中为Ctrl + F5,或者从命令行)。另外,请考虑将其Stopwatch用于计时而不是DateTime.Now
Jim Mischel

12
我不知道为什么它要慢一些,但是您的基准测试技术不是很好。首先,DateTime.Now仅精确到1/64秒,因此您的测量舍入误差很大。改用秒表;精确到几纳秒。其次,您正在测量启动代码(第一个调用)和每个后续调用的时间。可能会偏离平均值。(尽管在这种情况下,十万的最大值可能足以平均消除jit负担,但是,将其平均包括在内是一种不好的做法。)
Eric Lippert

7
@Eric,只有在每个操作中使用DateTime.Now.Ticks时,才存在舍入错误,在开始之前和结束之后,毫秒计数足够高以显示性能差异。
Akash Kava

1
如果使用秒表,我建议您遵循以下文章以确保准确的结果:codeproject.com/KB/testing/stopwatch-measure-precise.aspx
Zach Green

1
@Eric,虽然我同意这不是可用的最精确的测量技术,但我们正在谈论的是一个数量级的差异。MAX足够高,可以减少明显的偏差。
Hugo Sereno Ferreira

Answers:


43

可能是内部lambda没有被编译吗?!?这是概念证明:

static void UsingCompiledExpressionWithMethodCall() {
        var where = typeof(Enumerable).GetMember("Where").First() as System.Reflection.MethodInfo;
        where = where.MakeGenericMethod(typeof(int));
        var l = Expression.Parameter(typeof(IEnumerable<int>), "l");
        var arg0 = Expression.Parameter(typeof(int), "i");
        var lambda0 = Expression.Lambda<Func<int, bool>>(
            Expression.Equal(Expression.Modulo(arg0, Expression.Constant(2)),
                             Expression.Constant(0)), arg0).Compile();
        var c1 = Expression.Call(where, l, Expression.Constant(lambda0));
        var arg1 = Expression.Parameter(typeof(int), "i");
        var lambda1 = Expression.Lambda<Func<int, bool>>(Expression.GreaterThan(arg1, Expression.Constant(5)), arg1).Compile();
        var c2 = Expression.Call(where, c1, Expression.Constant(lambda1));

        var f = Expression.Lambda<Func<IEnumerable<int>, IEnumerable<int>>>(c2, l);

        var c3 = f.Compile();

        var t0 = DateTime.Now.Ticks;
        for (int j = 1; j < MAX; j++)
        {
            var sss = c3(x).ToList();
        }

        var tn = DateTime.Now.Ticks;
        Console.WriteLine("Using lambda compiled with MethodCall: {0}", tn - t0);
    }

现在的时间是:

Using lambda:                            625020
Using lambda compiled:                 14687970
Using lambda combined:                   468765
Using lambda compiled with MethodCall:   468765

!它不仅速度快,而且比本地lambda更快。(抓头)。


当然,上面的代码编写起来实在太痛苦了。让我们做一些简单的魔术:

static void UsingCompiledConstantExpressions() {
    var f1 = (Func<IEnumerable<int>, IEnumerable<int>>)(l => l.Where(i => i % 2 == 0));
    var f2 = (Func<IEnumerable<int>, IEnumerable<int>>)(l => l.Where(i => i > 5));
    var argX = Expression.Parameter(typeof(IEnumerable<int>), "x");
    var f3 = Expression.Invoke(Expression.Constant(f2), Expression.Invoke(Expression.Constant(f1), argX));
    var f = Expression.Lambda<Func<IEnumerable<int>, IEnumerable<int>>>(f3, argX);

    var c3 = f.Compile();

    var t0 = DateTime.Now.Ticks;
    for (int j = 1; j < MAX; j++) {
        var sss = c3(x).ToList();
    }

    var tn = DateTime.Now.Ticks;
    Console.WriteLine("Using lambda compiled constant: {0}", tn - t0);
}

以及一些时间,VS2010,优化打开,调试关闭:

Using lambda:                            781260
Using lambda compiled:                 14687970
Using lambda combined:                   468756
Using lambda compiled with MethodCall:   468756
Using lambda compiled constant:          468756

现在,您可能会说我不是动态生成整个表达式。只是链接调用。但是在上面的示例中,我生成了整个表达式。和时间匹配。这只是编写更少代码的捷径。


根据我的理解,正在发生的是.Compile()方法不会将编译传播到内部lambda,因此会不断调用CreateDelegate。但是要真正理解这一点,我很乐意让.NET专家对正在进行的内部事情发表一些评论。

而且为什么,哦,为什么是现在这个比原来的拉姆达快!?


1
我正在考虑接受自己的答案,因为它是得票最多的人。我应该再等一会吗?
雨果·塞雷诺·费雷拉

关于以比本机Lambda更快的速度获取代码会发生什么,您可能想看一下有关微基准测试的页面(尽管没有真正的Java特有名称,尽管有名称):code.google.com/p/caliper/wiki /
JavaMicrobenchmarks

至于为什么动态编译的lambda更快,我怀疑首先运行的“使用lambda”会因必须JIT一些代码而受到惩罚。
Oskar Berggren

我不知道发生了什么,当我测试编译的表达式并通过createdelegate来设置和从字段及属性中获取属性时,createdelegate的属性速度更快,但字段的编译速度却稍快
nawfal 2013年

10

最近我问了一个几乎相同的问题:

编译到委托表达的性能

对我来说,解决方案是我不应该叫CompileExpression,但我应该叫CompileToMethod上它并编译Expressionstatic一个动态的方法组装。

像这样:

var assemblyBuilder = AppDomain.CurrentDomain.DefineDynamicAssembly(
  new AssemblyName("MyAssembly_" + Guid.NewGuid().ToString("N")), 
  AssemblyBuilderAccess.Run);

var moduleBuilder = assemblyBuilder.DefineDynamicModule("Module");

var typeBuilder = moduleBuilder.DefineType("MyType_" + Guid.NewGuid().ToString("N"), 
  TypeAttributes.Public));

var methodBuilder = typeBuilder.DefineMethod("MyMethod", 
  MethodAttributes.Public | MethodAttributes.Static);

expression.CompileToMethod(methodBuilder);

var resultingType = typeBuilder.CreateType();

var function = Delegate.CreateDelegate(expression.Type,
  resultingType.GetMethod("MyMethod"));

但是,这并不理想。我不是很肯定这适用于哪些类型的准确,但我认为这是作为参数通过委托,或返回由委托类型必须public和非通用。它必须是非通用的,因为通用类型显然是访问类型System.__Canon,它是.NET在通用类型的幕后使用的内部类型,这违反了“必须是public类型规则”。

对于这些类型,您可以使用明显较慢的Compile。我通过以下方式检测到它们:

private static bool IsPublicType(Type t)
{

  if ((!t.IsPublic && !t.IsNestedPublic) || t.IsGenericType)
  {
    return false;
  }

  int lastIndex = t.FullName.LastIndexOf('+');

  if (lastIndex > 0)
  {
    var containgTypeName = t.FullName.Substring(0, lastIndex);

    var containingType = Type.GetType(containgTypeName + "," + t.Assembly);

    if (containingType != null)
    {
      return containingType.IsPublic;
    }

    return false;
  }
  else
  {
    return t.IsPublic;
  }
}

但是,就像我说的那样,这不是理想的选择,我仍然想知道为什么将方法编译为动态程序集有时会快一个数量级。我之所以说有时候,是因为我也看到过这样的情况:使用Expressionwith 进行编译与Compile使用普通方法一样快。看到我的问题。

或者,如果有人知道public通过动态程序集绕过“无非类型”约束的方法,那么也很受欢迎。


4

您的表达式不相等,因此会得到不正确的结果。我写了一个测试台进行测试。测试包括常规lambda调用,等效的编译表达式,手工等效的编译表达式以及组合版本。这些应该是更准确的数字。有趣的是,我没有看到普通版本和组合版本之间有太多差异。而且编译后的表达式自然会变慢,但只会变慢。您需要足够大的输入和迭代次数才能获得一些好的数字。这有所作为。

至于第二个问题,我不知道您如何从中获得更多的性能,所以我无法为您提供帮助。它看起来和将来一样好。

您会在HandMadeLambdaExpression()方法中找到我对第三个问题的答案。由于扩展方法的原因,它不是最容易构建的表达式,但可行。

using System;
using System.Collections.Generic;
using System.Linq;

using System.Diagnostics;
using System.Linq.Expressions;

namespace ExpressionBench
{
    class Program
    {
        static void Main(string[] args)
        {
            var values = Enumerable.Range(0, 5000);
            var lambda = GetLambda();
            var lambdaExpression = GetLambdaExpression().Compile();
            var handMadeLambdaExpression = GetHandMadeLambdaExpression().Compile();
            var composed = GetComposed();
            var composedExpression = GetComposedExpression().Compile();
            var handMadeComposedExpression = GetHandMadeComposedExpression().Compile();

            DoTest("Lambda", values, lambda);
            DoTest("Lambda Expression", values, lambdaExpression);
            DoTest("Hand Made Lambda Expression", values, handMadeLambdaExpression);
            Console.WriteLine();
            DoTest("Composed", values, composed);
            DoTest("Composed Expression", values, composedExpression);
            DoTest("Hand Made Composed Expression", values, handMadeComposedExpression);
        }

        static void DoTest<TInput, TOutput>(string name, TInput sequence, Func<TInput, TOutput> operation, int count = 1000000)
        {
            for (int _ = 0; _ < 1000; _++)
                operation(sequence);
            var sw = Stopwatch.StartNew();
            for (int _ = 0; _ < count; _++)
                operation(sequence);
            sw.Stop();
            Console.WriteLine("{0}:", name);
            Console.WriteLine("  Elapsed: {0,10} {1,10} (ms)", sw.ElapsedTicks, sw.ElapsedMilliseconds);
            Console.WriteLine("  Average: {0,10} {1,10} (ms)", decimal.Divide(sw.ElapsedTicks, count), decimal.Divide(sw.ElapsedMilliseconds, count));
        }

        static Func<IEnumerable<int>, IList<int>> GetLambda()
        {
            return v => v.Where(i => i % 2 == 0).Where(i => i > 5).ToList();
        }

        static Expression<Func<IEnumerable<int>, IList<int>>> GetLambdaExpression()
        {
            return v => v.Where(i => i % 2 == 0).Where(i => i > 5).ToList();
        }

        static Expression<Func<IEnumerable<int>, IList<int>>> GetHandMadeLambdaExpression()
        {
            var enumerableMethods = typeof(Enumerable).GetMethods();
            var whereMethod = enumerableMethods
                .Where(m => m.Name == "Where")
                .Select(m => m.MakeGenericMethod(typeof(int)))
                .Where(m => m.GetParameters()[1].ParameterType == typeof(Func<int, bool>))
                .Single();
            var toListMethod = enumerableMethods
                .Where(m => m.Name == "ToList")
                .Select(m => m.MakeGenericMethod(typeof(int)))
                .Single();

            // helpers to create the static method call expressions
            Func<Expression, ParameterExpression, Func<ParameterExpression, Expression>, Expression> WhereExpression =
                (instance, param, body) => Expression.Call(whereMethod, instance, Expression.Lambda(body(param), param));
            Func<Expression, Expression> ToListExpression =
                instance => Expression.Call(toListMethod, instance);

            //return v => v.Where(i => i % 2 == 0).Where(i => i > 5).ToList();
            var exprParam = Expression.Parameter(typeof(IEnumerable<int>), "v");
            var expr0 = WhereExpression(exprParam,
                Expression.Parameter(typeof(int), "i"),
                i => Expression.Equal(Expression.Modulo(i, Expression.Constant(2)), Expression.Constant(0)));
            var expr1 = WhereExpression(expr0,
                Expression.Parameter(typeof(int), "i"),
                i => Expression.GreaterThan(i, Expression.Constant(5)));
            var exprBody = ToListExpression(expr1);
            return Expression.Lambda<Func<IEnumerable<int>, IList<int>>>(exprBody, exprParam);
        }

        static Func<IEnumerable<int>, IList<int>> GetComposed()
        {
            Func<IEnumerable<int>, IEnumerable<int>> composed0 =
                v => v.Where(i => i % 2 == 0);
            Func<IEnumerable<int>, IEnumerable<int>> composed1 =
                v => v.Where(i => i > 5);
            Func<IEnumerable<int>, IList<int>> composed2 =
                v => v.ToList();
            return v => composed2(composed1(composed0(v)));
        }

        static Expression<Func<IEnumerable<int>, IList<int>>> GetComposedExpression()
        {
            Expression<Func<IEnumerable<int>, IEnumerable<int>>> composed0 =
                v => v.Where(i => i % 2 == 0);
            Expression<Func<IEnumerable<int>, IEnumerable<int>>> composed1 =
                v => v.Where(i => i > 5);
            Expression<Func<IEnumerable<int>, IList<int>>> composed2 =
                v => v.ToList();
            var exprParam = Expression.Parameter(typeof(IEnumerable<int>), "v");
            var exprBody = Expression.Invoke(composed2, Expression.Invoke(composed1, Expression.Invoke(composed0, exprParam)));
            return Expression.Lambda<Func<IEnumerable<int>, IList<int>>>(exprBody, exprParam);
        }

        static Expression<Func<IEnumerable<int>, IList<int>>> GetHandMadeComposedExpression()
        {
            var enumerableMethods = typeof(Enumerable).GetMethods();
            var whereMethod = enumerableMethods
                .Where(m => m.Name == "Where")
                .Select(m => m.MakeGenericMethod(typeof(int)))
                .Where(m => m.GetParameters()[1].ParameterType == typeof(Func<int, bool>))
                .Single();
            var toListMethod = enumerableMethods
                .Where(m => m.Name == "ToList")
                .Select(m => m.MakeGenericMethod(typeof(int)))
                .Single();

            Func<ParameterExpression, Func<ParameterExpression, Expression>, Expression> LambdaExpression =
                (param, body) => Expression.Lambda(body(param), param);
            Func<Expression, ParameterExpression, Func<ParameterExpression, Expression>, Expression> WhereExpression =
                (instance, param, body) => Expression.Call(whereMethod, instance, Expression.Lambda(body(param), param));
            Func<Expression, Expression> ToListExpression =
                instance => Expression.Call(toListMethod, instance);

            var composed0 = LambdaExpression(Expression.Parameter(typeof(IEnumerable<int>), "v"),
                v => WhereExpression(
                    v,
                    Expression.Parameter(typeof(int), "i"),
                    i => Expression.Equal(Expression.Modulo(i, Expression.Constant(2)), Expression.Constant(0))));
            var composed1 = LambdaExpression(Expression.Parameter(typeof(IEnumerable<int>), "v"),
                v => WhereExpression(
                    v,
                    Expression.Parameter(typeof(int), "i"),
                    i => Expression.GreaterThan(i, Expression.Constant(5))));
            var composed2 = LambdaExpression(Expression.Parameter(typeof(IEnumerable<int>), "v"),
                v => ToListExpression(v));

            var exprParam = Expression.Parameter(typeof(IEnumerable<int>), "v");
            var exprBody = Expression.Invoke(composed2, Expression.Invoke(composed1, Expression.Invoke(composed0, exprParam)));
            return Expression.Lambda<Func<IEnumerable<int>, IList<int>>>(exprBody, exprParam);
        }
    }
}

结果在我的机器上:

Lambda:
  播放时间:340971948 123230(ms)
  平均:340.971948 0.12323(ms)
Lambda表达式:
  播放时间:357077202 129051(ms)
  平均:357.077202 0.129051(ms)
手工制作的Lambda表达式:
  播放时间:345029281 124696(ms)
  平均:345.029281 0.124696(ms)

组成:
  播放时间:340409238 123027(ms)
  平均:340.409238 0.123027(ms)
组成表达式:
  播放时间:350800599 126782(ms)
  平均:350.800599 0.126782(ms)
手工合成的表情:
  播放时间:352811359 127509(ms)
  平均:352.811359 0.127509(ms)

3

委托上的lambda编译性能可能会变慢,因为运行时的编译代码可能未优化,但是您手动编写的代码和通过C#编译器编译的代码已优化。

其次,多个lambda表达式意味着多个匿名方法,与调用一个直接方法相比,调用它们中的每个仅花费很少的时间。例如,打电话

Console.WriteLine(x);

Action x => Console.WriteLine(x);
x(); // this means two different calls..

不同的是,从编译器的角度来看,第二个需要更多的开销,实际上它是两个不同的调用。首先调用x本身,然后在调用x的语句内。

因此,与单个lambda表达式相比,您组合的Lambda肯定不会有较慢的性能。

而且这与内部执行的操作无关,因为您仍在评估正确的逻辑,但是您要添加其他步骤以供编译器执行。

即使在编译表达式树之后,它也不会进行优化,并且仍会保留其复杂的结构,评估和调用它可能会有额外的验证,空检查等,这可能会减慢已编译的lambda表达式的性能。


2
如果仔细观察,该UsingLambdaCombined测试结合了多个lambda函数,其性能非常接近 UsingLambda。关于优化,我确信它们是由JIT引擎处理的,因此运行时生成的代码(编译后)也将成为任何JIT优化的目标。
Hugo Sereno Ferreira

1
JIT优化和编译时间优化是您可以在项目设置中关闭编译时间优化的两种不同方式。其次,表达式编译可能会发出动态MSIL,这又会稍慢一些,因为它的逻辑和操作顺序将根据需要包含空检查和有效性。您可以查看反射器中有关其编译方式的信息。
Akash Kava

2
尽管您的推理是正确的,但我必须在这个特定问题上与您不同意(即,数量级的差异不是由于静态编译引起的)。首先,因为如果您实际上禁用了编译时优化,则差异仍然很大。其次,因为我已经找到一种优化动态生成的方法,所以它的速度稍微慢一些。让我尝试理解“为什么”,然后将结果发布。
雨果·塞雷诺·费雷拉
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.