如何在PowerShell中逐行处理文件

我正在处理一些千兆字节的文本文件，并希望使用PowerShell对它们进行一些流处理。这很简单，只需解析每一行并提取一些数据，然后将其存储在数据库中即可。

不幸的是，get-content | %{ whatever($_) }似乎在管道的此阶段将整个行集保留在内存中。它也非常慢，要花很长时间才能读完所有内容。

所以我的问题分为两个部分：

1. 如何使其逐行处理流，而不是将整个内容保留在内存中？我想避免为此目的用完几GB的RAM。
2. 如何使其运行更快？在aget-content上进行PowerShell迭代似乎比C＃脚本慢100倍。

我希望我在这里做一些愚蠢的事情，例如缺少-LineBufferSize参数或其他东西。

如果您真的要处理千兆字节的文本文件，请不要使用PowerShell。即使您找到一种读取它的方法，在PowerShell中无论如何，处理大量的行还是很慢的，您也无法避免这种情况。即使是简单的循环也很昂贵，例如，对于1000万次迭代（在您的情况下非常真实），我们有：

# "empty" loop: takes 10 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) {} }

# "simple" job, just output: takes 20 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i } }

# "more real job": 107 seconds
measure-command { for($i=0; $i -lt 10000000; ++$i) { $i.ToString() -match '1' } }

更新：如果您仍然不害怕，请尝试使用.NET阅读器：

$reader = [System.IO.File]::OpenText("my.log")
try {
    for() {
        $line = $reader.ReadLine()
        if ($line -eq $null) { break }
        # process the line
        $line
    }
}
finally {
    $reader.Close()
}

更新2

有关于更好/更短代码的注释。原始代码没有问题，for它也不是伪代码。但是阅读循环的较短（最短？）变体是

$reader = [System.IO.File]::OpenText("my.log")
while($null -ne ($line = $reader.ReadLine())) {
    $line
}

System.IO.File.ReadLines()非常适合这种情况。它返回文件的所有行，但是让您立即开始遍历各行，这意味着它不必将所有内容存储在内存中。

需要.NET 4.0或更高版本。

foreach ($line in [System.IO.File]::ReadLines($filename)) {
    # do something with $line
}

http://msdn.microsoft.com/en-us/library/dd383503.aspx

如果要使用直接的PowerShell，请查看以下代码。

$content = Get-Content C:\Users\You\Documents\test.txt
foreach ($line in $content)
{
    Write-Host $line
}