MySQL“ IN”运算符在（大）数量值上的性能

我最近一直在使用Redis和MongoDB进行实验，似乎经常会在MongoDB或Redis中存储ID数组。因为我要询问MySQL IN运算符，所以我会坚持使用Redis 。

我想知道在IN运算符中列出大量（300-3000）id的性能如何，看起来像这样：

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)

想象一下简单的产品和类别表，您通常可以将它们结合在一起以从某个类别中获得产品。在上面的示例中，您可以看到在Redis（）中的给定类别下，我返回了ID为4的类别中的所有产品ID，并将其放置在运算符内的上述查询中。category:4:product_idsSELECTIN

这表现如何？

这是“取决于情况”的情况吗？还是有一个具体的“不可接受”，“快速”或“缓慢”，或者我应该添加LIMIT 25，还是没有帮助？

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 3000)
LIMIT 25

还是应该修剪Redis返回的产品ID的数组以将其限制为25，并且仅将25个ID添加到查询中而不是添加3000，并LIMIT从查询内部将其添加到25？

SELECT id, name, price
FROM products
WHERE id IN (1, 2, 3, 4, ...... 25)

任何建议/反馈深表感谢！

一般而言，如果IN列表太大（对于某些“过大”的未定义值，通常在100或更小范围内），则使用联接会变得更加高效，并在需要时创建临时表。保留数字。

如果数字是一个密集的集合（没有间隙-样本数据表明），那么使用甚至可以做得更好WHERE id BETWEEN 300 AND 3000。

但是，大概在集合中存在缺口，这时最好还是使用有效值列表（除非缺口的数量相对较少，在这种情况下，您可以使用：

WHERE id BETWEEN 300 AND 3000 AND id NOT BETWEEN 742 AND 836

或任何差距。

我一直在做一些测试，正如David Fells在回答中所说的，它已经很好地进行了优化。作为参考，我创建了一个具有1,000,000个寄存器的InnoDB表，并使用带有500,000个随机数的“ IN”运算符进行选择，在我的MAC上仅花费2.5秒。仅选择偶数寄存器需要0.5秒。

我唯一的问题是必须max_allowed_packet从my.cnf文件中增加参数。如果不是，则会生成一个神秘的“ MYSQL已消失”错误。

这是我用来进行测试的PHP代码：

$NROWS =1000000;
$SELECTED = 50;
$NROWSINSERT =15000;

$dsn="mysql:host=localhost;port=8889;dbname=testschema";
$pdo = new PDO($dsn, "root", "root");
$pdo->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

$pdo->exec("drop table if exists `uniclau`.`testtable`");
$pdo->exec("CREATE  TABLE `testtable` (
        `id` INT NOT NULL ,
        `text` VARCHAR(45) NULL ,
        PRIMARY KEY (`id`) )");

$before = microtime(true);

$Values='';
$SelValues='(';
$c=0;
for ($i=0; $i<$NROWS; $i++) {
    $r = rand(0,99);
    if ($c>0) $Values .= ",";
    $Values .= "( $i , 'This is value $i and r= $r')";
    if ($r<$SELECTED) {
        if ($SelValues!="(") $SelValues .= ",";
        $SelValues .= $i;
    }
    $c++;

    if (($c==100)||(($i==$NROWS-1)&&($c>0))) {
        $pdo->exec("INSERT INTO `testtable` VALUES $Values");
        $Values = "";
        $c=0;
    }
}
$SelValues .=')';
echo "<br>";


$after = microtime(true);
echo "Insert execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);  
$sql = "SELECT count(*) FROM `testtable` WHERE id IN $SelValues";
$result = $pdo->prepare($sql);  
$after = microtime(true);
echo "Prepare execution time =" . ($after-$before) . "s<br>";

$before = microtime(true);

$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Random selection = $c Time execution time =" . ($after-$before) . "s<br>";



$before = microtime(true);

$sql = "SELECT count(*) FROM `testtable` WHERE id %2 = 1";
$result = $pdo->prepare($sql);
$result->execute();
$c = $result->fetchColumn();

$after = microtime(true);
echo "Pairs = $c Exdcution time=" . ($after-$before) . "s<br>";

结果：

Insert execution time =35.2927210331s
Prepare execution time =0.0161771774292s
Random selection = 499102 Time execution time =2.40285992622s
Pairs = 500000 Exdcution time=0.465420007706s

您可以创建一个临时表，在其中可以放置任意数量的ID并运行嵌套查询。示例：

CREATE [TEMPORARY] TABLE tmp_IDs (`ID` INT NOT NULL,PRIMARY KEY (`ID`));

然后选择：

SELECT id, name, price
FROM products
WHERE id IN (SELECT ID FROM tmp_IDs);

IN实际上，在较大的记录列表上使用较大的参数集会很慢。

在我最近解决的情况下，我有两个where子句，一个带有2,50个参数的子句，另一个带有3500个参数的子句，查询一个4000万条记录的表。

我的查询使用标准查询花了5分钟WHERE IN。通过对IN语句使用子查询（将参数放入其自己的索引表中），我将查询缩短了两秒钟。

以我的经验为MySQL和Oracle工作。

IN很好，并且经过优化。确保在索引字段上使用它并且一切都很好。

它在功能上等同于：

(x = 1 OR x = 2 OR x = 3 ... OR x = 99)

就数据库引擎而言。

当您为IN运算符提供许多值时，它首先必须对其进行排序以删除重复项。至少我怀疑。因此，提供太多的值不是很好，因为排序需要N log N的时间。

我的经验证明，将值的集合切成较小的子集，然后将应用程序中所有查询的结果组合在一起，可以提供最佳性能。我承认我在不同的数据库（普及）上收集了经验，但是同样的情况可能适用于所有引擎。我的每组值计数为500-1000。或多或少明显慢。