Questions tagged «duplicates»

我想从列表中删除重复项，而不更改列表中唯一元素的顺序。 Jon Skeet和其他人建议使用以下内容 list = list.Distinct().ToList(); 从列表C＃中删除重复项 从C＃中的List <T>中删除重复项 是否可以保证唯一元素的顺序与以前相同？如果是，请提供可确认此内容的参考，因为我在文档中找不到任何内容。

82 c#  list  duplicates 

我有一个命令（cmd1），它可以通过日志文件来过滤出一组数字。这些数字是随机顺序的，因此我使用sort -gr获取数字的反向排序列表。此排序列表中可能有重复项。我需要在该列表中找到每个唯一编号的计数。 例如，如果cmd1的输出是： 100 100 100 99 99 26 25 24 24 我需要另一个命令，可以将上述输出传递到该命令，以便得到： 100 3 99 2 26 1 25 1 24 2

82 bash  command-line  sorting  count  duplicates 

编辑2019： 在2016年11月进行更改之前，曾问过这个问题data.table，有关当前方法和以前的方法，请参见下面可接受的答案。 我有一个data.table约250万行的表。有两列。我想删除在两列中都重复的任何行。以前对于data.frame我会这样做： df -> unique(df[,c('V1', 'V2')])但这对data.table不起作用。我已经尝试过，unique(df[,c(V1,V2), with=FALSE])但是它似乎仍然只对data.table的键进行操作，而不是对整个行进行操作。 有什么建议么？ 欢呼声，戴维 例 >dt V1 V2 [1,] A B [2,] A C [3,] A D [4,] A B [5,] B A [6,] C D [7,] C D [8,] E F [9,] G G [10,] A B 在上面的data.table中，其中V2的表键是，仅删除行4,7和10。 > dput(dt) structure(list(V1 = c("B", …

77 r  duplicates  data.table 

我正在使用Heroku托管我的Ruby on Rails应用程序，由于某种原因，我可能会有一些重复的行。 有没有一种方法可以基于2个或更多条件删除重复记录，但只保留该重复集合的1条记录？ 在我的用例中，我的数据库中有汽车的品牌和型号关系。 Make Model --- --- Name Name Year Trim MakeId 我想删除所有具有相同“名称”，“年份”和“修剪”的Model记录，但保留其中1条记录（这意味着，我需要该记录，但只记录一次）。我正在使用Heroku控制台，因此可以轻松运行一些活动记录查询。 有什么建议么？

76 ruby-on-rails-3  activerecord  duplicates  destroy 

我是整个NOSQL的新手，最近对mongoDB感兴趣。我正在从头开始创建一个新网站，并决定将MONGODB / NORM（用于C＃）作为我的唯一数据库。我已经阅读了很多有关如何正确设计文档模型数据库的文章，并且我认为在大多数情况下我的设计工作都很好。我到新站点大约需要6个月的时间，并且开始发现需要重复处理的数据重复/同步问题。根据我的阅读，这在文档模型中是可以预期的，并且对于性能而言，这是有意义的。IE，您将嵌入的对象粘贴到文档中，因此读取速度很快-无联接；但是当然不能总是嵌入，因此mongodb具有DbReference的概念，该概念基本上类似于关系数据库中的外键。 所以这是一个例子：我有用户和事件；两者都有自己的文档，用户参加事件，事件都有用户参加。我决定将带有有限数据的事件列表嵌入到User对象中。我还将用户列表作为其“参与者”也嵌入到Event对象中。现在的问题是，我必须使Users与也嵌入在Event对象中的Users列表保持同步。在我阅读本文时，这似乎是首选方法，也是NOSQL做事的方法。检索速度很快，但是在我更新主用户文档时就遇到了麻烦，我还需要进入Event对象，可能会找到对该用户的所有引用并进行更新。 所以我的问题是，这是人们需要处理的一个非常普遍的问题吗？在您开始说“也许NOSQL策略不适合我在此试图做的事情”之前，这个问题必须发生多少？何时不必进行连接而带来的性能优势何时变成劣势，因为您很难使数据在嵌入式对象中保持同步，并且很难对数据库进行多次读取呢？

74 mongodb  duplicates  norm 

我最近在某个地方遇到了一个问题： 假设您有一个1001个整数的数组。整数按随机顺序排列，但是您知道每个整数都在1到1000（含）之间。此外，每个数字在数组中仅出现一次，但一个数字出现两次。假设您只能访问一次数组的每个元素。描述找到重复数字的算法。如果在算法中使用了辅助存储，是否可以找到不需要它的算法？ 我有兴趣知道的是第二部分，即不使用辅助存储。你有什么主意吗？

72 arrays  algorithm  duplicates 

我们有一张带有以下各列的照片表： id, merchant_id, url 该表包含该组合的重复值merchant_id, url。因此一行可能会出现多次。 234 some_merchant http://www.some-image-url.com/abscde1213 235 some_merchant http://www.some-image-url.com/abscde1213 236 some_merchant http://www.some-image-url.com/abscde1213 删除这些重复项的最佳方法是什么？（我使用PostgreSQL 9.2和Rails3。）

72 sql  database  ruby-on-rails-3  duplicates  postgresql-9.2 

我确信这是一个非常明显的问题，并且确实有一个函数可以执行此操作，但是我似乎找不到它。在PHP中，我想尽可能有效地知道数组中是否包含重复项。我不想像删除它们一样array_unique，并且我也不希望运行array_unique并将其与原始数组进行比较以查看它们是否相同，因为这似乎效率很低。就性能而言，“预期条件”是该阵列没有重复项。 我只想做类似的事情 if (no_dupes($array)) // this deals with arrays without duplicates else // this deals with arrays with duplicates 我有没有想到的明显功能？ 如何检测PHP数组中的重复值？ 具有正确的标题，并且是一个非常相似的问题，但是，如果您实际阅读了该问题，他正在寻找array_count_values。

72 php  arrays  duplicates 

我有大的（>百万行）MySQL数据库被重复弄乱了。我认为这可能是充满它们的整个数据库的1/4到1/2。我需要快速摆脱它们（我是指查询执行时间）。外观如下： id（索引）| text1 | text2 | text3 text1＆text2组合应该是唯一的，如果有重复项，则仅应保留一个text3 NOT NULL组合。例： 1 | abc | def | NULL 2 | abc | def | ghi 3 | abc | def | jkl 4 | aaa | bbb | NULL 5 | aaa | bbb | NULL ...成为： 1 | abc | …

70 sql  mysql  duplicates 

我正在跟我刚才提出的一个问题进行跟进，在这个问题中，我寻求从愚蠢/编写不佳的mysql查询转换为postgresql。我相信我成功了。无论如何，我使用的是从mysql数据库手动移动到postgres数据库的数据。我正在使用如下查询： """ UPDATE krypdos_coderound cru set is_correct = case when t.kv_values1 = t.kv_values2 then True else False end from (select cr.id, array_agg( case when kv1.code_round_id = cr.id then kv1.option_id else null end ) as kv_values1, array_agg( case when kv2.code_round_id = cr_m.id then kv2.option_id else null end ) as kv_values2 from …

70 django  postgresql  duplicates  unique-constraint  database-integrity 

您将如何标记缓冲区中与其他行完全相同的所有行？通过标记它们，我的意思是突出显示它们或添加字符或其他内容。我想保留缓冲区中各行的顺序。 之前： foo bar foo baz 后： foo* bar foo* baz

69 vim  duplicates 

我正在尝试遵循Ryan Bates RailsCast＃196：嵌套模型第1部分。Ryans版本有两个明显的区别：1）我正在使用内置脚手架，而不是他所使用的漂亮，以及2）我正在运行rails 4（我真的不知道Ryans在他的演员表中使用什么版本） ，但不是4）。 所以这就是我所做的 rails new survey2 cd survey2 bundle install rails generate scaffold survey name:string rake db:migrate rails generate model question survey_id:integer content:text rake db:migrate 然后像这样将关联添加到模型中 class Question < ActiveRecord::Base belongs_to :survey end 所以 class Survey < ActiveRecord::Base has_many :questions accepts_nested_attributes_for :questions end 然后我添加了嵌套视图部分 <%= form_for(@survey) do …

67 duplicates  ruby-on-rails-4  nested-attributes 

我有一个数据框架，如下所示： df <- data.frame("id" = c(111,111,111,222,222,222,222,333,333,333,333), "Location" = c("A","B","A","A","C","B","A","B","A","A","A"), "Encounter" = c(1,2,3,1,2,3,4,1,2,3,4)) id Location Encounter 1 111 A 1 2 111 B 2 3 111 A 3 4 222 A 1 5 222 C 2 6 222 B 3 7 222 A 4 8 333 B 1 9 333 A …

9 r  dataframe  dplyr  duplicates