使用ArcGIS for Desktop在字段中查找重复记录？

我正在基于称为“ ID”的属性在dbf文件中寻找重复记录。我有各种dbf文件，从500,000条记录到150万条记录，我知道有很多重复项。

我想添加一个ID为“是”或“否”（或1或0很好）的字段“ Duplicate”，当ID属性存在于其他位置时。在字段计算器中使用以下python脚本，对于重复项返回1，对于唯一项返回0；

uniqueList = []
def isDuplicate(inValue):
  if inValue in uniqueList:
    return 1
  else:
    uniqueList.append(inValue)
    return 0
isDuplicate(!FIELD_NAME!)

但是，第一个记录（例如5个重复ID）也将返回为0（随后的4个被视为重复）。我需要将所有5个标记为重复，因为该ID在其他位置存在。

使用以下代码将为您提供ID出现次数的递增计数，其中1表示第一次出现，以此类推；

UniqueDict = {}
def isDuplicateIndex(inValue):
    UniqueDict.setdefault(inValue,0)
    UniqueDict[inValue] += 1
    return UniqueDict[inValue]

isDuplicateIndex( !YOUR_FIELD! )

如果该记录的ID在其他地方存在，我只想要1（或是）！（ArcGIS版本10.1）

我看到了其他答案，例如用于识别重复记录的Python脚本（跟进），但效果不佳。

另一种解决方案是使用ArcGIS中现有的“ 摘要统计信息 ”工具，然后根据您的ID字段加入结果表。重复项的“ COUNT”大于1，因此使用您的字段计算器进行计算很简单。

另一个替代解决方案（仅适用于SDE环境）是使用ArcGIS中的现有SQL功能来显示重复记录

获取表中的重复记录（按属性选择）

[FIELD_NAME] In (SELECT [FIELD_NAME] FROM [TABLE_NAME] GROUP BY [FIELD_NAME] HAVING Count(*)>1 )

例：

ID In (SELECT ID FROM GISDATA.MY_TABLE GROUP BY ID HAVING Count(*)>1 )

以下脚本使用指定字段中每个值的出现次数创建一个新字段。因此，例如，如果您在该字段中有6次“巴黎”，那么带有“巴黎”的每一行都会得到6。

import arcpy

arcpy.env.workspace=r"D:\test.gdb"
infeature="sample_feature"
field_in="sample_field"
field_out="COUNT_"+field_in

#create the field for the count values
arcpy.AddField_management(infeature,field_out,"SHORT")

#creating the list with all the values in the field, including duplicates
lista=[]
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field_in)    
    lista.append(i)
del cursor1, row

#updating the count field with the number on occurrences of field_in values
#in the previously created list
cursor2=arcpy.UpdateCursor(infeature)
for row in cursor2:
    i=row.getValue(field_in)
    occ=lista.count(i)   
    row.setValue(field_out,occ)
    cursor2.updateRow(row)
del cursor2, row
print ("Done.")

它可以很容易地修改，这样就可以有“是”或1，如果计数> 1，但我想这有实际的计数值是比较有用的。

以后编辑：或者您可以在现场计算器中使用它。逻辑前脚本代码：

infeature="sample_feature" #change with the name of your feature
lista=[]
field="sample_field" #change with your field with duplicates
cursor1=arcpy.SearchCursor(infeature)
for row in cursor1:
    i=row.getValue(field)    
    lista.append(i)
del cursor1, row

def duplicates(field_in):        
    occ=lista.count(field_in)
    return occ

重复字段=

duplicates(!sample_field!)