数据去重方法python_python中去重的方法「终于解决」

在python中，有两种方法进行去重：

1)对于list数据，去重方式如下：

a)原列表list_origin的内容如下：

list_origin = [“aaa”, “ccc”, “bbb”, “aaa”, “ddd”, “bbb”]

b)进行去重，获得新的列表new_list：

new_list = list(set(list_origin))

这里的new_list=[‘aaa‘,‘bbb‘, ‘ccc‘, ‘ddd‘]

c)对新的列表进行排序，这里采用原来列表中的顺序对新列表进行排序：

new_list.sort(key = mailto.index)

这里的new_list=[‘aaa‘,‘ccc‘, ‘bbb‘, ‘ddd‘]

2)第二种方法，可以借用dictionary中不能有重复出现的key的思想即可完成去重的功能：

a)原列表list_origin的内容如下：

list_origin = [“aaa”, “ccc”, “bbb”, “aaa”, “ddd”, “bbb”]

b)将列表内容添加到字典中：

定义空字典：dict_tmp = {}

for single_value in list_origin:

dict_tmp[single_value] = “”

此时得到的字典的key即为去重后的内容。

Notes：

哎，楼主当年没好好学，竟然用第二种方法搞了好多项目中的去重工作……

原文：http://www.cnblogs.com/renyuanjun/p/5562084.html