大家好，欢迎来到IT知识分享网。
一、列表中去重
一、使用for循环实现列表去重
此方法去重后，原顺序保持不变。
# for循环实现列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = []
for l1 in list1:
if l1 not in list2:
list2.append(l1)
print(list2)
# 结果：[‘a’, ‘b’, 1, 3, 9]
二、使用列表推导式去重
此方法去重后，原顺序保持不变。
# 使用列表推导式去重 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] res = [] [res.append(i) for i in list1 if i not in res] print(res)
# 结果：[‘a’, ‘b’, 1, 3, 9]
三、使用集合转换函数set()实现列表去重
原理：同一个集合的元素之间是不允许重复的
# set()列表去重 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = list(set(list1)) print(list2)
# 结果：[1, 3, 9, ‘b’, ‘a’]
问题：使用set()函数去重后，会自动排序，则原列表的顺序会发生改变
解决办法有2种：
第一种方法，使用sort()方法
# # 第一种方法，sort() list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = list(set(list1)) list2.sort(key=list1.index) print(list2)
# 结果：[‘a’, ‘b’, 1, 3, 9]
注：sort()方法没有返回值，对列表元素进行原地排序
第二种方法，使用sorted()函数
# 第二种方法，sored() list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = sorted(list(set(list1)), key=list1.index) print(list2)
# 结果：[‘a’, ‘b’, 1, 3, 9]
注：python内置函数sorted()函数返回新的列表，并不对原列表做任何修改
四、使用新建字典方式实现列表去重
原理：字典的”键”是不允许重复的
此方法去重后，原来顺序保持不变。
# 使用新建字典实现列表去重 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] dic = {} dic = dic.fromkeys(list1).keys() print(list(dic)) 结果：[‘a’, ‘b’, 1, 3, 9]
五、删除列表中存在重复的数据
上面的4种去重方法，都是保留一个，删除其他
下面这种方法则是，只要存在重复，一个都不保留
# 删除存在重复的值，不保留 list1 = ['a', 'b', 1, 3, 9, 9, 'a'] list2 = [i for i in list1 if list1.count(i) == 1] print(list2)
# 结果：[‘b’, 1, 3]
二、列表中套字典去重
1.方式1：
from functools import reduce #导入排序模块 def list_dict_duplicate_removal(): data_list = [{"a": "123", "b": "321"}, {"a": "123", "b": "321"}, {"b": "321", "a": "123"}] run_function = lambda x, y: x if y in x else x + [y] return reduce(run_function, [[], ] + data_list) if __name__ == '__main__': print list_dict_duplicate_removal()
# [{'a': '123', 'b': '321'}]
2.方式2：
data_list= [{"name": "小蓝", "age": "18"}, {"name": "小红", "age": "18"}, {"name": "小蓝", "age": "18"}]
def DictinList_duplicate(data_list):
"""
列表套字典去重
:return:
"""
seen = set()
new_l = []
for d in data_list:
t = tuple(d.items())
if t not in seen:
seen.add(t)
new_l.append(d)
print(new_l)
- 先创建一个空集合，一个空列表
- 循环我们要传进来的列表，
- 将其字典的items()转化为元组，作为可哈希类型
- 如果集合不存在则添加到集合和空列表中，
3.方式3：
data_list= [{"name": "小蓝", "age": "18"}, {"name": "小红", "age": "18"}, {"name": "小蓝", "age": "18"}]
new_list = [dict(d) for d in (set([tuple(d.items()) for d in data_list]))]
-
先将列表循环去除dict将其转换为元组在放入集合中实现去重，在循环一次将去重后的元组转为字典
-
第2种方法用了外部变量和if判断，这种方法用了两次循环，时间复杂度会高
3.将字典转为tuple类型放入集合中达到去重的效果，在转为列表
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://yundeesoft.com/30010.html
