最新下载
热门教程
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
python按照list中字典的某key去重代码示例
时间:2020-10-13 编辑:袖梨 来源:一聚教程网
本篇文章小编给大家分享一下python按照list中字典的某key去重代码示例,文章代码介绍的很详细,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看。
一、需求说明
当我们写爬虫的时候,经常会遇到json格式的数据,它通常是如下结构:
data = [{'name':'小K','score':100}, {'name':'小J','score':98}, {'name':'小Q','score':95}, {'name':'小K','score':100}]
很显然名字为小K的数据重复了,我们需要进行去重。通常对于list的去重,我们可以用set()函数,即:
data = list(set(data))
然而,运行之后你会发现它报错了:
list里的数据不能是dict类型,那么该怎么办呢?
二、我的解决方案
定义一个去重的函数即可,根据里面的某个key,对数据进行筛选去重:
def DelRepeat(data,key): new_data = [] # 用于存储去重后的list values = [] # 用于存储当前已有的值 for d in data: if d[key] not in values: new_data.append(d) values.append(d[key]) return new_data
参数data为需要去重的list,key为去重的健(即按照哪个key来去重),去重后结果为:
[{'name': '小K', 'score': 100},
{'name': '小J', 'score': 98},
{'name': '小Q', 'score': 95}]
成功去重!
相关文章
- Golang ProtoBuf的基本语法详解 10-20
- Python识别MySQL中的冗余索引解析 10-20
- Python+Pygame绘制小球代码展示 10-18
- Python中的数据精度问题介绍 10-18
- Python随机值生成的常用方法介绍 10-18
- python3解压缩.gz文件分析 09-27