1. python删除重复数据
利用集合的不重复属性，可以先转换至集合，再用list()函数转换回来即可。
比如，a是一个列表，a=list(set(a))，即可完成列表去重。
2. python中对list去重的多种方法
python中对list去重的多种方法
今天遇到一个问题，在同事随意的提示下，用了 itertools.groupby 这个函数。不过这个东西最终还是没用上。
问题就是对一个list中的新闻id进行去重，去重之后要保证顺序不变。
直观方法
最简单的思路就是：
这样也可行，但是看起来不够爽。
用set
另外一个解决方案就是用set：
代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids = list(set(ids))
这样的结果是没有保持原来的顺序。
按照索引再次排序
最后通过这种方式解决：
代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)
使用itertools.grouby
文章一开始就提到itertools.grouby, 如果不考虑列表顺序的话可用这个：
代码如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)
for k, g in it:
print k
关于itertools.groupby的原理可以看这里：http://docs.python.org/2/library/itertools.html#itertools.groupby
网友补充：用rece
网友reatlk留言给了另外的解决方案。我补充并解释到这里：
代码如下:
In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]
In [6]: func = lambda x,y:x if y in x else x + [y]
In [7]: rece(func, [[], ] + ids)
Out[7]: [1, 4, 3, 2, 5, 6]
上面是我在ipython中运行的代码，其中的 lambda x,y:x if y in x else x + [y] 等价于 lambda x,y: y in x and x or x+[y] 。
3. python中列表如何去重
可以利用set去重
代码如下:
#coding=utf-8
li=[1,2,3,4,2,1,3,0]#列表
li2=set(li)
print(li2)
4. python 如何使数组中的元素不重复
python使数组中的元素不重复的方法：
python字典的键都是唯一的，可以用python字典的fromkeys()方法去除列表里面重复的元素，然后用list对象将字典的key转换成列表，最后输出这个列表就可以了
示例代码如下：
执行结果如下：
更多Python知识，请关注：Python自学网！！
5. Python如何对列表进行去重
1.使用set的特型，python的set和其他语言类似,是一个无序不重复元素集
orgList=[1,0,3,7,7,5]
#list()方法是把字符串str或元组转成数组
formatList=list(set(orgList))
print(formatList)
结果：
[0,1,3,5,7]
2.使用keys()方法
orgList=[1,0,3,7,7,5]
#list()方法是把字符串str或元组转成数组
formatList=list({}.fromkeys(orgList).keys())
print(formatList)
结果：
[0,1,3,5,7]
上面两种方法的问题是：结果是没有保持原来的顺序。
3.循环遍历法
orgList=[1,0,3,7,7,5]
formatList=[]
foridinorgList:
ifidnotinformatList:
formatList.append(id)
print(formatList)
结果：
[1,0,3,7,5]
这样的代码不够简洁
4.按照索引再次排序
orgList=[1,0,3,7,7,5]
formatList=list(set(orgList))
formatList.sort(key=orgList.index)
print(formatList)
结果：
[1,0,3,7,5]