1. python刪除重復數據
利用集合的不重復屬性，可以先轉換至集合，再用list()函數轉換回來即可。
比如，a是一個列表，a=list(set(a))，即可完成列表去重。
2. python中對list去重的多種方法
python中對list去重的多種方法
今天遇到一個問題，在同事隨意的提示下，用了 itertools.groupby 這個函數。不過這個東西最終還是沒用上。
問題就是對一個list中的新聞id進行去重，去重之後要保證順序不變。
直觀方法
最簡單的思路就是：
這樣也可行，但是看起來不夠爽。
用set
另外一個解決方案就是用set：
代碼如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids = list(set(ids))
這樣的結果是沒有保持原來的順序。
按照索引再次排序
最後通過這種方式解決：
代碼如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
news_ids = list(set(ids))
news_ids.sort(ids.index)
使用itertools.grouby
文章一開始就提到itertools.grouby, 如果不考慮列表順序的話可用這個：
代碼如下:
ids = [1,4,3,3,4,2,3,4,5,6,1]
ids.sort()
it = itertools.groupby(ids)
for k, g in it:
print k
關於itertools.groupby的原理可以看這里：http://docs.python.org/2/library/itertools.html#itertools.groupby
網友補充：用rece
網友reatlk留言給了另外的解決方案。我補充並解釋到這里：
代碼如下:
In [5]: ids = [1,4,3,3,4,2,3,4,5,6,1]
In [6]: func = lambda x,y:x if y in x else x + [y]
In [7]: rece(func, [[], ] + ids)
Out[7]: [1, 4, 3, 2, 5, 6]
上面是我在ipython中運行的代碼，其中的 lambda x,y:x if y in x else x + [y] 等價於 lambda x,y: y in x and x or x+[y] 。
3. python中列表如何去重
可以利用set去重
代碼如下:
#coding=utf-8
li=[1,2,3,4,2,1,3,0]#列表
li2=set(li)
print(li2)
4. python 如何使數組中的元素不重復
python使數組中的元素不重復的方法：
python字典的鍵都是唯一的，可以用python字典的fromkeys()方法去除列表裡面重復的元素，然後用list對象將字典的key轉換成列表，最後輸出這個列表就可以了
示例代碼如下：
執行結果如下：
更多Python知識，請關註：Python自學網！！
5. Python如何對列表進行去重
1.使用set的特型，python的set和其他語言類似,是一個無序不重復元素集
orgList=[1,0,3,7,7,5]
#list()方法是把字元串str或元組轉成數組
formatList=list(set(orgList))
print(formatList)
結果：
[0,1,3,5,7]
2.使用keys()方法
orgList=[1,0,3,7,7,5]
#list()方法是把字元串str或元組轉成數組
formatList=list({}.fromkeys(orgList).keys())
print(formatList)
結果：
[0,1,3,5,7]
上面兩種方法的問題是：結果是沒有保持原來的順序。
3.循環遍歷法
orgList=[1,0,3,7,7,5]
formatList=[]
foridinorgList:
ifidnotinformatList:
formatList.append(id)
print(formatList)
結果：
[1,0,3,7,5]
這樣的代碼不夠簡潔
4.按照索引再次排序
orgList=[1,0,3,7,7,5]
formatList=list(set(orgList))
formatList.sort(key=orgList.index)
print(formatList)
結果：
[1,0,3,7,5]