用Python元素去重人名

Ⅰ 求助一个python问题，用字典与集合的知识解下面这个题，感谢大佬帮忙🙏

course1 = set(('李雷', '张玉', '王晓刚', '陈红静', '方向', '司马清'))

course2 = set(('施然', '李芳芳', '刘潇', '方向', '孙一航', '黄煌'))

course3 = set(('陈红静', '方向', '刘培良', '张玉', '施小冉', '司马清'))

d={}

data=[x for y in [course1,course2,course3]

for x in y]for x in data:

if x in d:

d[x]+=1

else:

d[x]=1

print(d,' ')

print('这个班还有 %d 学生没有选课(by set)' % (25-len(course1|course2|course3)))

print('这个班还有 %d 学生没有选课(by dict)' % (25-len(d)))

print('有 %d 位学生同时选修了2门课' % list(d.values()).count(2))

print('有 %d 位学生同时选修了3门课' % list(d.values()).count(3))

print('有 %d 位学生同时选修了1门课' % list(d.values()).count(1))

Ⅱ python爬取的数据如何去重说一下具体的算法依据

要具体问题具体分析的。看你要抓取什么数据。
最好能找到一个能够作为重复性区分的字段值。比如网络知道的所有提问，每个问题都有一个对应的id，楼主这个问题对应的id就是181730605611341844。那在爬取的过程中，可以将所有已经爬取的问题id保存在一个set()中，如果即将爬取的问题id已经存在了，那就跳过，反之则继续。
不知道楼主用的是什么数据库，在数据库设计中，也可以添加一些约束条件作为约束，保证数据的唯一性。

Ⅲ Python 去除列表中重复的元素

这个有几种方法来完成，但是对于不可哈希的数据来说，BIF set() 是无效的，会报错，下面介绍几种方法

对于以上4种方法，各有利弊，一般来说是方法2最快，方法1和方法3比较类似，但是方法3可以保持列表中的排序和之前的一样，但是开头也说了，这样无法对不可哈希的对象进行去重复，比如列表中的元素还是列表，这种情况下就只能用方法4了，但是方法4的缺点就是比较的慢。

Ⅳ python删除list重复元素

在Python中主要有5种方式 。
1、使用set函数
set是定义集合的,无序，非重复
numList = [1,1,2,3,4,5,4]
print(list(set(numList)))
#[1, 2, 3, 4, 5]
2、先把list重新排序，然后从list的最后开始扫描
a = [1, 2, 4, 2, 4, 5,]
a.sort()
last = a[-1]
for i in range(len(a) - 2, -1, -1):
if last == a[i]:
del a[i]
else:
last = a[i]
print(a) #[1, 2, 4, 5]
3、使用字典函数
a=[1,2,4,2,4,]
b={}
b=b.fromkeys(a)
c=list(b.keys())
print(c) #[1, 2, 4]
4、append方式
def delList(L):
L1 = []
for i in L:
if i not in L1:
L1.append(i)
return L1
print(delList([1, 2, 2, 3, 3, 4, 5])) #[1, 2, 3, 4, 5]
5、count + remove方式
def delList(L):
for i in L:
if L.count(i) != 1:
for x in range((L.count(i) - 1)):
L.remove(i)
return L
print(delList([1, 2, 2, 3, 3, 4]))#[1, 2, 3, 4]