recpython

⑴ python pandas 统计某一数据出现多少次

输入：
import pandas as pd
data0 = [0,1,2,0,1,0,2,0]
pd.value_counts(data0)
输出每个数出现的频数：
0 4
2 2
1 2
（0出现4次，2出现2次，1出现两次）

⑵ 如何利用Python嗅探数据包

一提到Python获取数据包的方式，相信很多Python爱好者会利用Linux的libpcap软件包或利用Windows下的WinPcap可移植版的方式进行抓取数据包，然后再利用dpkt软件包进行协议分析，我们这里想换一个角度去思考：
1. Python版本的pcap存储内存数据过小，也就是说缓存不够，在高并发下容易发生丢包现象，其实C版本的也同样存在这样的问题，只不过Python版本的缓存实在是过低，让人很郁闷。
2. dpkt协议分析并非必须，如果你对RFC 791和RFC 793等协议熟悉的话，完全可以使用struct.unpack的方式进行分析。
如果你平常习惯使用tcpmp抓取数据包的话，完全可以使用它来代替pcap软件包，只不过我们需要利用tcpmp将抓取的数据以pcap格式进行保存，说道这里大家一定会想到Wireshark工具，具体命令如下：
1. tcpmp dst 10.13.202.116 and tcp dst port 80 -s 0 -i eth1 -w ../pcap/tcpmp.pcap -C 1k -W 5
我们首先需要对pcap文件格式有所了解，具体信息大家可以参考其他资料文档，我这里只说其重要的结构体组成，如下：
1. sturct pcap_file_header
2. {
3. DWORD magic;
4. WORD version_major;
5. WORD version_minor;
6. DWORD thiszone;
7. DWORD sigfigs;
8. DWORD snaplen;
9. DWORD linktype;
10. }
11.
12. struct pcap_pkthdr
13. {
14. struct timeval ts;
15. DWORD caplen;
16. DWORD len;
17. }
18.
19. struct timeval
20. {
21. DWORD GMTtime;
22. DWORD microTime;
23. }
这里需要说明的一点是，因为在Python的世界里一切都是对象，所以往往Python在处理数据包的时候感觉让人比较麻烦。
至于对于如何监控tcpmp生成的pcap文件数据，大家可以通过pyinotify软件包来实现（相信大家一定对于rsync+inotify的组合比较熟悉），如下：
1. class Packer(pyinotify.ProcessEvent):
2. def __init__(self, proct):
3. self.proct = proct
4. self.process = None
5.
6. def process_IN_CREATE(self, event):
7. logger.debug("create file: %s in queue" % self.process_IF_START_THREAD(event))
8.
9. def process_IN_MODIFY(self, event):
10. self.process_IF_START_THREAD(event)
11. logger.debug("modify file: %s in queue" % self.process_IF_START_THREAD(event))
12.
13. def process_IN_DELETE(self, event):
14. filename = os.path.join(event.path, event.name)
15. logger.debug("delete file: %s" % filename)
16.
17. def process_IF_START_THREAD(self, event):
18. filename = os.path.join(event.path, event.name)
19.
20. if filename != self.process:
21. self.process = filename
22. self.proct.put(filename)
23.
24. if self.proct.qsize() > 1:
25. try:
26. logger.debug("create consumer proct.qsize: %s" % self.proct.qsize())
27. consumer = Consumer(self.proct)
28. consumer.start()
29. except Exception, errmsg:
30. logger.error("create consumer failed: %s" % errmsg)
31.
32. return filename
33.
34. class Factory(object):
35. def __init__(self, proct):
36. self.proct = proct
37. self.manager = pyinotify.WatchManager()
38. self.mask = pyinotify.IN_CREATE | pyinotify.IN_DELETE | pyinotify.IN_MODIFY
39.
40. def work(self):
41. try:
42. try:
43. notifier = pyinotify.ThreadedNotifier(self.manager, Packer(self.proct))
44. notifier.start()
45. self.manager.add_watch("../pcap", self.mask, rec = True)
46. notifier.join()
47. except Exception, errmsg:
48. logger.error("create notifier failed: %s" % errmsg)
49. except KeyboardInterrupt, errmsg:
50. logger.error("factory has been terminated: %s" % errmsg)
在获得要分析的pcap文件数据之后，就要对其分析了，只要你足够了解pcap文件格式就可以了，对于我们来讲只需要获得TCP数据段的数据即可，如下：
1. class Writer(threading.Thread):
2. def __init__(self, proct, stack):
3. threading.Thread.__init__(self)
4. self.proct = proct
5. self.stack = stack
6.
7. self.pcap_pkthdr = {}
8.
9. def run(self):
10. while True:
11. filename = self.proct.get()
12. try:
13. f = open(filename, "rb")
14. readlines = f.read()
15. f.close()
16. offset = 24
17. while len(readlines) > offset:
18. self.pcap_pkthdr["len"] = readlines[offset+12:offset+16]
19. try:
20. length = struct.unpack("I", self.pcap_pkthdr["len"])[0]
21. self.stack.put(readlines[offset+16:offset+16+length])
22. offset += length + 16
23. except Exception, errmsg:
24. logger.error("unpack pcap_pkthdr failed: %s" % errmsg)
25. except IOError, errmsg:
26. logger.error("open file failed: %s" % errmsg)
在获得TCP数据段的数据包之后，问题就简单多了，根据大家的具体需求就可以进行相应的分析了，我这里是想分析其HTTP协议数据，同样也借助了dpkt软件包进行分析，如下：
1. def worker(memcache, packet, local_address, remote_address):
2. try:
3. p = dpkt.ethernet.Ethernet(packet)
4. if p.data.__class__.__name__ == "IP":
5. srcip = "%d.%d.%d.%d" % tuple(map(ord, list(p.data.src)))
6. dstip = "%d.%d.%d.%d" % tuple(map(ord, list(p.data.dst)))
7. if p.data.data.__class__.__name__ == "TCP":
8. tcpacket = p.data.data
9. if tcpacket.dport == 80 and dstip == local_address:
10. srcport = tcpacket.sport
11. key = srcip + ":" + str(srcport)
12. if tcpacket.data:
13. if not memcache.has_key(key):
14. memcache[key] = {}
15.
16. if not memcache[key].has_key("response"):
17. memcache[key]["response"] = None
18.
19. if memcache[key].has_key("data"):
20. memcache[key]["data"] += tcpacket.data
21. else:
22. memcache[key]["data"] = tcpacket.data
23. else:
24. if memcache.has_key(key):
25. memcache[key]["response"] = dpkt.http.Request(memcache[key]["data"])
26. try:
27. stackless.tasklet(connection)(memcache[key]["response"], local_address, remote_address)
28. stackless.run()
29. except Exception, errmsg:
30. logger.error("connect remote remote_address failed: %s", errmsg)
31. logger.debug("old headers(none content-length): %s", memcache[key]["response"])
32. memcache.pop(key)
33. except Exception, errmsg:
34. logger.error("dpkt.ethernet.Ethernet failed in worker: %s", errmsg)
如果大家只是想单纯的获取IP地址、端口、流量信息，那么问题就更简单了，这里只是抛砖引玉。

⑶ python中如何查找数组中的唯一值的数量

rec = collections.defaultdict(int)

for i in arr:
rec[i] += 1

count = 0
for k, v in rec.items():
if v == 1:

count += 1

print(count)

⑷ rec['tz']在Python中什么意思

兄台你这断章取义的提问让诸位老司机措手不及啊，不过有一点是可以确定的：你一定在看用Python做数据分析这本书，rec是定义的变量，rec【'tz'】是去json中value值

⑸ python 判断字符串是否循环

executeRecord="niu"
rec = open('py.txt', 'r+')
lineInfos = rec.readlines()
recordFlag = True
for row in lineInfos:
print(row.strip().find(executeRecord))
# find函数-1表示找不到匹配内容，其他输出结果为找到的索引值
if row.strip().find(executeRecord) != -1:
print("%s 已经存在！" % (executeRecord))
# 记录过即不再记录
recordFlag = False
break
if recordFlag:
executeRecord = '%s\n' % executeRecord
rec.write(executeRecord)
rec.close()

⑹ python中如何判断指定字符串是否在文件中

#-*-coding:utf-8-*-

__author__='JipuFANG'
importrequests

f=open('123.txt','r+')
a=f.readlines()
b='115'
if[c.strip().find(b)forcina]:
print("%s已经存在！"%(b))
else:
f.write(b)
f.close()

# 自己去完善吧！也是一种学习！

⑺ python如何跳出无限循环并执行下一个函数

importtime
importos
importschele
importpyautogui


defRec():
	record=os.startfile("C:ProgramFiles(x86)EVCaptureEVCapture.exe")
	schele.every().day.at("16:40").do(Rec)
	whileTrue:
		ifpyautogui.hotkey('ctrl','f2'):
			break
		schele.run_pending()
		time.sleep(1)

defStar_t():
	St=pyautogui.hotkey('ctrl','f1')
	Star_t()

⑻ Python数据类型出现的问题

>>>test='x02'
>>>ord(test)
2
>>>type(ord(test))
<type'int'>
>>>

将s1.data_rec改为ord(s1.data_rec)

⑼ python递增( autoincrement公式）

赋值语句 AB = rec改为 AB= autoIncrement()

⑽ python 正则表达式，怎样匹配以某个字符串开头，以某个字符串结尾的情况

python正则匹配以xx开头以xx结尾的单词的步骤：

1、假设需要匹配的字符串为：site sea sue sweet see case sse ssee loses需要匹配的为以s开头以e结尾的单词。正确的正则式为：sS*?e

2、使用python中re.findall函数表示匹配字符串中所有的可能选项，re是python里的正则表达式模块。findall是其中一个方法，用来按照提供的正则表达式，去匹配文本中的所有符合条件的字符串。

3、代码和结果如下：

text ='site sea sue sweet see case sse ssee loses'

re.findall(r'sS*?e',text)

结果为：['site', 'sue', 'see', 'sse', 'ssee']

(10)recpython扩展阅读：

python正则匹配,以某某开头某某结尾的最长子串匹配

代码如下：

regVersions = re.search(r'(V|v)[0-9].*[0-9]', filename)

if regVersions:

print regVersions.group()