Ⅰ 如何使用python動態控制Linux系統的內存佔用百分比
如何使用Python動態控制Linux系統的內存佔用百分比?
近期有網上朋友尋求幫助：如何通過腳本動態控制Linux系統的內存佔用百分比？經過一番網路+編寫調試，終於初步完成了動態控制Linux系統內存佔用百分比。現寫出來以幫助更多的朋友。
1 前言
根據需求是動態控制Linux系統內存佔用百分比，比如當前內存佔用30%，如果設置內存佔用為70%，則需要申請內存使達到佔用70%；如果再降低到40%，則需要釋放部分申請的內存。其實腳本的本質是內存動態申請與釋放。
注意：因為Python腳本運行之前內存有一定佔用，故設定內存佔用不能低於該百分比。
2 內存動態申請
通過查詢資料，使用Python動態申請內存塊，可以使用ctypes包中的函數，導入包及代碼如下所示：
>>> from ctypes import *
>>> mem=create_string_buffer(1024)
說明：內存申請使用create_string_buffer()函數，上面申請了1024位元組的內存塊。
下面演示申請100MB內存前後變化
申請前如下圖所示：
使用代碼如下：
>>>mem=create_string_buffer(104857600)
申請後如下圖所示：
從上述兩幅圖中可以看出，申請內存前內存佔用295MB，申請後內存佔用397MB，增加了約100MB內存佔用。
3 內存動態釋放
由於Python對內存是有垃圾回收機制的，採用對象引用計數方式。當對象的引用計數為0時，啟動垃圾回收GC。此處內存動態釋放就是使用該原理。
代碼如下：
>>> mem=None
釋放後內存佔用如下圖所示：
內存佔用由397MB降低到297MB，釋放了100MB內存佔用。
說明：將None賦值給對象mem後，mem對象的引用計數即為0，此時垃圾回收啟動，釋放mem對象佔用的內存。
4 系統總內存、佔用內存檢測
由於需要設定內存佔用百分比，故需要獲取系統總物理內存和佔用內存。本文使用的方法是讀取系統文件「/proc/meminfo」，從中解析出總內存大小以及當前內存佔用大小等內存相關的信息。該文件內容格式如下圖所示：
代碼片段如下所示：
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
說明：按行讀取meminfo文件內容，創建字典對象mem，將meminfo文件第一列設置為mem對象的鍵值，將meminfo文件第二列數字設置為mem對象的值。
5 獲取用戶輸入百分比
通過讀取鍵盤輸入字元串，然後轉換為數字實現接收用戶輸入的百分比，代碼如下所示：
input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
rate=float(input_str)
注意：此處鍵盤輸入的都是字元串，需要進行字元串轉換為數字，使用float()或long()函數進行轉換。
6 動態設置內存佔用百分比測試
測試使用兩個Python腳本文件，分別是test.py和mem_rate.py，其功能分別是查看當前內存佔用和動態設定內存佔用百分比。如下圖所示：
注意：上述兩個文件需要使用「chmod +x *.py」修改為可執行屬性。
6.1 查看當前內存佔用
查看當前內存佔用百分比，使用上述test.py文件，運行命令為「./test.py」，運行結果如下圖所示：
當前使用內存為320MB，佔用百分比為17%。
6.2 動態設置內存佔用百分比
動態設置內存佔用百分比使用上述mem_rate.py腳本，注意該腳本文件第一行代碼為「#!/usr/bin/python2.6」，表示該腳本使用python2.6程序運行。該行需要修改為待運行Linux系統中Python實際的安裝程序路徑。
動態內存百分比設置界面如下圖所示：
處於待輸入狀態。另外顯示了當前內存佔用（321MB），總內存大小（1869MB）以及內存佔用百分比（17%）。
如果此時設置內存佔用百分比為80%，則腳本會每次申請10MB空間，直至內存佔用接近或等於80%為止。如下圖所示：
內存申請過程如下圖所示：
內存申請過程中佔用百分比變化為：35%，45%，56%，70%，…
mem_rate.py運行過程如下圖所示：
內存申請過程中佔用變化為：1461MB，1471MB，1481MB，1491MB。
此時如果內存佔用百分比設置為20%，則需要釋放一部分內存。
test.py腳本運行過程如下圖所示：
由於釋放內存運行較快，抓取到最後結果
內存佔用為20%。
mem_rate.py腳本運行過程如下圖所示：
內存釋放過程中內存佔用為：413MB，403MB，393MB，383MB，最後內存佔用穩定在20%，383MB。
輸入「q」或「Q」退出內存佔用百分比設定過程，如下圖所示：
此時內存佔用如下圖所示：
內存佔用恢復到運行mem_rate.py腳本之前狀態，17%，321MB。
※※※※※※※※※※※※※※※※※※※※※※※※※※※※※
附：完整Python腳本代碼
test.py
------------------------------------------------------------------------------------------------
#!/usr/bin/python2.6
def memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# - mem['Buffers']- mem['Cached']
return mem
mem=memory_stat()
print("Used(MB):%d"%(long(mem['MemUsed'])/1024/1024))
print("Rate:%d%%"%(100*long(mem['MemUsed'])/float(mem['MemTotal'])))
§§§§§§§§§§§§§§§§§§§§§§§§§§
mem_rate.py
---------------------------------------------------
#!/usr/bin/python2.6
from ctypes import *
# Get Memory Info(Total, Used... Byte)
def get_memory_stat():
mem = {}
f = open("/proc/meminfo")
lines = f.readlines()
f.close()
for line in lines:
if len(line)< 2:continue
name = line.split(':')[0]
var = line.split(':')[1].split()[0]
mem[name]= long(var)* 1024.0
mem['MemUsed']= mem['MemTotal']- mem['MemFree']
# Return MemroyInfo Object
return mem
# Get Simple Memory Info
def get_memory_info(mem):
# Byte -> MB
n=1024* 1024
used=float(mem['MemUsed'])/ n
total=float(mem['MemTotal'])/ n
rate=used/total* 100
smp={'used':used,'total':total,'rate':rate}
return smp
# Display Current Memory Info
def print_memory_info(mem):
# Get SimpleMemory Info
smp=get_memory_info(mem)
print("Used(MB):%d\tTotal(MB):%d\tUsedRate:%d%%"%(smp['used'], smp['total'], smp['rate']))
# Get Rate Of Memory Used To Be Setted(Integer Formate)
def input_memory_used_rate(org_rate):
# Byte -> MB
n=1024* 1024
while(True):
mem=get_memory_stat()
print_memory_info(mem)
input_str=raw_input("Input UsedMemory`s Rate or q to exit:")
if(len(input_str)== 0):
continue
if("q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
if("Q"== input_str):
info={'rate':0,'used':mem['MemUsed']/ n}
return info
try:
rate=float(input_str)
if((rate>=org_rate)and (rate<=95)):
info={'rate':rate,'used':mem['MemUsed']/ n}
return info
else:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))
except:
print("Please inputa valid number(%d%%~95%%)."%(org_rate))
# Set Rate Of Memory Used
def set_memory_used_rate(new_rate, total, pre_used,list):
if(new_rate==0):
return None
dest_mem=total* new_rate /100.0
# 10MB
mb10=10485760
n_chg=10
# Free Memory OrAllocate Memory ?
is_new=dest_mem>pre_used
cur_used=pre_used
while(True):
# To Calc FreeMemory Or Allocate Memory ?
need_new=dest_mem-n_chg>=pre_used
need_del=dest_mem+n_chg<=pre_used
# Need To AllocateMemory
if(is_new):
if(need_new):
p=create_string_buffer(mb10)
list.append(p)
dest_mem=dest_mem-n_chg
cur_used=cur_used+n_chg
else:
return"end"
# Need To FreeMemory
else:
idx=len(list)-1
if(need_deland (idx>=0)):
p=list[idx]
del list[idx]
p=None
dest_mem=dest_mem+n_chg
cur_used=cur_used-n_chg
else:
return"end"
print("****** MemoryUsed(MB):%d"%(cur_used))
# Entry Of Program
# List Of Memory Object, 10MB Of One Object
list=[]
# Get Current Memory Info
mem=get_memory_stat()
# Get Simple Memory Info
smp=get_memory_info(mem)
org_rate=smp['rate']
total=smp['total']
while(True):
# Get Rate OfMemory To Be Used
info=input_memory_used_rate(org_rate)
new_rate=float(info['rate'])
pre_used=float(info['used'])
# Set Rate OfMemory To Be Used
rtn=set_memory_used_rate(new_rate, total, pre_used, list)
if(not rtn):
print("bye!")
exit()