大数据处理经常要用到一堆表格，然后需要把数据导入一个list中进行各种算法分析，简单讲一下自己的做法：
1.如何读取excel文件
网上的版本很多，在xlrd模块基础上，找到一些源码：
[python]view plain
importxdrlib,sys
importxlrd
defopen_excel(file="C:/Users/flyminer/Desktop/新建MicrosoftExcel工作表.xlsx"):
data=xlrd.open_workbook(file)
returndata
#根据索引获取Excel表格中的数据参数:file：Excel文件路径colnameindex：表头列名所在行的所以，by_index：表的索引
defexcel_table_byindex(file="C:/Users/flyminer/Desktop/新建MicrosoftExcel工作表.xlsx",colnameindex=0,by_index=0):
data=open_excel(file)
table=data.sheets()[by_index]
nrows=table.nrows#行数
ncols=table.ncols#列数
colnames=table.row_values(colnameindex)#某一行数据
list=[]
forrownuminrange(1,nrows):
row=table.row_values(rownum)
ifrow:
app={}
foriinrange(len(colnames)):
app[colnames[i]]=row[i]
list.append(app)
returnlist
#根据名称获取Excel表格中的数据参数:file：Excel文件路径colnameindex：表头列名所在行的所以，by_name：Sheet1名称
defexcel_table_byname(file="C:/Users/flyminer/Desktop/新建MicrosoftExcel工作表.xlsx",colnameindex=0,by_name=u'Sheet1'):
data=open_excel(file)
table=data.sheet_by_name(by_name)
nrows=table.nrows#行数
colnames=table.row_values(colnameindex)#某一行数据
list=[]
forrownuminrange(1,nrows):
row=table.row_values(rownum)
ifrow:
app={}
foriinrange(len(colnames)):
app[colnames[i]]=row[i]
list.append(app)
returnlist
defmain():
tables=excel_table_byindex()
forrowintables:
print(row)
tables=excel_table_byname()
forrowintables:
print(row)
if__name__=="__main__":
main()
最后一句让代码里的函数都可以被复用，简单地说：假设文件名是a，在程序中import a以后，就可以用a.excel_table_byname()和a.excel_table_byindex()这两个超级好用的函数了。
2.然后是遍历文件夹取得excel文件以及路径：，原创代码如下：
[python]view plain
importos
importxlrd
importtest_wy
xpath="E:/唐伟捷/电力/电力系统总文件夹/舟山电力"
xtype="xlsx"
typedata=[]
name=[]
raw_data=[]
file_path=[]
defcollect_xls(list_collect,type1):
#取得列表中所有的type文件
foreach_elementinlist_collect:
ifisinstance(each_element,list):
collect_xls(each_element,type1)
elifeach_element.endswith(type1):
typedata.insert(0,each_element)
returntypedata
#读取所有文件夹中的xls文件
defread_xls(path,type2):
#遍历路径文件夹
forfileinos.walk(path):
foreach_listinfile[2]:
file_path=file[0]+"/"+each_list
#os.walk()函数返回三个参数：路径，子文件夹，路径下的文件，利用字符串拼接file[0]和file[2]得到文件的路径
name.insert(0,file_path)
all_xls=collect_xls(name,type2)
#遍历所有type文件路径并读取数据
forevey_nameinall_xls:
xls_data=xlrd.open_workbook(evey_name)
foreach_sheetinxls_data.sheets():
sheet_data=test_wy.excel_table_byname(evey_name,0,each_sheet.name)
#请参考读取excel文件的代码
raw_data.insert(0,sheet_data)
print(each_sheet.name,":Datahasbeendone.")
returnraw_data
a=read_xls(xpath,xtype)
print("Victory")
B. 菜鸟求助xlrd安装问题
首先到kangle官方网站上下载最新的源代码。前提条件：请先确保你的系统上有g++,libz开发包,libpcre开发包,libiconv开发包(非linux版要).如你的系统为centos/rhel则运行下面命令安装这些包:1.yum-yinstallwgetmakegccgcc-c++pcre-develzlib-devel第一步下载源代码:下载后我们会得到kangle-x.y.z.tar.gz(x,y,z是版本号,以下命令请替换x,y,z为具体的版本号)以2.8.3版本为例：第一步，wget下载相应的压缩包第二步，解压：1.tarxzfkangle-2.8.3.tar.gz2.cdkangle-2.8.3第三步，配置:这一步用来配置kangle源代码。1../configure--prefix=/vhs/kangle--enable-disk-cache--enable-ipv6--enable-ssl--enable-vh-limit第四步编译安装:1.make2.makeinstall第五步启动kangle1./vhs/kangle/bin/kangle第六步进入kangle管理通过浏览器打开1.patibleinstall/usr/bin/install-:error:!Checkyoursystemclock[[email protected]]#make[[email protected]]#makeinstall[root@localhostkang这是你服务器上的时间不对。运行以下命令。1.find.|xargstouch
C. Python xlrd，xlrt读写Excel怎么识别删除线
导入
import xlrd
打开excel
data = xlrd.open_workbook('demo.xls') #注意这里的workbook首字母是小写
查看文件中包含sheet的名称
data.sheet_names()
得到第一个工作表，或者通过索引顺序 或 工作表名称
table = data.sheets()[0]
table = data.sheet_by_index(0)
table = data.sheet_by_name(u'Sheet1')
获取行数和列数
nrows = table.nrows
ncols = table.ncols
获取整行和整列的值（数组）
table.row_values(i)
table.col_values(i)
循环行,得到索引的列表
for rownum in range(table.nrows):
print table.row_values(rownum)
单元格
cell_A1 = table.cell(0,0).value
cell_C4 = table.cell(2,3).value
分别使用行列索引
cell_A1 = table.row(0)[0].value
cell_A2 = table.col(1)[0].value
简单的写入
row = 0
col = 0
ctype = 1 # 类型 0 empty,1 string, 2 number, 3 date, 4 boolean, 5 error
value = 'lixiaoluo'
xf = 0 # 扩展的格式化 (默认是0)
table.put_cell(row, col, ctype, value, xf)
table.cell(0,0) # 文本:u'lixiaoluo'
table.cell(0,0).value # 'lixiaoluo'
xlwt
http://pypi.python.org/pypi/xlrd
简单使用
导入xlwt
import xlwt
新建一个excel文件
file = xlwt.Workbook() #注意这里的Workbook首字母是大写，无语吧
新建一个sheet
table = file.add_sheet('sheet name')
写入数据table.write(行,列,value)
table.write(0,0,'test')
如果对一个单元格重复操作，会引发
returns error:# Exception: Attempt to overwrite cell:# sheetname=u'sheet 1' rowx=0 colx=0
所以在打开时加cell_overwrite_ok=True解决
table = file.add_sheet('sheet name',cell_overwrite_ok=True)
保存文件
file.save('demo.xls')
另外，使用style
style = xlwt.XFStyle() #初始化样式
font = xlwt.Font() #为样式创建字体
font.name = 'Times New Roman'
font.bold = True
style.font = font #为样式设置字体
table.write(0, 0, 'some bold Times text', style) # 使用样式
xlwt 允许单元格或者整行地设置格式。还可以添加链接以及公式。可以阅读源代码，那里有例子：
dates.py, 展示如何设置不同的数据格式
hyperlinks.py, 展示如何创建超链接 (hint: you need to use a formula)
merged.py, 展示如何合并格子
row_styles.py, 展示如何应用Style到整行格子中.
D. Python操作Excel实现自动化报表
Python操作Excel实现自动化报表
安装
python -m pip install xlrd xlwt xlutils。
基本用法
1.从指定文件路径读取excel表格，进行一定操作，然后保存到另一个excel文件：result.xlsx
import xlwt
import xlrd
from xlutils. import
import pandas as pd
from pandas import DataFrame,Series
import os
os.chdir('./')
# 从指定文件路径读取excel表格
df = pd.read_excel('D:/mypaper/data/data.xlsx')
# 查看df内容
# 根据age算出出生年份，增加一列
import datetime
import os
year = datetime.datetime.now().year#获取当前系统时间对应的年份
df['birth'] = year-df['age']
df.to_excel('result.xlsx')#保存到当前工作目录，可以用os.getcwd()查看
#查看下此时df的内容，可以看到已经生成了birth这一列。
2.单元格操作
# 定义方法：读取指定目录下Excel文件某个sheet单元格的值
def excel_read(file_path,table,x,y):
data = xlrd.open_workbook(file_path)
table = data.sheet_by_name(table)
return table.cell(y,x).value
# 定义方法：单元格值及样式
write_obj_list = []
def concat_obj(cols,rows,value):
write_obj_list.append({'cols':cols,'rows':rows,'value':value,
'style':xlwt.easyxf('font: name 宋体,height 280;alignment: horiz centre')})
# 定义方法：合并单元格
def merge_unit(srows,erows,scols,ecols,value):
write_obj_list.append({'id':'merge','srows':srows,'erows':erows,'scols':scols,
'ecols':ecols,'value':value,'style':xlwt.easyxf('font: name 宋体,height 280;alignment: horiz centre')})
# 定义方法：更新excel
excel_update(file_path,write_obj_list,new_path):
old_excel = xlrd.open_workbook(file_path, formatting_info=True)
#管道作用
new_excel = (old_excel)
'''
通过get_sheet()获取的sheet有write()方法
'''
sheet1 = new_excel.get_sheet(0)
'''
1代表是修改第几个工作表里，从0开始算是第一个。此处修改第一个工作表
'''
for item in write_obj_list:
if 'id' not in item.keys():
if 'style' in item.keys():
sheet1.write(item['rows'], item['cols'], item['value'],item['style'])
else:
sheet1.write(item['rows'], item['cols'], item['value'])
else:
if 'style' in item.keys():
sheet1.write_merge(item['srows'],item['erows'],item['scols'], item['ecols'], item['value'],item['style'])
else:
sheet1.write_merge(item['srows'],item['erows'],item['scols'], item['ecols'], item['value'])
'''
如果报错 dict_items has no attributes sort
把syle源码中--alist.sort() 修改为----> sorted(alist)
一共修改2次
'''
new_excel.save(file_path)
#参数详解
# srows:合并的起始行数
# erows:合并的结束行数
# scols:合并的起始列数
# ecols:合并的结束列数
# value:合并单元格后的填充值
# style:合并后填充风格：
# font: name 宋体
# height 280;
# alignment: horiz centre
# ... 与excel操作基本保持一致
(注意:该方法仅仅是将需要直行的动作保存到一个list中，真正的动作还未执行,执行动作是发生在excel_update方法中)
最终调用excel_update方法，传入每个单元格需要进行的操作和填充值的write_obj_list以及文件保存路径file_path,就可以在当前工作目录下生成想要的Excel结果文件。
注意：
1.write_obj_list支持用户自定义
2.write_obj_list也可以是根据excel_read方法读取现有待修改的excel文件（可以维持原有表格的格式）而生成
End
E. 如何用C#读取excel数据并写入到另一个excel
os.chdir（‘d：\\’）#里面的路径应该只有100个xls文档
for
i
in
os.popen('dir')
i=i.strip('\n')
#读取的每个文档都带有\n，应该去掉
table=xlrd.open(i)
#每获取一个文档名，打开一个
F. python如何实现读取excel中账号密码后自动登录网页并实现固定操作
这个有工作量的，需要比较多的调试时间。
另外程序也不能通用，个别步骤是需要针对网站进行适配
G. python的 xlrd 在AIX系统下打开文件特别慢
代码：
file_name='API.xlsx'
sheet_name='Sheet1'
def open_excel (file_name,sheet_name):
#根据当前文件的路径获取TestData文件的路径，并打开
file_name=os.path.abspath(os.path.dirname(os.getcwd())+os.path.sep+"..")+"\\"+file_name
data=xlrd.open_workbook(file_name)
table=data.sheet_by_name(sheet_name)
print sheet_name
print file_name
if __name__=="__main__":
open_excel(file_name,sheet_name)
H. 如何创建 python+requests接口自动化测试框架
需要对于读出来的数据进行相应的处理。 当然示例中只是简单列了一下关于POST,GET等二种方式，实际还有很多其它方式，如put,delete等，请求中也还会包括headers，这些都可以自忆添加上去。
I. excel怎么实现报表自动化
想实现报表自动化还得依靠BI工具去实现，Smartbi Excel分析就是面向Excel用户的数据分析工具，它结合了Excel的优点，解决了Excel的问题，真正做到赋能企业一线业务用户，让人人都是自助分析师，促进企业的全民数字化运营。