神剑山庄资源网

解决python执行较大excel文件openpyxl慢问题
脚本专栏 2024/11/18 佚名
2 0
神剑山庄资源网 Design By www.hcban.com

我就废话不多说了，大家还是直接看代码吧！

talk is cheap

  from openpyxl import Workbook
  from openpyxl.utils import get_column_letter
  from openpyxl import load_workbook
  import time
  wb = load_workbook("E:/a.xlsx", read_only=True)
  sh = wb["Sheet"]
  # rowItem = {}
  # for j in range(1,2000):
  #   for i in range(1, 30):
  #     rowItem[get_column_letter(i)] = i
  #   sh.append(rowItem)
  # wb.save("E:/a.xlsx")
  t0 = time.time()
  print(sh['V500'].value)
  t1 = time.time()
  print("openpyxl所用时间：", str(t1-t0))

  import xlrd
  xlsPath = "E:/a.xlsx"
  WorkBook = xlrd.open_workbook(xlsPath)
  sh = WorkBook.sheet_by_name("Sheet")

  t0 = time.time()
  print(sh.cell(499,22).value)
  t1 = time.time()
  print("xlrd所用时间：", str(t1-t0))

测试结果：

22
openpyxl所用时间： 0.44217610359191895
23.0
xlrd所用时间： 0.0010063648223876953

结论

openpyxl的慢是读取慢，可以选择xlrd代替，详细测试下面继续

不直接使用xlwt+xlrd是因为xlwt仅支持2003及以下版本，最大行数限制在65536，不够用，而openpyxl大概在一百多万

主要的说完了，下面详细说了：在写工具的时候遇到的这个问题，开始是用的xlwt+xlrd，然后行数超标了，没办法换成openpyxl使用excel2007的版本，原本测试不到三万行的数据，只要三四秒，换成openpyxl以后，花了好几分钟，具体没看多少了，然后加上函数运行时间的监视器以后，才看到是读取的时候出的问题

推测原因：

推测的话，openpyxl的根据行号列号读取的时候，是从第一行第一列开始遍历，直到行号等于指定行号，列号等于指定列号，所以要读取的行号列号越多就越慢，（也可能是从第一个有数据的行或列），而xlrd则是类似与数组一样，我们要取第几个元素，直接根据下标找到内存中对应地址的元素即可，所以无论excel总量多少，速度基本都是不变的

留下的坑

xlwt写入仅支持65536行，那xlrd的读取很可能也是，也就是超过这么多的数据可能也会出错

我这里因为是读多表数据生成单表数据，生成方式大概是Na*Nb这样，所以实际读取的不会太多，但生成的很多，所以基本可以用考虑这个问题

另外，据说xlrd读取xlsx格式的偶尔会出现问题，具体没测试，暂时用还没毛病

最后，顺带上一下监控函数运行时间的装饰器吧：

import time
from functools import wraps

def fn_timer(function):
  @wraps(function)
  def function_timer(*args, **kwargs):
    t0 = time.time()
    result = function(*args, **kwargs)
    t1 = time.time()
    print ("Total time running %s: %s seconds" %
      (function.__name__, str(t1-t0))
      )
    return result
  return function_timer

使用方式的话，就是在要监控的函数定义上面加上 @fn_timer 就行了

以上这篇解决python执行较大excel文件openpyxl慢问题就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

标签：
python,excel,openpyxl
神剑山庄资源网 Design By www.hcban.com
神剑山庄资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
神剑山庄资源网 Design By www.hcban.com

评论“解决python执行较大excel文件openpyxl慢问题”

暂无解决python执行较大excel文件openpyxl慢问题的评论...
www.hcban.com 神剑山庄资源网
139,976影音资源
144,792福利资源
21,817软件资源
631,128技术资源

更新日志

友情链接

杰晶网络 DDR爱好者之家 桃源资源网 杰网资源 富贵资源网 南强小屋 铁雪资源网 幽灵资源网 万梅资源网 狼山资源网 白云岛资源网 昆仑资源网 相思资源网 明霞山资源网 内蒙古资源网 黑松山资源网 茶园资源网 饿虎岗资源网 大旗谷资源网 常春岛资源网 岱庙资源网 兴国资源网 快活林资源网 蝙蝠岛资源网 帝王谷资源网 白云城资源网 伏龙阁资源网 清风细雨楼 天枫庄资源网 圆月山庄资源网 无争山庄资源网 神水资源网 移花宫资源网 神剑山庄资源网 无为清净楼资源网 金钱帮资源网 丐帮资源网 华山资源网 极乐门资源网 小李飞刀资源网 凤求凰客栈 风云阁资源网 金狮镖局 鸳鸯亭资源网 千金楼资源网 更多链接
神剑山庄资源网 Design By www.hcban.com