利用Python如何实时检测自身内存占用

脚本专栏 2024/11/17 佚名

2 0 1

神剑山庄资源网 Design By www.hcban.com

前言

最近在做文本统计，用 Python 实现，遇到了一个比较有意思的难题——如何保存统计结果。

直接写入内存实在是放不下，十几个小时后内存耗尽，程序被迫关闭。如果直接写入数据库吧，每次写入又太慢了，本来就十几个小时了，这样下去就要往星期上数了，也不是个办法。

解决方案

最后，我想到了一个两者兼顾的方案——用内存做缓冲，达到一定量之后一次性将当前所有数据合并到硬盘里。

但这样就有一个阈值，如何确定同步硬盘的时机，通常可以按照文件粒度进行处理，比如处理一个语料文件同步一次……但我的语料有大有小，大的有10GB，根本等不到那一刻内存就爆炸了，后来我想用统计数据量进行判断……可这又有点难以估计，小了吧频繁写入，缓存的意义就不大了，大了吧还没等到条目数量达到，内存就已经爆满。另外考虑到将来程序会运行在不同配置的设备上，让其他开发者根据自身情况计算这个阈值也有点太不友好，于是我想到了一个办法——不如让 Python 自己检测自己的内存占用，如果快满了（或者达到阈值），就同步写入硬盘一次。

对于其他开发者来说，自身设备的内存多大是很容易查看的，根据系统运行状况设置一个合理的阈值，相当方便。

要用 Python 监控自身内存占用，要使用 psutil 这个库来和系统进行交互，基本逻辑就是先拿到自己的 pid ，然后根据这个 pid 去跟系统获取进程信息。

def get_current_memory_gb() -> int:
# 获取当前进程内存占用。
pid = os.getpid()
p = psutil.Process(pid)
info = p.memory_full_info()
return info.uss / 1024. / 1024. / 1024.

比如我系统是 32GB 内存，那么我设置个 20GB 就相当安全，用 Python 进行统计语料，数据多到进程占用 20GB 内存了，就把当前的数据写入硬盘，同步统计数据，然后清空程序里的字典缓存释放内存。

python之psutil

psutil是个跨平台库，能够轻松实现获取系统运行的进程和系统利用率，包括CPU、内存、磁盘、网络等信息。

Linux系统下的安装

pip install psutil

总结

python,内存泄漏,python检测内存

标签：

python,内存泄漏,python检测内存

神剑山庄资源网 Design By www.hcban.com

神剑山庄资源网 免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

神剑山庄资源网 Design By www.hcban.com

评论“利用Python如何实时检测自身内存占用”

暂无利用Python如何实时检测自身内存占用的评论...

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。

艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒经典版》的玩家都可以获得奖励。

更新日志

2024年11月17日

利用Python如何实时检测自身内存占用

python,内存泄漏,python检测内存

vscode写python时的代码错误提醒和自动格式化的方法

基于python计算并显示日间、星期客流高峰

评论“利用Python如何实时检测自身内存占用”

《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线

更新日志

友情链接