神剑山庄资源网 Design By www.hcban.com
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。
因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:
- 如何读取完整的大文件,而不会出现内存不足memery error等问题
- 将读取出来的文件,保存为npy文件
- 根据词找到对应的向量
解决办法:
尝试使用的代码:
代码1: try: lines=np.loadtxt(filepath) catch: 感觉这块不会写了咦,,, print(ValueError) 但这样的话,它就不会继续循环去读上边的txt了呢
代码2: lines=[] with open(filepath) as f: for line in f: lines.append(line) np.save(filepath,lines)
代码3 def readEmbedFile(embedFile): # embedId = {} # input = open(embedFile,'r',encoding="utf-8") # lines = [] # a=0 # for line in input: # lines.append(line) # a=a+1 # print(a) # nwords = len(lines) - 1 # splits = lines[1].strip().split(' ') # 因为第一行是统计信息,所以用第二行 # dim = len(splits) - 1 # embeddings=[] # # embeddings = [[0 for col in range(dim)] for row in range(nwords)] # b=0 # for lineId in range(len(lines)): # b=b+1 # print(b) # splits = lines[lineId].split(' ') # if len(splits) > 2: # # embedId赋值 # embedId[splits[0]] = lineId # # embeddings赋值 # emb = [float(splits[i]) for i in range(1, 300)] # embeddings.append(emb) # return embedId, embeddings
代码4: def load_txt(filename): lines=[] vec_dict={} with open(filename,r) as f: for line in f: list=line.strip() lines.append(line) for i, line in emuate(lines): if i=0: continue line=line.split(" ") wordID=line[0] wordvec=[float line[i] for i in range(1,300)] vec_dict[wordId]=np.array(wordvec) return vec_dict
具体内存不足主要的原因是:
我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:
print("str",sys.getsizeof("")) print("float",sys.getsizeof(1.1)) print("int",sys.getsizeof(1)) print("list",sys.getsizeof([])) print("tuple",sys.getsizeof(())) print("dic",sys.getsizeof([]))
str 49 float 24 int 28 list 64 tuple 48 dic 64
在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:
dic=list>str>tuple>int>float
读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:
然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]
心得:
距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
神剑山庄资源网 Design By www.hcban.com
神剑山庄资源网
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件!
如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
神剑山庄资源网 Design By www.hcban.com
暂无python获取txt文件词向量过程详解的评论...
更新日志
2024年12月27日
2024年12月27日
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]