遇到的问题
当时自己在使用Alexnet训练图像分类问题时,会出现损失在一个epoch中增加,换做下一个epoch时loss会骤然降低,一开始这个问题没有一点头绪,我数据也打乱了,使用的是tf.train.shuffle_batch
在capacity中设置一个值,比如是1000吧,每次取一千个数据后将这一千个数据打乱,本次使用的数据集就是每个种类1000多,而我加载数据时是一类一类加载的,这就造成了每一批次的开始可以跟前一类数据做打乱处理,但是在中间数据并不能达到充分的shuffle
解决问题
在加载数据集的时候用numpy中的shuffle将数据集充分的打乱后在读入tfrecord中,之后读取的时候使用tf.tain.shuffle_batch和使用tf.train.batch就没有区别了。另外capacity这个数值不益设置过大,会对自己的电脑造成压力。
补充知识:MATLAB中使用AlexNet、VGG、GoogLeNet进行迁移学习
直接贴代码,具体用法见注释:
clc;clear; net = alexnet; %加载在ImageNet上预训练的网络模型 imageInputSize = [227 227 3]; %加载图像 allImages = imageDatastore('.\data227Alexnet',... 'IncludeSubfolders',true,... 'LabelSource','foldernames'); %划分训练集和验证集 [training_set,validation_set] = splitEachLabel(allImages,0.7,'randomized'); %由于原始网络全连接层1000个输出,显然不适用于我们的分类任务,因此在这里替换 layersTransfer = net.Layers(1:end-3); categories(training_set.Labels) numClasses = numel(categories(training_set.Labels)); %新的网络 layers = [ layersTransfer fullyConnectedLayer(numClasses,'Name', 'fc','WeightLearnRateFactor',1,'BiasLearnRateFactor',1) softmaxLayer('Name', 'softmax') classificationLayer('Name', 'classOutput')]; lgraph = layerGraph(layers); plot(lgraph) %对数据集进行扩增 augmented_training_set = augmentedImageSource(imageInputSize,training_set); opts = trainingOptions('adam', ... 'MiniBatchSize', 32,... % mini batch size, limited by GPU RAM, default 100 on Titan, 500 on P6000 'InitialLearnRate', 1e-4,... % fixed learning rate 'LearnRateSchedule','piecewise',... 'LearnRateDropFactor',0.25,... 'LearnRateDropPeriod',10,... 'L2Regularization', 1e-4,... constraint 'MaxEpochs',20,.. 'ExecutionEnvironment', 'gpu',... 'ValidationData', validation_set,... 'ValidationFrequency',80,... 'ValidationPatience',8,... 'Plots', 'training-progress') net = trainNetwork(augmented_training_set, lgraph, opts); save Alex_Public_32.mat net [predLabels,predScores] = classify(net, validation_set); plotconfusion(validation_set.Labels, predLabels) PerItemAccuracy = mean(predLabels == validation_set.Labels); title(['overall per image accuracy ',num2str(round(100*PerItemAccuracy)),'%'])
MATLAB中训练神经网络一个非常大的优势就是训练过程中各项指标的可视化,并且最终也会生成一个混淆矩阵显示验证集的结果。
以上这篇解决Alexnet训练模型在每个epoch中准确率和loss都会一升一降问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 【雨果唱片】中国管弦乐《鹿回头》WAV
- APM亚流新世代《一起冒险》[FLAC/分轨][106.77MB]
- 崔健《飞狗》律冻文化[WAV+CUE][1.1G]
- 罗志祥《舞状元 (Explicit)》[320K/MP3][66.77MB]
- 尤雅.1997-幽雅精粹2CD【南方】【WAV+CUE】
- 张惠妹.2007-STAR(引进版)【EMI百代】【WAV+CUE】
- 群星.2008-LOVE情歌集VOL.8【正东】【WAV+CUE】
- 罗志祥《舞状元 (Explicit)》[FLAC/分轨][360.76MB]
- Tank《我不伟大,至少我能改变我。》[320K/MP3][160.41MB]
- Tank《我不伟大,至少我能改变我。》[FLAC/分轨][236.89MB]
- CD圣经推荐-夏韶声《谙2》SACD-ISO
- 钟镇涛-《百分百钟镇涛》首批限量版SACD-ISO
- 群星《继续微笑致敬许冠杰》[低速原抓WAV+CUE]
- 潘秀琼.2003-国语难忘金曲珍藏集【皇星全音】【WAV+CUE】
- 林东松.1997-2039玫瑰事件【宝丽金】【WAV+CUE】