未加星标

TensorFlow和Keras解决大数据量内存溢出问题

字体大小 | |
[大数据技术 所属分类 大数据技术 | 发布者 店小二03 | 时间 | 作者 红领巾 ] 0人收藏点击收藏

以前做的练手小项目导致新手产生一个惯性思维——读取训练集图片的时候把所有图读到内存中,然后分批训练。

其实这是有问题的,很容易导致OOM。现在内存一般16G,而训练集图片通常是上万张,而且RGB图,还很大,VGG16的图片一般是224x224x3,上万张图片,16G内存根本不够用。这时候又会想起——设置batch,但是那个batch的输入参数却又是图片,它只是把传进去的图片分批送到显卡,而我OOM的地方恰是那个“传进去”的图片,怎么办?

解决思路其实说来也简单,打破思维定式就好了,不是把所有图片读到内存中,而是只把所有图片的路径一次性读到内存中。

TensorFlow和Keras解决大数据量内存溢出问题
大致的解决思路为:

将上万张图片的路径一次性读到内存中,自己实现一个分批读取函数,在该函数中根据自己的内存情况设置读取图片,只把这一批图片读入内存中,然后交给模型,模型再对这一批图片进行分批训练,因为内存一般大于等于显存,所以内存的批次大小和显存的批次大小通常不相同。

下面代码分别介绍Tensorflow和Keras分批将数据读到内存中的关键函数。Tensorflow对初学者不太友好,所以我个人现阶段更习惯用它的高层API Keras来做相关项目,下面的TF实现是之前不会用Keras分批读时候参考的一些列资料,在模型训练上仍使用Keras,只有分批读取用了TF的API。

TensorFlow

在input.py里写get_batch函数。

defget_batch(X_train,y_train,img_w,img_h,color_type,batch_size,capacity):
'''
Args:
X_train:trainimgpathlist
y_train:trainlabelslist
img_w:imagewidth
img_h:imageheight
batch_size:batchsize
capacity:themaximumelementsinqueue
Returns:
X_train_batch:4Dtensor[batch_size,width,height,chanel],\
dtype=tf.float32
y_train_batch:1Dtensor[batch_size],dtype=int32
'''
X_train=tf.cast(X_train,tf.string)
y_train=tf.cast(y_train,tf.int32)
#makeaninputqueue
input_queue=tf.train.slice_input_producer([X_train,y_train])
y_train=input_queue[1]
X_train_contents=tf.read_file(input_queue[0])
X_train=tf.image.decode_jpeg(X_train_contents,channels=color_type)
X_train=tf.image.resize_images(X_train,[img_h,img_w], tf.image.ResizeMethod.NEAREST_NEIGHBOR)
X_train_batch,y_train_batch=tf.train.batch([X_train,y_train], batch_size=batch_size, num_threads=64, capacity=capacity)
y_train_batch=tf.one_hot(y_train_batch,10) returnX_train_batch,y_train_batch

在train.py文件中训练(下面不是纯TF代码,model.fit是Keras的拟合,用纯TF的替换就好了)。

X_train_batch,y_train_batch=inp.get_batch(X_train,y_train, img_w,img_h,color_type, train_batch_size,capacity)
X_valid_batch,y_valid_batch=inp.get_batch(X_valid,y_valid, img_w,img_h,color_type, valid_batch_size,capacity)withtf.Session()assess:
coord=tf.train.Coordinator()
threads=tf.train.start_queue_runners(coord=coord)
try:
forstepinnp.arange(max_step):
ifcoord.should_stop():
break
X_train,y_train=sess.run([X_train_batch, y_train_batch])
X_valid,y_valid=sess.run([X_valid_batch, y_valid_batch])

ckpt_path='log/weights-{val_loss:.4f}.hdf5'
ckpt=tf.keras.callbacks.ModelCheckpoint(ckpt_path, monitor='val_loss', verbose=1, save_best_only=True, mode='min')
model.fit(X_train,y_train,batch_size=64, epochs=50,verbose=1,validation_data=(X_valid,y_valid),callbacks=[ckpt])
delX_train,y_train,X_valid,y_valid
excepttf.errors.OutOfRangeError:
print('done!') finally:
coord.request_stop()
coord.join(threads)
sess.close()

Keras

keras文档中对fit、predict、evaluate这些函数都有一个generator,这个generator就是解决分批问题的。

关键函数:fit_generator

#读取图片函数
defget_im_cv2(paths,img_rows,img_cols,color_type=1,normalize=True):
'''
参数:
paths:要读取的图片路径列表
img_rows:图片行
img_cols:图片列
color_type:图片颜色通道
返回:
imgs:图片数组
'''
#Loadasgrayscale
imgs=[] forpathinpaths:
ifcolor_type==1:
img=cv2.imread(path,0)
elifcolor_type==3:
img=cv2.imread(path)
#Reducesize
resized=cv2.resize(img,(img_cols,img_rows))
ifnormalize:
resized=resized.astype('float32')
resized/=127.5
resized-=1.

imgs.append(resized)
returnnp.array(imgs).reshape(len(paths),img_rows,img_cols,color_type)

获取批次函数,其实就是一个generator

defget_train_batch(X_train,y_train,batch_size,img_w,img_h,color_type,is_argumentation):
'''
参数:
X_train:所有图片路径列表
y_train:所有图片对应的标签列表
batch_size:批次
img_w:图片宽
img_h:图片高
color_type:图片类型
is_argumentation:是否需要数据增强
返回:
一个generator,
x:获取的批次图片
y:获取的图片对应的标签
'''
while1:
foriinrange(0,len(X_train),batch_size):
x=get_im_cv2(X_train[i:i+batch_size],img_w,img_h,color_type)
y=y_train[i:i+batch_size]
ifis_argumentation:
#数据增强
x,y=img_augmentation(x,y)
#最重要的就是这个yield,它代表返回,返回以后循环还是会继续,然后再返回。就比如有一个机器一直在作累加运算,但是会把每次累加中间结果告诉你一样,直到把所有数加完
yield({'input':x},{'output':y})

训练函数

result=model.fit_generator(generator=get_train_batch(X_train,y_train,train_batch_size,img_w,img_h,color_type,True),
steps_per_epoch=1351,
epochs=50,verbose=1,
validation_data=get_train_batch(X_valid,y_valid,valid_batch_size,img_w,img_h,color_type,False),
validation_steps=52,
callbacks=[ckpt,early_stop],
max_queue_size=capacity,
workers=1)

就是这么简单。但是当初从0到1的过程很难熬,每天都没有进展,没有头绪,急躁占据了思维的大部,熬过了这个阶段,就会一切顺利,不是运气,而是踩过的从0到1的每个脚印累积的灵感的爆发,从0到1的脚印越多,后面的路越顺利。


TensorFlow和Keras解决大数据量内存溢出问题
主题: 数据REST显卡其实大数据
分页:12
转载请注明
本文标题:TensorFlow和Keras解决大数据量内存溢出问题
本站链接:http://www.codesec.net/view/576405.html
分享请点击:


1.凡CodeSecTeam转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责;
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性,不作出任何保证或承若;
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。
登录后可拥有收藏文章、关注作者等权限...
技术大类 技术大类 | 大数据技术 | 评论(0) | 阅读(32)