在使用过程中,我们需要使用训练后的模型文件。有时,我们可能还需要使用别人训练的模型,在此基础上再次训练。这时候,我们就需要掌握如何操作这些模型数据了。看完这篇文章,相信你会有所收获!
1 个模型文件
我们保存在目录中的文件结构如下:
1.@ >1 个元文件
.meta文件保存图结构,meta文件为pb()格式文件,包括变量、ops、sets等。
1.@>2 个 ckpt 文件
ckpt 文件是存储所有变量的二进制文件,例如 , , 等。在 0.11 之前保存在 **.ckpt** 文件中。 0.11后,通过两个文件保存,如:
1.@>3 个文件
我们也可以看到目录中有文件。该文件是一个文本文件,其中记录了最新保存的文件和其他文件的列表。当时可以通过修改这个文件来指定使用哪个模型
2 保存模型
提供了 tf.train.Saver 类来保存模型。值得注意的是,变量存在于环境中,也就是说变量值只会存在于环境中。因此,保存模型时,需要传入:
1 saver = tf.train.Saver() 2 saver.save(sess,"./checkpoint_dir/MyModel")
看一个简单的例子:
1 import tensorflow as tf 2 3 w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1') 4 w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2') 5 saver = tf.train.Saver() 6 sess = tf.Session() 7 sess.run(tf.global_variables_initializer()) 8 saver.save(sess, './checkpoint_dir/MyModel')
执行后,在目录下创建模型文件如下:
1 checkpoint 2 MyModel.data-00000-of-00001 3 MyModel.index 4 MyModel.meta
另外,如果要在 1000 次迭代后保存模型,只需设置参数:
1.0@>
保存的模型文件名后面会加-1000,如下:
1.1@>
在实际训练中,我们可能每1000次迭代保存一次模型数据,但是由于graph是不变的,不需要每次都保存,可以通过以下方式指定不保存图片:
1.2@>
另一个更实用的是,如果您想每 2 小时保存一次模型,并且只保存最后 5 个模型文件:
1.3@>
注意:默认只保存最后5个模型文件,如果要保存更多,可以指定
如果我们不为 tf.train.Saver 指定任何参数,则默认保存所有变量。如果您不想保存所有变量,而只想保存其中的一部分,您可以指定 /。在创建 tf.train.Saver 实例时,构造一个列表或将要保存的变量传递给 Saver:
1.4@>
3 导入训练好的模型
正如我们在第 1 节中介绍的那样,绘图和变量数据保存为单独的文件。所以在导入模型的时候也分为两步:构建网络图和加载参数
1.5@>1 构建网络图
比较笨的方法是,手动敲代码,实现和模型一样的图结构。其实既然我们已经保存了图,就不用再写一次图结构代码了。
1.6@>
上面这行代码加载图片
1.5@>2 加载参数
光有图是没有用的,更重要的是我们需要之前训练好的模型参数(ie等),正如本文第2节提到的,变量值需要依赖,所以在加载参数的时候,先构造OK:
1.8@>
此时,W1 和 W2 被加载到图中,可以访问了:
1.9@>
执行后,打印如下:[ 0. -0.]
4 使用恢复的模型
我们更早了解了如何保存和恢复模型,很多时候,我们想使用一些已经训练好的模型,例如,fine-and 等。这时候,我们可能需要获取一些中间结果值在训练好的模型中,可以通过graph.(‘w1:0’)得到。请注意 w1:0 是名称。
假设我们有一个简单的网络模型,代码如下:
1 import tensorflow as tf 2 3 4 w1 = tf.placeholder("float", name="w1") 5 w2 = tf.placeholder("float", name="w2") 6 b1= tf.Variable(2.0,name="bias") 7 8 #定义一个op,用于后面恢复 9 w3 = tf.add(w1,w2) 10 w4 = tf.multiply(w3,b1,name="op_to_restore") 11 sess = tf.Session() 12 sess.run(tf.global_variables_initializer()) 13 14 #创建一个Saver对象,用于保存所有变量 15 saver = tf.train.Saver() 16 17 #通过传入数据,执行op 18 print(sess.run(w4,feed_dict ={w1:4,w2:8})) 19 #打印 24.0 ==>(w1+w2)*b1 20 21 #现在保存模型 22 saver.save(sess, './checkpoint_dir/MyModel',global_step=1000)
接下来我们使用 graph.() 方法来操作这个 Saved 模型。
1 import tensorflow as tf 2 3 sess=tf.Session() 4 #先加载图和参数变量 5 saver = tf.train.import_meta_graph('./checkpoint_dir/MyModel-1000.meta') 6 saver.restore(sess, tf.train.latest_checkpoint('./checkpoint_dir')) 7 8 9 # 访问placeholders变量,并且创建feed-dict来作为placeholders的新值 10 graph = tf.get_default_graph() 11 w1 = graph.get_tensor_by_name("w1:0") 12 w2 = graph.get_tensor_by_name("w2:0") 13 feed_dict ={w1:13.0,w2:17.0} 14 15 #接下来,访问你想要执行的op 16 op_to_restore = graph.get_tensor_by_name("op_to_restore:0") 17 18 print(sess.run(op_to_restore,feed_dict)) 19 #打印结果为60.0==>(13+17)*2
如果你不仅使用训练好的模型,还要添加一些ops,或者添加一些并训练新模型,可以通过一个简单的来看看如何操作:
1 import tensorflow as tf 2 3 sess = tf.Session() 4 # 先加载图和变量 5 saver = tf.train.import_meta_graph('my_test_model-1000.meta') 6 saver.restore(sess, tf.train.latest_checkpoint('./')) 7 8 # 访问placeholders变量,并且创建feed-dict来作为placeholders的新值 9 graph = tf.get_default_graph() 10 w1 = graph.get_tensor_by_name("w1:0") 11 w2 = graph.get_tensor_by_name("w2:0") 12 feed_dict = {w1: 13.0, w2: 17.0} 13 14 #接下来,访问你想要执行的op 15 op_to_restore = graph.get_tensor_by_name("op_to_restore:0") 16 17 # 在当前图中能够加入op 18 add_on_op = tf.multiply(op_to_restore, 2) 19 20 print (sess.run(add_on_op, feed_dict)) 21 # 打印120.0==>(13+17)*2*2
如果你只想恢复部分图形,然后添加其他操作进行精细-。只需通过graph.()方法得到需要的op,在此基础上构建图即可。让我们看一个简单的例子。假设我们需要使用训练好的VGG网络中的图,修改最后一层,将输出变为2。对于fine-new数据:
1 ...... 2 ...... 3 saver = tf.train.import_meta_graph('vgg.meta') 4 # 访问图 5 graph = tf.get_default_graph() 6 7 #访问用于fine-tuning的output 8 fc7= graph.get_tensor_by_name('fc7:0') 9 10 #如果你想修改最后一层梯度,需要如下 11 fc7 = tf.stop_gradient(fc7) # It's an identity function 12 fc7_shape= fc7.get_shape().as_list() 13 14 new_outputs=2 15 weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05)) 16 biases = tf.Variable(tf.constant(0.05, shape=[num_outputs])) 17 output = tf.matmul(fc7, weights) + biases 18 pred = tf.nn.softmax(output) 19 20 # Now, you run this with fine-tuning data in sess.run()
暂无评论内容