Tensorflow加载预训练模型和保存模型

在使用过程中,我们需要使用训练后的模型文件。有时,我们可能还需要使用别人训练的模型,在此基础上再次训练。这时候,我们就需要掌握如何操作这些模型数据了。看完这篇文章,相信你会有所收获!

1 个模型文件

我们保存在目录中的文件结构如下:

1.@ >1 个元文件

.meta文件保存图结构,meta文件为pb()格式文件,包括变量、ops、sets等。

1.@>2 个 ckpt 文件

ckpt 文件是存储所有变量的二进制文件,例如 , , 等。在 0.11 之前保存在 **.ckpt** 文件中。 0.11后,通过两个文件保存,如:

1.@>3 个文件

我们也可以看到目录中有文件。该文件是一个文本文件,其中记录了最新保存的文件和其他文件的列表。当时可以通过修改这个文件来指定使用哪个模型

2 保存模型

提供了 tf.train.Saver 类来保存模型。值得注意的是,变量存在于环境中,也就是说变量值只会存在于环境中。因此,保存模型时,需要传入:

1 saver = tf.train.Saver()
2 saver.save(sess,"./checkpoint_dir/MyModel")

看一个简单的例子:

1 import tensorflow as tf
2 
3 w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')
4 w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')
5 saver = tf.train.Saver()
6 sess = tf.Session()
7 sess.run(tf.global_variables_initializer())
8 saver.save(sess, './checkpoint_dir/MyModel')

执行后,在目录下创建模型文件如下:

1 checkpoint
2 MyModel.data-00000-of-00001
3 MyModel.index
4 MyModel.meta

另外,如果要在 1000 次迭代后保存模型,只需设置参数:

1.0@>

保存的模型文件名后面会加-1000,如下:

1.1@>

在实际训练中,我们可能每1000次迭代保存一次模型数据,但是由于graph是不变的,不需要每次都保存,可以通过以下方式指定不保存图片:

1.2@>

另一个更实用的是,如果您想每 2 小时保存一次模型,并且只保存最后 5 个模型文件:

1.3@>

注意:默认只保存最后5个模型文件,如果要保存更多,可以指定

如果我们不为 tf.train.Saver 指定任何参数,则默认保存所有变量。如果您不想保存所有变量,而只想保存其中的一部分,您可以指定 /。在创建 tf.train.Saver 实例时,构造一个列表或将要保存的变量传递给 Saver:

1.4@>

3 导入训练好的模型

正如我们在第 1 节中介绍的那样,绘图和变量数据保存为单独的文件。所以在导入模型的时候也分为两步:构建网络图和加载参数

1.5@>1 构建网络图

比较笨的方法是,手动敲代码,实现和模型一样的图结构。其实既然我们已经保存了图,就不用再写一次图结构代码了。

1.6@>

上面这行代码加载图片

1.5@>2 加载参数

光有图是没有用的,更重要的是我们需要之前训练好的模型参数(ie等),正如本文第2节提到的,变量值需要依赖,所以在加载参数的时候,先构造OK:

1.8@>

此时,W1 和 W2 被加载到图中,可以访问了:

1.9@>

执行后,打印如下:[ 0. -0.]

4 使用恢复的模型

我们更早了解了如何保存和恢复模型,很多时候,我们想使用一些已经训练好的模型,例如,fine-and 等。这时候,我们可能需要获取一些中间结果值在训练好的模型中,可以通过graph.(‘w1:0’)得到。请注意 w1:0 是名称。

假设我们有一个简单的网络模型,代码如下:

 1 import tensorflow as tf
 2 
 3 
 4 w1 = tf.placeholder("float", name="w1")
 5 w2 = tf.placeholder("float", name="w2")
 6 b1= tf.Variable(2.0,name="bias") 
 7 
 8 #定义一个op,用于后面恢复
 9 w3 = tf.add(w1,w2)
10 w4 = tf.multiply(w3,b1,name="op_to_restore")
11 sess = tf.Session()
12 sess.run(tf.global_variables_initializer())
13 
14 #创建一个Saver对象,用于保存所有变量
15 saver = tf.train.Saver()
16 
17 #通过传入数据,执行op
18 print(sess.run(w4,feed_dict ={w1:4,w2:8}))
19 #打印 24.0 ==>(w1+w2)*b1
20 
21 #现在保存模型
22 saver.save(sess, './checkpoint_dir/MyModel',global_step=1000)

接下来我们使用 graph.() 方法来操作这个 Saved 模型。

 1 import tensorflow as tf
 2 
 3 sess=tf.Session()
 4 #先加载图和参数变量
 5 saver = tf.train.import_meta_graph('./checkpoint_dir/MyModel-1000.meta')
 6 saver.restore(sess, tf.train.latest_checkpoint('./checkpoint_dir'))
 7 
 8 
 9 # 访问placeholders变量,并且创建feed-dict来作为placeholders的新值
10 graph = tf.get_default_graph()
11 w1 = graph.get_tensor_by_name("w1:0")
12 w2 = graph.get_tensor_by_name("w2:0")
13 feed_dict ={w1:13.0,w2:17.0}
14 
15 #接下来,访问你想要执行的op
16 op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
17 
18 print(sess.run(op_to_restore,feed_dict))
19 #打印结果为60.0==>(13+17)*2

如果你不仅使用训练好的模型,还要添加一些ops,或者添加一些并训练新模型,可以通过一个简单的来看看如何操作:

 1 import tensorflow as tf
 2 
 3 sess = tf.Session()
 4 # 先加载图和变量
 5 saver = tf.train.import_meta_graph('my_test_model-1000.meta')
 6 saver.restore(sess, tf.train.latest_checkpoint('./'))
 7 
 8 # 访问placeholders变量,并且创建feed-dict来作为placeholders的新值
 9 graph = tf.get_default_graph()
10 w1 = graph.get_tensor_by_name("w1:0")
11 w2 = graph.get_tensor_by_name("w2:0")
12 feed_dict = {w1: 13.0, w2: 17.0}
13 
14 #接下来,访问你想要执行的op
15 op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
16 
17 # 在当前图中能够加入op
18 add_on_op = tf.multiply(op_to_restore, 2)
19 
20 print (sess.run(add_on_op, feed_dict))
21 # 打印120.0==>(13+17)*2*2

如果你只想恢复部分图形,然后添加其他操作进行精细-。只需通过graph.()方法得到需要的op,在此基础上构建图即可。让我们看一个简单的例子。假设我们需要使用训练好的VGG网络中的图,修改最后一层,将输出变为2。对于fine-new数据:

 1 ......
 2 ......
 3 saver = tf.train.import_meta_graph('vgg.meta')
 4 # 访问图
 5 graph = tf.get_default_graph() 
 6  
 7 #访问用于fine-tuning的output
 8 fc7= graph.get_tensor_by_name('fc7:0')
 9  
10 #如果你想修改最后一层梯度,需要如下
11 fc7 = tf.stop_gradient(fc7) # It's an identity function
12 fc7_shape= fc7.get_shape().as_list()
13 
14 new_outputs=2
15 weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05))
16 biases = tf.Variable(tf.constant(0.05, shape=[num_outputs]))
17 output = tf.matmul(fc7, weights) + biases
18 pred = tf.nn.softmax(output)
19 
20 # Now, you run this with fine-tuning data in sess.run()

© 版权声明
THE END
喜欢就支持一下吧
点赞5 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片