Tensorflow加载预训练模型和保存模型

在使用过程中，我们需要使用训练后的模型文件。有时，我们可能还需要使用别人训练的模型，在此基础上再次训练。这时候，我们就需要掌握如何操作这些模型数据了。看完这篇文章，相信你会有所收获！

1 个模型文件

我们保存在目录中的文件结构如下：

1.@ >1 个元文件

.meta文件保存图结构，meta文件为pb()格式文件，包括变量、ops、sets等。

1.@>2 个 ckpt 文件

ckpt 文件是存储所有变量的二进制文件，例如 , , 等。在 0.11 之前保存在 **.ckpt** 文件中。 0.11后，通过两个文件保存，如：

1.@>3 个文件

我们也可以看到目录中有文件。该文件是一个文本文件，其中记录了最新保存的文件和其他文件的列表。当时可以通过修改这个文件来指定使用哪个模型

2 保存模型

提供了 tf.train.Saver 类来保存模型。值得注意的是，变量存在于环境中，也就是说变量值只会存在于环境中。因此，保存模型时，需要传入：

1 saver = tf.train.Saver()
2 saver.save(sess,"./checkpoint_dir/MyModel")

看一个简单的例子：

1 import tensorflow as tf
2 
3 w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')
4 w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')
5 saver = tf.train.Saver()
6 sess = tf.Session()
7 sess.run(tf.global_variables_initializer())
8 saver.save(sess, './checkpoint_dir/MyModel')

执行后，在目录下创建模型文件如下：

1 checkpoint
2 MyModel.data-00000-of-00001
3 MyModel.index
4 MyModel.meta

另外，如果要在 1000 次迭代后保存模型，只需设置参数：

1.0@>

保存的模型文件名后面会加-1000，如下：

1.1@>

在实际训练中，我们可能每1000次迭代保存一次模型数据，但是由于graph是不变的，不需要每次都保存，可以通过以下方式指定不保存图片：

1.2@>

另一个更实用的是，如果您想每 2 小时保存一次模型，并且只保存最后 5 个模型文件：

1.3@>

注意：默认只保存最后5个模型文件，如果要保存更多，可以指定

如果我们不为 tf.train.Saver 指定任何参数，则默认保存所有变量。如果您不想保存所有变量，而只想保存其中的一部分，您可以指定 /。在创建 tf.train.Saver 实例时，构造一个列表或将要保存的变量传递给 Saver：

1.4@>

3 导入训练好的模型

正如我们在第 1 节中介绍的那样，绘图和变量数据保存为单独的文件。所以在导入模型的时候也分为两步：构建网络图和加载参数

1.5@>1 构建网络图

比较笨的方法是，手动敲代码，实现和模型一样的图结构。其实既然我们已经保存了图，就不用再写一次图结构代码了。

1.6@>

上面这行代码加载图片

1.5@>2 加载参数

光有图是没有用的，更重要的是我们需要之前训练好的模型参数（ie等），正如本文第2节提到的，变量值需要依赖，所以在加载参数的时候，先构造OK：

1.8@>

此时，W1 和 W2 被加载到图中，可以访问了：

1.9@>

执行后，打印如下：[ 0. -0.]

4 使用恢复的模型

我们更早了解了如何保存和恢复模型，很多时候，我们想使用一些已经训练好的模型，例如，fine-and 等。这时候，我们可能需要获取一些中间结果值在训练好的模型中，可以通过graph.(‘w1:0’)得到。请注意 w1:0 是名称。

假设我们有一个简单的网络模型，代码如下：

 1 import tensorflow as tf
 2 
 3 
 4 w1 = tf.placeholder("float", name="w1")
 5 w2 = tf.placeholder("float", name="w2")
 6 b1= tf.Variable(2.0,name="bias") 
 7 
 8 #定义一个op，用于后面恢复
 9 w3 = tf.add(w1,w2)
10 w4 = tf.multiply(w3,b1,name="op_to_restore")
11 sess = tf.Session()
12 sess.run(tf.global_variables_initializer())
13 
14 #创建一个Saver对象，用于保存所有变量
15 saver = tf.train.Saver()
16 
17 #通过传入数据，执行op
18 print(sess.run(w4,feed_dict ={w1:4,w2:8}))
19 #打印 24.0 ==>(w1+w2)*b1
20 
21 #现在保存模型
22 saver.save(sess, './checkpoint_dir/MyModel',global_step=1000)

接下来我们使用 graph.() 方法来操作这个 Saved 模型。

 1 import tensorflow as tf
 2 
 3 sess=tf.Session()
 4 #先加载图和参数变量
 5 saver = tf.train.import_meta_graph('./checkpoint_dir/MyModel-1000.meta')
 6 saver.restore(sess, tf.train.latest_checkpoint('./checkpoint_dir'))
 7 
 8 
 9 # 访问placeholders变量，并且创建feed-dict来作为placeholders的新值
10 graph = tf.get_default_graph()
11 w1 = graph.get_tensor_by_name("w1:0")
12 w2 = graph.get_tensor_by_name("w2:0")
13 feed_dict ={w1:13.0,w2:17.0}
14 
15 #接下来，访问你想要执行的op
16 op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
17 
18 print(sess.run(op_to_restore,feed_dict))
19 #打印结果为60.0==>(13+17)*2

如果你不仅使用训练好的模型，还要添加一些ops，或者添加一些并训练新模型，可以通过一个简单的来看看如何操作：

 1 import tensorflow as tf
 2 
 3 sess = tf.Session()
 4 # 先加载图和变量
 5 saver = tf.train.import_meta_graph('my_test_model-1000.meta')
 6 saver.restore(sess, tf.train.latest_checkpoint('./'))
 7 
 8 # 访问placeholders变量，并且创建feed-dict来作为placeholders的新值
 9 graph = tf.get_default_graph()
10 w1 = graph.get_tensor_by_name("w1:0")
11 w2 = graph.get_tensor_by_name("w2:0")
12 feed_dict = {w1: 13.0, w2: 17.0}
13 
14 #接下来，访问你想要执行的op
15 op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
16 
17 # 在当前图中能够加入op
18 add_on_op = tf.multiply(op_to_restore, 2)
19 
20 print (sess.run(add_on_op, feed_dict))
21 # 打印120.0==>(13+17)*2*2

如果你只想恢复部分图形，然后添加其他操作进行精细-。只需通过graph.()方法得到需要的op，在此基础上构建图即可。让我们看一个简单的例子。假设我们需要使用训练好的VGG网络中的图，修改最后一层，将输出变为2。对于fine-new数据：

 1 ......
 2 ......
 3 saver = tf.train.import_meta_graph('vgg.meta')
 4 # 访问图
 5 graph = tf.get_default_graph() 
 6  
 7 #访问用于fine-tuning的output
 8 fc7= graph.get_tensor_by_name('fc7:0')
 9  
10 #如果你想修改最后一层梯度，需要如下
11 fc7 = tf.stop_gradient(fc7) # It's an identity function
12 fc7_shape= fc7.get_shape().as_list()
13 
14 new_outputs=2
15 weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05))
16 biases = tf.Variable(tf.constant(0.05, shape=[num_outputs]))
17 output = tf.matmul(fc7, weights) + biases
18 pred = tf.nn.softmax(output)
19 
20 # Now, you run this with fine-tuning data in sess.run()