TensorFlow Serving实现多模型部署以及不同版本模型的调用

2022-03-09

前提：要实现多模型部署，首先要了解并精通实现单模型部署。可以使用官网文档来实现部署。

1. 首先准备两个需要部署的模型，放在/文件夹下（文件夹名称可以任意选择）。目录结构如下：

multiModel/
├── model1
│   └── 00000123
│   　　 ├── saved_model.pb
│   　　 └── variables
│   　　　　 ├── variables.data-00000-of-00001
│   　　　　 └── variables.index
├── model2
│   　　└── 00000123
│   　　　　 ├── saved_model.pb
│   　　　　 └── variables
│   　　　　　　 ├── variables.data-00000-of-00001
│   　　　　　　 └── variables.index
└── models.config

2.在/目录下创建一个.文件，内容如下：

model_config_list:{
    config:{
      name:"model1",
      base_path:"/models/multiModel/model1",
      model_platform:"tensorflow"
    },
    config:{
      name:"model2",
      base_path:"/models/multiModel/model2",
      model_platform:"tensorflow"
    },
}

# 注：
   base_path路径前面的/models/是固定写法，后面写上你的目录名加上模型路径
   否则报错：FileSystemStoragePathSource encountered a filesystem access error: Could not find base path /home/node1/model/multiModel/model1 for servable model1

3.配置文件定义了模型的名称和模型在容器内的路径，现在运行tf-：

sudo docker run -p 8501:8501 --mount type=bind,source=/home/node1/model/multiModel/,target=/models/multiModel -t tensorflow/serving:latest-gpu --model_config_file=/models/multiModel/models.config

# 注：
1. taget后面写的是模型总路径，与单模型有些区别，单模型写的是具体的某一个模型路径；
2. --model_config_file 后面配置文件的路径前面是固定写法/models/，后面加上配置文件的路径，如果写绝对路径或者相对路径找models.config，会报错找不到文件或者路径；

4.终于看到这样的界面，检查GPU已经被占用，说明多模型部署成功：

——————————————————————————————指定型号版本——————————————— ——————————————————————————————

如果一个模型有多个版本，而你想在预测时指定模型的版本，可以通过以下方式实现。

修改模型。文件并添加参数：

model_config_list:{
    config:{
      name:"model1",
      base_path:"/models/multiModel/model1",
      model_platform:"tensorflow",
      model_version_policy:{
        all:{}
      }
    },
    config:{
      name:"model2",
      base_path:"/models/multiModel/model2",
      model_platform:"tensorflow"
    },
}

请求预测时，如果要使用带有版本的模型，只需修改请求的URL为：

URL = 'http://公网ip:8501/v1/models/model1/versions/00000124:predict'

上述容器运行后，如果在宿主机的/home/node1/model///文件夹下添加新模型文件，如/，则自动加载新模型；同样，如果现有模型被移除，模型会自动卸载。

以上文档参考：谢谢~

已复现多模型部署，模型版本暂时没有这个要求，暂未复现~

类别：

技术要点：

相关文章：