前言
1.之前用过Caffe的GooglNet做图像分类的相关项目,比起传统的办法,效果要好很多,在目标检测这块,之前也用传统的HOG加SVM实现过车辆,行人和马匹的检测,但正样本要上万张图像,才达到能应用到项目上的准确率。
2.Caffe-SDD微软的一个深度学习框架,SSD全称:Single Shot MultiBox Detector 是目前为止主要的目标检测算法。接下来我会把Caffe-SSD的编译配置、标注图像、训练自己模型、在项目中使用自己的整个流程写下来。
3.我配置的环境是Ubuntu 16.04 LST 64位,Qt5.9,Python2.7,如果只跑CPU版本,就不用配置CUDA库。
4.要使用GPU加速的话,就要安装显卡驱动与cuda,cudnn,是于安装办法请参考我后面给的教程。显卡:/matt45m/article/details/90247294 ,cuda与cudnn:/matt45m/article/details/90298040 。
一、环境配置
1.编译前的预操作
sudo apt-get update #更新软件列表sudo apt-get upgrade #更新软件依赖包sudo apt-get install build-essential #编译工具,通常已安装sudo apt-get install cmake #安装cmakesudo apt-get install git #安装gitsudo apt-get install pkg-config #编译辅助工具,
2.前置依赖包
sudo apt-get install libgflags-dev libgoogle-glog-dev liblmdb-dev #安装gflags和glog依赖包sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compilersudo apt-get install --no-install-recommends libboost-all-devsudo apt-get install libatlas-base-dev #ATLAS是线性代数库
3.配置python
(1)安装python相关库
sudo apt-get install python-pip #安装pipsudo apt-get install python-devcat python/requirements.txt | xargs -L 1 sudo pip install
(2)添加软链接
sudo ln -s /usr/include/python2.7/ /usr/local/include/python2.7sudo ln -s /usr/local/lib/python2.7/dist-packages/numpy/core/include/numpy/ /usr/local/include/python2.7/numpy
4.获取caffe-ssd版本
(1)下载caffe
mkdir caffecd caffegit clone /weiliu89/caffe.git
开始下载caffe
(2)在当前目录ls会看到caffe这个文件夹,切换到caffe目录
更改文件夹名为caffe-sss
mv caffe caffe_ssd
切换到caffe-ssd目录
cd caffe_ssd
(3)切换到SSD分支
git checkout ssd
如果出现:Branch ssd set up to track remote branch ssd from origin.
Switched to a new branch ‘ssd’,或者“分支"代表成功。
5.更改配置文件Makefile.config
cp Makefile.config.example Makefile.config #复制配置文件并把后缀去掉vim Makefile.config #用vim打开配置文件
如果用不习惯vim,可以换成gedit打开配置文件
gedit Makefile.config
(1)打开后,如果只使用CPU,把CPU_ONLY:=1打开。
只用cpu更改
#CPU_ONLY:=1
去掉#改成
CPU_ONLY:=1
(2)如果使用GPU,把USE_CUDNN打开。
(3)更改python 相关的路径
PYTHON_INCLUDE := /usr/include/python2.7 \/usr/lib/python2.7/dist-packages/numpy/core/include
把前面的那句用#号注示掉,加上下面这句
PYTHON_INCLUDE := /usr/include/python2.7 \/usr/local/lib/python2.7/dist-packages/numpy/core/include
(4)加入hdf5的目录
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/includeLIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib
修改为:
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serialLIBRARY_DIRS := $(PYTHON_LIB) /usr/local/lib /usr/lib /usr/lib/x86_64-linux-gnu /usr/lib/x86_64-linux-gnu/hdf5/serial
6.修改Makefile文件(注意与下面文件的区别)
打开Makefile文件,这里没有后缀
gedit Makefile
找到:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem boost_regex m hdf5_hl hdf5
改为:
LIBRARIES += glog gflags protobuf boost_system boost_filesystem m hdf5_serial_hl hdf5_serial
找到:
NVCCFLAGS += -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
改成
NVCCFLAGS += -D_FORCE_INLINES -ccbin=$(CXX) -Xcompiler -fPIC $(COMMON_FLAGS)
找到:
LIBRARIES += boost_thread stdc++
修改为:
LIBRARIES += boost_thread stdc++ boost_regex
二、编译Caffe-SSD
1.编译caffe caffe
(1)开始编译,切换到caffe-ssd目录,make all -j8后面j8是说明使用8个线程一起编译,这样速度会快一些,如是计算机配置不好,只输入make all 就行了,下面有j8的命令是一样的。
cd caffe-ssdmake all -j8
(2)编译过程中报错
AR -o .build_release/lib/libcaffe.aLD -o .build_release/lib/libcaffe.so.1.0.0-rc3/usr/bin/ld: 找不到 -lopenblascollect2: error: ld returned 1 exit statusMakefile:574: recipe for target '.build_release/lib/libcaffe.so.1.0.0-rc3' failedmake: *** [.build_release/lib/libcaffe.so.1.0.0-rc3] Error 1
解决方法:
sudo apt-get install liblapack-dev liblapack3 libopenblas-base libopenblas-dev
然后清除重新编译:
make clean make all -j8
没有报错
(3)继续编译
make test -j8make runtest -j8
(4)编译pycaffe
make pycaffe -j8
CXX/LD -o python/caffe/_caffe.so python/caffe/_caffe.cpppython/caffe/_caffe.cpp:10:31: fatal error: numpy/arrayobject.h: 没有那个文件或目录compilation terminated.Makefile:504: recipe for target 'python/caffe/_caffe.so' failedmake: *** [python/caffe/_caffe.so] Error 1
这个我在前面装过,但提示没有,一种可能是路径不对,查看路径
pythonimport numpy as np np.get_include()
可以看到安装的路径
去Makefile.config文件把对应的路径改成显示出来的这个。
(5)检验python中import caffe是否报错:
pythonimport caffe
(6)如果报如下错误
Traceback (most recent call last):File "<stdin>", line 1, in <module>ImportError: No module named caffe
解决办法:
把环境变量路径放到 ~/.bashrc文件中,打开文件(注意,这时还是当时caffe编译的路径,不用切换)
sudo gedit ~/.bashrc
在文件下方写入,保存退出。
export PYTHONPATH=/home/*XXXX* /caffe/python:$PYTHONPATH #其中XXXX为你的用户名
在终端写入下面语句,使环境变量生效。
source ~/.bashrc
(7)继续输入import caffe如果报以下错误
Traceback (most recent call last):File "<stdin>", line 1, in <module>File "/home/matt/caffe-ssd/python/caffe/__init__.py", line 1, in <module>from .pycaffe import Net, SGDSolver, NesterovSolver, AdaGradSolver, RMSPropSolver, AdaDeltaSolver, AdamSolverFile "/home/matt/caffe-ssd/python/caffe/pycaffe.py", line 15, in <module>import caffe.ioFile "/home/matt/caffe-ssd/python/caffe/io.py", line 2, in <module>import skimage.ioImportError: No module named skimage.io
在终端输入:
sudo apt-get install python-skimage
(8)报以下错误
Traceback (most recent call last):File "<stdin>", line 1, in <module>File "/home/linux/caffe/caffe_ssd/python/caffe/__init__.py", line 1, in <module>from .pycaffe import Net, SGDSolver, NesterovSolver, AdaGradSolver, RMSPropSolver, AdaDeltaSolver, AdamSolverFile "/home/linux/caffe/caffe_ssd/python/caffe/pycaffe.py", line 15, in <module>import caffe.ioFile "/home/linux/caffe/caffe_ssd/python/caffe/io.py", line 8, in <module>from caffe.proto import caffe_pb2File "/home/linux/caffe/caffe_ssd/python/caffe/proto/caffe_pb2.py", line 6, in <module>from google.protobuf.internal import enum_type_wrapperImportError: No module named google.protobuf.internal
在终端输入
sudo apt-get install python-protobuf
(8)如果没有报错,Caffe-SSD配置完成。
结语
1.以上Caffe-SSD在Ubuntu下配置完成,之后就是如何应用Caffe-SSD做相关的训练和学习了。
2.关于Caffe-SSD配置遇到的问题,都可以加这个群(487350510)互相讨论学习。