画像認識に定評のあるライブラリ・Caffeを使ってみたくなり、caffeを導入してみる。
Caffeとは
CAFFE(Convolutional Architecture for Fast Feature Embedding)は、カリフォルニア大学バークレー校で開発されたディープラーニングのフレームワークである。オープンソースのソフトウェアであり、BSDライセンスの元に公開されている[4]。ソースコードはC++で書かれており、Pythonインターフェイスが存在する[5]。
2017年4月、FacebookはCaffe2を発表した[11]。Caffe2には回帰型ニューラルネットワークなどの新機能が含まれている。2018年3月、Caffe2はPyTorchにマージされた[12]。
(wikipedia)
Caffe導入
Macでのcaffe導入は難しく挫折したので、UbuntuでCaffeを導入。Ubuntuの最新版18.04実機でも挫折した。チュートリアルによくある16.04を探しで導入してみることになる。
クラウドサーバなら、気軽にいろいろバージョンのOSを試せるので、この機にAlibaba Cloudを試す。
Caffeのインストールその1
まず「参考1」を見ながら、インストール
$ sudo apt-get install libatlas-base-dev libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libboost-all-dev libhdf5-serial-dev libgflags-dev libgoogle-glog-dev liblmdb-dev protobuf-compiler git
gitからCaffeのソースをダウンロードします。
$ git clone https://github.com/BVLC/caffe.git
いきなりmake
root@jupiter:~# cd caffe/
root@jupiter:~/caffe# make
Makefile:6: *** Makefile.config not found. See Makefile.config.example.. Stop.
root@jupiter:~/caffe# cp Makefile.config.example Makefile.config
設定ファイルがないね。作る。
root@jupiter:~/caffe# make
PROTOC src/caffe/proto/caffe.proto
CXX .build_release/src/caffe/proto/caffe.pb.cc
CXX src/caffe/common.cpp
In file included from ./include/caffe/common.hpp:19:0,
from src/caffe/common.cpp:7:
./include/caffe/util/device_alternate.hpp:34:23: fatal error: cublas_v2.h: No such file or directory
compilation terminated.
Makefile:591: recipe for target ‘.build_release/src/caffe/common.o’ failed
make: *** [.build_release/src/caffe/common.o] Error 1
root@jupiter:~/caffe#
撃沈!
Caffeのインストールその2
「参考2」を見ながら、再度インストール。
こちらはたくさんのパッケージの追加:
apt update && apt upgrade
apt install -y python python-pip python3-pip python-numpy python-scipy python-matplotlib ipython ipython-notebook python-pandas python-sympy python-nose python-tk python-yaml
apt install -y build-essential cmake git pkg-config libprotobuf-dev libleveldb-dev libsnappy-dev libhdf5-serial-dev protobuf-compiler libatlas-base-dev libgflags-dev libgoogle-glog-dev liblmdb-dev libhdf5-dev wget emacs vim gedit sudo
apt install -y –no-install-recommends libboost-all-dev
ここまで順調でしたが、
pip install —-upgrade pip
ここでエラーはたくさんでった!
Traceback (most recent call last):
File "/usr/bin/pip", line 9, in <module>
from pip import main
ImportError: cannot import name main
調べたら、「参考3」から、次の文を予め実行。
(予め alias pip=’python -m pip’)
これて続行できた。
pip install opencv-python scikit-image protobuf easydict cython
途中またエラーで進まない
—————————————-
Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-install-xUyVVw/ipython/
You are using pip version 18.0, however version 18.1 is available.
You should consider upgrading via the ‘pip install –upgrade pip’ command.
エラーの理由がわからないが、言われた通り再度、
$ pip install –upgrade pip
Looking in indexes: http://mirrors.cloud.aliyuncs.com/pypi/simple/
Requirement already up-to-date: pip in /usr/local/lib/python2.7/dist-packages (18.0)
You are using pip version 18.0, however version 18.1 is available.
You should consider upgrading via the ‘pip install –upgrade pip’ command.
すでにup-to-date、またconsider upgradingしろうと!何これ?わからん。
Caffeのインストールその3
2回目のインストールエラーを無視して、
Makefile.configを見直し、
「CPU_ONLY := 1」のように#を外してCPUを指定して。
再度makeする。
root@jupiter:~/caffe# vi Makefile.config
root@jupiter:~/caffe# make
CXX src/caffe/common.cpp
CXX src/caffe/net.cpp
src/caffe/net.cpp:9:18: fatal error: hdf5.h: No such file or directory
compilation terminated.
Makefile:591: recipe for target ‘.build_release/src/caffe/net.o’ failed
make: *** [.build_release/src/caffe/net.o] Error 1
root@jupiter:~/caffe#
こちらのエラーは、「参考1」に対策があるので、
——————————–
“can’t find hdf5.h”などと言われた場合は、
まずlibhdf5-devをapt-getしたか確認しましょう。
インストールされているのにエラーを吐く場合は、
Makefile.configのINCLUDE_DIRSを修正します。
caffe/Makefile.config
#INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
INCLUDE_DIRS := $(PYTHON_INCLUDE) /usr/local/include /usr/include/hdf5/serial/
——————————–
apt install libhdf5-dev
これて再度makeする
/usr/bin/ld: cannot find -lhdf5_hl
/usr/bin/ld: cannot find -lhdf5
collect2: error: ld returned 1 exit status
Makefile:582: recipe for target ‘.build_release/lib/libcaffe.so.1.0.0’ failed
make: *** [.build_release/lib/libcaffe.so.1.0.0] Error 1
root@jupiter:~/caffe#
またエラーが出る
こちらのエラーは、同じ「参考1」に対策があるので、
“/usr/bin/ld: -hdf5_hl が見つかりません”と言われたときは、
/usr/lib/x86_64-linux-gnuの中にシンボリックリンクを貼ります。
/usr/lib/x86_64-linux-gnu
$ cd /usr/lib/x86_64-linux-gnu
$ sudo ln -s libhdf5_serial.so.10.1.0 libhdf5.so
$ sudo ln -s libhdf5_serial_hl.so.10.0.2 libhdf5_hl.so
その通りして、ついにコンパイルがエラーなく終了。
RunTest
# make runtest
[———-] 1 test from SolverTest/0, where TypeParam = caffe::CPUDevice<float>
[ RUN ] SolverTest/0.TestInitTrainTestNets
[ OK ] SolverTest/0.TestInitTrainTestNets (1 ms)
[———-] 1 test from SolverTest/0 (1 ms total)
[———-] Global test environment tear-down
[==========] 1162 tests from 152 test cases ran. (59829 ms total)
[ PASSED ] 1162 tests.
root@jupiter:~/caffe#
ついに成功
参考
- https://qiita.com/toujika/items/1787a4b83826261c88ec — Caffeをインストールしてサンプルを動かすまで
- https://qiita.com/yoyoyo_/items/ed723a6e81c1f4046241 — Caffeをインストールしたった
- http://icchy.hatenablog.jp/entry/2018/04/17/064443 — pip install –upgrade pip (10.0.0) 後の奇妙な挙動について