画像収集基盤の構築ログ6
目的
目的は、人間の代わりに画像を集めてきてくれるシステムを構築することです。個人的な趣味からイラスト画像を対象としています。
進捗
- 画像ストレージを用意するにあたってオブジェクトストレージを用意した
- RiakCSかCephを利用しようとしたが、ローカルホストだけで動作できるminioを利用した
- オーケストレーションが困難になってきたため、Dockerの調査を行った
- 新規導入したオブジェクトストレージ(minio)と画像変換(thumbor)だけDockerで起動するようにした
興味深い記事
画像処理において、学習したい画像かどうかをスクリーニングすることは膨大なコストがかかるので、この作業自体を自動化したい
人と機械学習のちょうど良い住み分けだと思います。この方のブログは、いつも面白いです。
参考資料
- Compose file version 3 reference - Docker Documentation
- データ分析環境の構築にDockerを利用しよう - Qiita
- minioを使ってS3の環境をローカルで再現する - notebook
- docker-composeを使うと複数コンテナの管理が便利に - Qiita
- Docker の Data Volume まわりを整理する - Qiita
- Alpine Linux で Docker イメージを劇的に小さくする - Qiita
- 効率的に安全な Dockerfile を作るには - Qiita
- GitHub - minio/minio: Minio is an open source object storage server compatible with Amazon S3 APIs
- [Minio] Minio導入手順(Ubuntu 16.04) - Life with IT
