画像収集基盤の構築ログ3
目的は、人間の代わりに画像を集めてきてくれるシステムを構築すること。個人的な趣味からイラスト画像を対象としている。
まだ良いコードネームは思いつかない。
進捗
- 自動で画像収集を行い始めた
- エラーに対応できるようにスクリプトを改良
- RedisとSidekiqを使ったジョブキューの導入の検討
- 参考資料を漁った
- 国内でクローラーと言えば、VASILY。ブログ記事を読み漁った。
- 画像変換サーバーへの依存をRMagickへの依存へ変更。ネットワークを介さなくした。
- スマートクロップの改良の検討
- AnimeFaceのカスケーディングを使って顔認識してみたが思ったように検出できなかったため断念
- 画像収集用のストレージを購入する
- ユーザが気軽に画像分類するにはどうするか考えた(検討段階)
雑記
タスク管理が困難になってきたので、todoistのCLIクライアントを使って管理しようと思う。
おすすめリンク
VASILYのブログはいつも参考になる。クローラーや画像処理まさに僕がやりたいことが揃っている。