TensorFlow User Group#3に参加しました。TensorFlowはデータフローグラフを用いた数値演算ライブラリです(2月15日にv1.0が出ました)。機械学習、Deep Learning周りへ応用されています。詳しく知りたい人は、Talk about ML and DL for happy engineer’s lifeを見て下さい。

TensorFlow User Group#3は、TensorFlowを実運用してみた話が中心です(奇数回は実運用、偶数階は技術の話)。

発表の様子がYouTubeで見られます

https://www.youtube.com/watch?v=dd7JdUVNP5Y&feature=youtu.be

超圧縮したまとめと所感

機械学習基盤はストレージを共有(NFS)したDocker環境を作ると便利
文字列データでもCharacter level CNNを使えば分類器が作れる（お問い合わせ分類もいけそう）
モデルとコードをそれぞれ管理することは難しいので両方ともにデータベース(ソースコードごと！)に格納し管理する
toC向けの機械学習はあまり行われていない（研究段階）
TensorFlowはユーザコミュニティが大きく、Githubでどのライブラリよりも人気
機械学習自体はライブラリの恩恵を受けることで簡単に試すことができる
生成モデルについての評価はまだ確立されていない

Dockerを使った機械学習基盤の構築と運用@Retty

2016年12月にバズったRetty流『2200万ユーザを支える機械学習基盤』の作り方の詳しい解説です。

発表者

名前: Taruishi Masato(@taru0216) 略歴: Debian Project公式開発者 -> Red Hat -> Google (SWE/SRE) -> Rakuten -> Retty (CTO)

発表内容

マシンを組み立ててネットワークにつなぐと自動でインストールされるように構築

どのマシンにログインしても同じデータがある(NFS)。そのため、マシンが重くなっても別のマシンに接続して作業が継続できる。
Jupyterをインストールして、SSHだけでなくブラウザでも操作ができる（デザイナやディレクタが触る環境を用意している）。
nvidia-smiでGPUを知れるのでさくっと適切なマシンに入れる。

アーキテクチャ

Rubuntu(Retty Ubuntu) ServerとKubernetes、Juju、MAASを使っている
開発者はDockerコンテナを使う
Dockerなので、手元のマシンでも動かすことができる

Dockerによって環境を持ち運ぶ(Infrastructure as Code)

Dockerによってセットアップを容易にしている
すべてのDockerイメージはコアDocker(retty2-runtime-core)から継承している
手元のマシンを動かすときには retty2-runtime-devというdockerを用いる

環境を健全に、容易に利用するための工夫

シェルプロンプトにビルドバージョンを表示するようにして、混乱しないようにする
docker buildは、configure && make -jで依存を解消しながらビルドする
Circle CIと組み合わせて、プルリクがきたら docker build が自動で走るようにしている
KubernetesのDeamon Set機能で全マシンにデプロイするような仕組み
Kubernetes自体は、Juju & MAASでネット自動インストール

口コミ文字列をソースとしたCharacter-based CNNによる店舗属性の推定

文字単位(Character-based)CNNによる口コミ分類
口コミからこのお店がデート向けか判別する判別器を作った
CNNで日本語の自然言語処理が簡単にできる

スライド

TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例

character-level CNNでクリスマスを生き抜く

発表者

名前: 氏原淳志(Retty株式会社) 略歴: 薬学部 -> Retty株式会社

発表内容

CNNで日本語の自然言語処理が簡単にできるよ。
問題: 単語の切れ目がわからない。

分かち書きが必要

分かち書き
問題: 辞書が必要
Rettyの場合はお店の名前とかある。口語表現も難しい。→MeCabだけで解決できない
辞書を延々と構築する作業になりがち

救世主: CNN

画像分類のコンテストでCNNを用いたチームが優勝。自然言語でも使えるかも
文字列をベクトル化する必要がある
Word2vecというGoogleのライブラリで、言葉をベクトル化できそう
実は、Word2Vecは、単語をベクトル化している。→単語分割が必要→分かち書き→本末転倒

1文字ずつCNNすればいいじゃん

画像を対象にしたCNNでは、1pxごとにCNNへ入れている
同じ発想で、１文字ずつCNNに食べさせればいいじゃん
Character-level CNNと呼ばれる技術

Character-based NNの手順

文字列をID化する必要がある
Unicode値を使う
埋め込み表現を学習させる→グレースケール画像と同じ！→あとはCNNに食わせるだけ
ただし、CNNのカーネルサイズは横にN。つまり1文字分。縦は2,3,4,5の複数サイズ。これはN-gramをCNNに学習させている。

まとめ

デート目的店口コミと判断される口コミが多い店はデートに使えるのでは？
20万口コミ(デート目的店の口コミ10万 + その他10万)で、Accuracyは83%
重要: 教師作りのソルジャーが必要。最低、数万欲しい。数10万欲しい。

SENSYにおける深層学習活用事例とTensorFlowの悩み相談@カラフルボード

TensorFlowを含む深層学習の活用事例を紹介してもらった

発表者

名前: 武部雄一(カラフルボード)

スライド

SENSYにおける深層学習活用事例とTensorFlowの悩み相談 - TFUG#3

発表内容

広告CVR予測 with TensorFlow

マーチャントとパートナーの特徴量作成にオートエンコーダーを利用。RBFNを用いて、CVRの予測回帰モデルを作る
TensorFlow利用
直近三ヶ月のCVRをもらった。膨大なクリックログ

ヒューマンオペレーションvs人工知能

人による平均値をはるかに越える結果になった
入力層1000次元。中間層200次元。出力層1000次元。autoencoder
1000次元はユーザの数（パートナーのサイトを特長付けるユーザ数）
シグモイド関数を使った

ファッションアイテムの推薦最適化

感性特徴空間を作成
服に関する感性の二次元ヒートマップ
画像特徴量をt-SNEで二次元に落とし込み、各画像の推定スコア(CNNの出力値)。chainerを使ってやった。

応用: 商品企画の方向性検討

商品企画の方向性検討需要予測・MD計画の最適化

可視化されていると顧客と共通認識を持ちやすい。

より好みにマッチするアイテムの提案

TensorFlowにまつわる2点の悩み

過去に蓄積してきたモデルの流用が難しい。

モデルの変換が絶望的。
解決方法はたぶんない

デバッグがしんどい

chainerは行列計算にNumpyを使っているCupy
実行しながらモデルを作れる
stacktraceも置いづらい。

TensorFlowの魅力

指示者が多く、コミュニティも熱狂的
分散学習(Google Cloud ML, YahooによるTensorFlowOnSpark)
学びやすさ
- しょういちじかんで、opsノード、エッジ、データフロー構造、sess.run()といった基本的な構成要素を理解し、遊び始めラエル。Kerasはすごい簡潔

まとめ

分散学習をかきたいときTensorFlowは便利
ヒートマップ作成例のようなヴィジュアライゼーションにも良い！

NNで広告配信のユーザ最適化をやってみた

発表者

名前: 勝田隼一郎略歴: 宇宙高エネルギー物理学 -> GMOインターネット次世代システム研究室データサイエンティスト兼アーキテクト

発表内容

インフィード広告を配信するようなアドネットワーク(AkaNe GMO AD MARKETING)にユーザごとに、より適切な広告を配信したい

実際につかったモデル(MLP)

匿名ユーザごとに特徴量をつくる
配信履歴よりclickしたUser、してないUserにわける(0/1)
これを教師データとしてMLPで学習を行い、インプットされた特徴量に対してclick率のようなものを求める
確率の高いユーザを推薦ユーザとして配信ターゲットとする

入力から出力までの流れ

INPUT→生データ: 匿名ユーザのウェブ行動履歴、どのウェブサイトを見たか(スパース)
スパースなデータを少ない次元のベクトルに押し込む(embedding)
→OUT: モデル(MLP)のfeature

Embedding by ALS

UU: 数千万人を扱うため、Apache SparkのMLlibのALS(Alternating Least Squares)を用いた。Embeddingをした。
MLPに食べさせるために、各ユーザについてALSする

まとめ

ABテストの結果、CTRが150%改善！
関連記事: https://cloudplatform-jp.googleblog.com/2017/02/gmo-bigquery-tensorflow-google-cloud-platform.html

聞いてきたこと

Jupyterでも限界がある
ソースコードと精度の結果をすべてDBに入れる。モデルの名前も入れる
デプロイはまだ研究段階
誰でもさわれるような環境を用意する
Infra as a Codeなので継承して目的別にDockerを管理すると良い

発表の様子がYouTubeで見られます

ToC

超圧縮したまとめと所感

Dockerを使った機械学習基盤の構築と運用@Retty

発表者

発表内容

マシンを組み立ててネットワークにつなぐと自動でインストールされるように構築

アーキテクチャ

Dockerによって環境を持ち運ぶ(Infrastructure as Code)

環境を健全に、容易に利用するための工夫

口コミ文字列をソースとしたCharacter-based CNNによる店舗属性の推定

スライド

関連記事

発表者

発表内容

分かち書きが必要

救世主: CNN

1文字ずつCNNすればいいじゃん

Character-based NNの手順

まとめ

SENSYにおける深層学習活用事例とTensorFlowの悩み相談@カラフルボード

発表者

スライド

発表内容

広告CVR予測 with TensorFlow

ヒューマンオペレーションvs人工知能

ファッションアイテムの推薦最適化

応用: 商品企画の方向性検討

TensorFlowにまつわる2点の悩み

過去に蓄積してきたモデルの流用が難しい。

デバッグがしんどい

TensorFlowの魅力

まとめ

NNで広告配信のユーザ最適化をやってみた

発表者

発表内容

実際につかったモデル(MLP)

入力から出力までの流れ

Embedding by ALS

まとめ

聞いてきたこと