TAMALOG

プログラミングがあれば遠いところへ行けます。プログラムと人の共生を記録します。

WACATE2日目の感想

WACATE 2018 夏に参加しています。WACATE最終日が終わったので2日目の感想を書きます。 tamanobi.hatenablog.com おいしいカレー 毎年恒例らしい。 #WACATE テスト設計ワーク終了ー。お昼はマホロバカレー! pic.twitter.com/gL3Spdn1z1— たまのび@日焼けす…

WACATE1日目の感想

WACATE 2018 夏に参加しています。今は二日間の一日目。 wacate.jp 目的 単体テストだけでなく、より上流のテストについて学ぶために参加しました。 おいしいまぐろ丼 概要 今回のテーマはモデリングです。UMLのユースケース図、アクティビティ図、状態遷移…

カテゴリカルデータに対するロジスティック回帰分析

どんな手法でも性質を知らずに、使うことは避けたほうが良い。 ロジスティック回帰分析を調べていると、説明変数が連続ではない場合(カテゴリカルデータ)について知りたくなった。 試しに擬似データで、一通り分析をしてみる。 性別と年齢層が説明変数、ク…

カイ二乗分布を描いてみる

カイ二乗分布を知っていたつもりだが、正規分布から簡単に生成できることを忘れていた。 カイ二乗分布は、独立に標準正規分布に従うk個の確率変数の二乗和が従う分布。 実際に、標準正規分布から10000個ずつ出して分布を出してみた。k = 10 くらいになると形…

Rを使って簡単な線形モデルを試す

以下に試したことをまとめた。R StudioのRmdを使うと便利にレポートが作れる。仕事でも活用したい。 線形モデル - Google ドキュメント 埋め込みも試してみる。

近況報告

ここ数ヶ月の近況 2年以上お世話になった先輩が退職。 1年近く一緒に仕事していた先輩が退職。 Courseraで機械学習を基本から学び始めた エンジニアが僕を含めてやっと3名になり、開発リーダーに近い立ち位置になった NEMの簡単な説明をする講師をやった 所…

二項分布について

70%の確率でアタリが出るくじを100回反復施行することを考える。 当然、100回のうち約70回はアタリを引くことができるはずだ。確率pでアタリのでるくじをN回反復試行したときのアタリの出る回数は二項分布に従うらしい。 実際にグラフを書いてみる。R Studio…

データ解析のための統計モデリングについて調べている

仕事でやりたいことができたので、こちらのサイトの資料を読み続けている。 講義のーと : データ解析のための統計モデリング : HUSCAP この講義資料は通称、緑本と呼ばれている本の前身です。

統計モデルについてよくまとまっている

http://hosho.ees.hokudai.ac.jp/~kubo/stat/2016/0318/a/kuboAS2016a.pdf 久保先生のスライドはよく作られていて、概略をつかみやすい。モデリングの肝は、応答変数の確率分布なのかも?

Coursera の Machine Learning Courseを始めて5週目

Coursera の Machine Learning Courseを4月2日からお金を払って始めました。すでに5週目に突入です。 なぜ始めたか? キャリアアップのために始めました。機械学習の基本的な知識が足りなくて不自由する機会が多くなってしまいました。 始めたきっかけ 始め…

二値分類器のAUC

機械学習で作成したモデルは、様々な計算方法で評価される。ここでは、ROC曲線とAUCについてまとめてみる。 二値分類器について考える。二値分類器は[0, 1]区間の実数値(以下、スコア)を出力するものとする。 データ番号 正解ラベル スコア 1 apple 0.1 2 no…

ビュールレ・コレクションを見に行った。

国立新美術館で、印象派の展覧会があったので行ってきた。ビュールレ・コレクションは近いうちにチューリヒ美術館に寄贈されるらしく、日本これだけの作品を見られるのはこの機会だけらしい。 僕は絵画が好きなだけなので、あまり歴史には詳しくない。美術館…

「お金2.0」を読んだ。

去年、「金持ち父さん、貧乏父さん」という本に触発されて依頼、お金への関心が強くなっている。「お金2.0」を読み終わったので、雑な要約を載せておく。 今日読み終えた「お金2.0」という本では、今300年の歴史がある貨幣経済にパラダイムシフトが起こって…

このブログを読んだが、声質変換の知識と多層ニューラルネットワークの知識が足りずに全体的にわからなかった。 hiroshiba.github.io 特にわからなかったのは以下。pix2pixが適しているのかよくわからない。 少ないデータ数で学習させるには、pix2pixモデル…

NGT(高次元ベクトルデータ検索技術)をGolangでごまかして雑なJSON APIにする

類似画像検索システムに組み込むための高次元ベクトルデータ検索技術を探していました。Yahoo! Japanが開発したNGT(高次元ベクトルデータ検索技術)を見つけたので試してみます。 https://www.flickr.com/photos/21001756@N06/2087512650/ 表形式をJSON APIに…

高次元ベクトルデータ検索技術「NGT」の環境をDockerで爆速構築

類似画像検索システムを構築するにあたり、高次元ベクトルデータの検索にNGTを使いました。本稿では、NGTをDockerで使う方法を紹介します。

画像収集基盤の構築ログ10

目的 人の代わりに画像を集めてくれるシステムを構築すること。なお、個人的な趣味でイラスト画像を対象としている。 tamanobi.hatenablog.com 進捗 Dockerのネットワーク絡みの問題を解消 暫定的にローカルに保存していた画像をテーブルに格納した Viewのコ…

画像収集基盤の構築ログ9

目的 人の代わりに画像を集めてくれるシステムを構築すること。なお、個人的な趣味でイラスト画像を対象としている。 tamanobi.hatenablog.com 進捗 コンピュータの調子が悪く再起動したら動かなくなった Docker composeでアプリケーションが動くように整備…

画像収集基盤の構築ログ8

目的 人の代わりに画像を集めてくれるシステムを構築すること。なあ、個人的な趣味でイラスト画像を対象としている。 tamanobi.hatenablog.com 進捗 Jubatusの近似近傍探索を試した illustration2vecを使って1000次元弱の特徴量をJubatusに登録した 登録デー…

画像収集基盤の構築ログ7

目的 目的は、人間の代わりに画像を集めてきてくれるシステムを構築することです。個人的な趣味からイラスト画像を対象としています。 tamanobi.hatenablog.com 進捗 スクレイピングを試せるような管理画面を作成 これまでのCLIをウェブアプリ化 プレビュー(…

Alpine LinuxのRoswell環境をDockerで作った

複数のmacOSでLispプログラムを書くとき、環境を用意することが面倒なので、RoswellのDockerをAlpine Linuxベースで作成しました。デプロイ時にもコンテナがあれば便利ですね! https://hub.docker.com/r/tamanobi/alpine-roswell/ 今度はこのコンテナを使っ…

画像収集基盤の構築ログ6

目的 目的は、人間の代わりに画像を集めてきてくれるシステムを構築することです。個人的な趣味からイラスト画像を対象としています。 進捗 画像ストレージを用意するにあたってオブジェクトストレージを用意した RiakCSかCephを利用しようとしたが、ローカ…

画像収集基盤の構築ログ5

目的は、人間の代わりに画像を集めてきてくれるシステムを構築することです。個人的な趣味からイラスト画像を対象としています。 tamanobi.hatenablog.com 広告配信システムを構築し、十数年間運用してきた人と話す機会がありました。その人が構築したシステ…

画像収集基盤の構築ログ4

目的は、人間の代わりに画像を集めてきてくれるシステムを構築すること。個人的な趣味からイラスト画像を対象としている。 tamanobi.hatenablog.com 進捗 illustration2vecのタグ学習済みモデルの全結合層から特徴ベクトルを抽出 自動クロッピングのAPIを作…

画像収集基盤の構築ログ3

目的は、人間の代わりに画像を集めてきてくれるシステムを構築すること。個人的な趣味からイラスト画像を対象としている。 tamanobi.hatenablog.com まだ良いコードネームは思いつかない。 進捗 自動で画像収集を行い始めた エラーに対応できるようにスクリ…

画像収集基盤の構築ログ2

目的は、人間の代わりに画像を集めてきてくれるシステムを構築すること。個人的な趣味からイラスト画像を対象としている。 tamanobi.hatenablog.com 画像収集基盤という名前だが、何かコードネームが欲しい。 進捗 管理サーバーをインターネットに公開した i…

画像収集基盤の構築ログ1

自動画像収集基盤を作成しています。 収集基盤管理サーバー: Sinatra 動的サムネイル変換: thumbor クローラー+スクレイパー: Rubyスクリプト 画像メタ情報推定サーバー: Flask+illustration2vec DB: MySQL RubyはGemが充実しているので、最短時間が作れる…

A-FrameでWebVRを試した

A-Frameというライブラリを使って、WebVRを試しました。 aframe.io 説明 パブリックドメインの天球画像を使って、カメラ(自分)を取り囲むように画像を配置しています。 デモ パノラマギャラリー コード デモのコードはここから触れます。一部デッドコードが…

コードを書かずにHerokuボタンひとつでデプロイ!LINEチャットボットを試す全手順を公開

GitHubとHerokuを使ってLINE Messaging APIがどういうものか試せるようにしました。 この記事で何ができるようになるの? コードを書かずに、LINE上で動く超簡単なチャットボットが作れます LINEチャットボットの簡単な始め方がわかります この記事の目的 僕…

TensorFlow User Group #3に行ってきました

TensorFlow User Group#3に参加しました。TensorFlowはデータフローグラフを用いた数値演算ライブラリです(2月15日にv1.0が出ました)。機械学習、Deep Learning周りへ応用されています。詳しく知りたい人は、Talk about ML and DL for happy engineer’s life…