笑う猫の手

適当なことを書きます。

寝不足は裏切る

概要

一日を無駄にしちゃう時って、大体寝不足。
もっというと金曜遊んだ次の土曜日が潰れてなんもできず、罪悪感に苛まれる。
金曜日ほど早く寝るという超意識高いムーブを決めていきたい

本文

眠いので寝る。
もうこれツイッターで良いんじゃないかと思う、、
スマホアプリも入れたのでもっとちゃんと書いていく。

物事が続かないやつはとりあえず「水溜りボンド」の動画見ろ

概要

特に水溜りボンドである必要はない。

youtuberの動画って、当人が消さない限り残ってるんだけど、
今有名な人の初期の動画とかみるとほっこりして、少しやる気が出る。って話。

内容(動画紹介)

最近水溜りボンドにハマってしまっていて、毎日何かしら動画をみてしまう。
そこで出会ったのがこの動画

www.youtube.com

昔の動画をネタにして「笑ってはいけない」をやるんだけど、
新しい動画を見ている側(当人たちも然り)からすると、あまりにひどくて笑ってしまう。

で、なんでこれでやる気出たのかというと、この人達は毎日1本必ず動画を上げている(らしい)から。
初期の動画はだいぶひどかったけど今や超売れっ子で、もう全部の動画が面白い。
続けることってほんと大事なんだなあとしみじみ思った。

稚拙でもどんどんアウトプットすることが大事。駄記事量産します。

www.youtube.com

「統計学入門」を読んだ。ある程度出来る人は不要そう。

友達と統計検定2級取ろうと勉強を始めたのがきっかけで、
手始めに小島寛之さんの「統計学入門」を読んだ。

一応機械学習をやっているので、もともと基本的な知識は普通の人よりはあるはず。

結論からいうと、(結論しかないが)
ある程度統計に触れている人はこの本ではなくてもいいかなあという感じ。

内容は度数分布、ヒストグラム、統計量(平均・分散・標準偏差)、正規分布、カイ2乗分布、t分布と
それらを用いた正規分布を前提とした母集団の統計量の区間推定の話まで。
一つ一つの説明が丁寧なので、初学者にはとてもおすすめできる。

後日、友達に教えるためにまとめようと思います。

決意とか感動とか役に立たないもの

挨拶

とりあえず毎日何かしら書こうと思います(決意)

概要

タイトルは誇大です。
決意とか感動は刹那的で、そこから継続的な何かを得ないとあんまり意味ないよねって話。

特に役に立たない本文

私はたまに日記を書いてます。特に大きなイベントがあったときとか、何かに心揺さぶられたときとか。
案外続いていて、半年くらいになりました。
それで、その半年分の蓄積の大半が刹那的な決意だってことに昨日気づいてしまったわけです。
ぜーんぶ忘れてます。なにも今に反映されていない。
もう決意とかはいいからなんか続けよう、一貫していよう、と思ってます。
これも刹那的で終わってしまうであろうか、、怖い。

やりたいことがないのならなにもしなければいい

挨拶

どうも、ブログ放置マンです。ここまで来るとお家芸です。趣味はブログを放置することです。

特に中身のない本文

なんか書きたいなと思ったので推敲もなしに書きたいと思います。
多分このくらいがちょうどいいんだ。脱ブログ放置マン。

言いたいことはタイトルの通りなんだけど、その心を書きたいと思います。
やりたいことがなく、無気力なときってだらだらとyoutube見たりアニメ見たりしちゃうんですよね。
プロスポーツ選手のスーパープレー集を見た後が多分一番死にたくなる時。

んで今日ふと思ったのが、あれ、何もしたくないのになんかしてね?ということ。
何もしたくないなら(=やりたいことがないなら)何もしなきゃいい。
そのはずなのに、スマホ見るにせよ、テレビ見るにせよ何かしらのアクティビティで一日を埋めてしまっているわけです。
多分これがずっとやりたいことが見つからない原因なのかなって思いました。(別に私がやりたいことがないわけではないです)
心が外に行ってしまっている状態ではやりたいことも見つからんなと。

まとめ

まじでやりたいことないならぼーっとしてよう。
(ぼーっとしてたらブログ書きたくなった)

「頭式呼吸」共鳴ボイトレ法 を読んだ。

挨拶

こんにちは。今年は頑張って投稿続けます。
数カ月前から月2回ボイトレ、週1回カラオケに通っています。
とにかく歌うのが好きです。

前書き

私のボイトレの先生はプロデビューを目指す歌手の卵なのですが、
トレーナーとしての実力はそこまでではない(自称)そうなので、自分でも勉強しようと思い一冊本を読んだので紹介します。

「頭式呼吸」共鳴ボイトレ法は
kiss musicというボイトレ教室を立ち上げた平山さんという方の著書で、
これまでのボイトレとは違ったアプローチを紹介しています。

対象は主にポップ歌手です。
これまでのボイストレーニングはクラシックの理論が前提になっており、
ポップに向いたボイトレではない、というのが大きな主張です。
よく知られている腹式呼吸なども否定していました。
また、現代人は蓄膿症や副鼻腔炎で鼻腔を上手く使えず、古い理論を適用するのが難しいとも言っています。
(さらにいうと、その機能が正常に働いているだけで歌は上手く歌える、とまで言っています。科学的な根拠はちょっと怪しかったですが、、、)

共鳴を鼻に固定しろ!

私が一番ためになったと思う部分は、
「共鳴が変わると音程が上下する(安定しない)」という記述です。

声は声帯が揺れ、その振動が口腔や鼻腔で共鳴して増幅され、他人に聞こえています。
その共鳴が起こる部分を著者は共鳴ポイントと呼んでいます。
一般の人はその共鳴を意識できておらず、共鳴ポイントが安定しないため、音程が安定しないとのことです。

そこで、共鳴を鼻の位置で固定することを推奨しています。いわゆる、鼻腔共鳴というものです。
鼻腔共鳴については知っていましたが、固定することで音程が安定する、というのは、衝撃でした。

確かに共鳴の場所が変わる、ということは常に変形し続けるラッパを吹いているようなものですから、
音程が安定しない、というのはかなり納得がいきました。

鼻を手入れしろ!

また、鼻腔の機能を復活させるために鼻うがいをせよ、というのも面白かったです。
さらにはインドヨガのスートラネティという、
鼻から紐を突っ込んで口から片方を出し、鼻腔内をこする
(少々狂気じみた)健康法もやるべき、とのことでした。
さすがにそこまではまだ出来ていませんが、鼻うがいは続けています。
心なしか、アレルギー持ちの鼻の調子が良い気がします。

おわり

鼻を手入れし、歌を鼻に響かせるというのは非常にシンプルで簡単なので、
しばらく続けていきたいと思います。

紹介

ResNetに関する情報をまとめた

Deep Residual Learning for Image Recognition
https://arxiv.org/abs/1512.03385

2015.10 伝説の152層DCNN。


モチベ
深くすることが正義だと考えられていた[1]が、深くし過ぎると性能が悪化することがわかっていた
※現在では広さも重要であるとされている

 

悪くなる理由は、

1. 逆伝播で小さな重みが何度も乗算されるため。degradation(=勾配消失・爆発)が起きる。[2]

消失: 浅い層では入力と出力の差が大きいため勾配を取りやすいが、深い層になるとその差が小さくなり、勾配が取りづらくなる。学習が進めばこの勾配は極めて小さくなり、やがて消滅してしまう。


2. 順伝播の際、ランダムに初期化された重みによって特徴が消えてしまい、後ろの層まで伝わらないため[2]

 

3. 単純に計算時間がかかる

[1]The Power of Depth for Feedforward Neural Networks
https://arxiv.org/abs/1512.03965
[2]Deep Networks with Stochastic Depth
https://arxiv.org/abs/1603.09382

 

解決策
identity mappingを追加し、Residual learningを行う

何層か前の情報をそのまま足すことで、その間の層は入力と最適な出力の差分(=残差)を学習する

 

何が良いのか?
feedforward時の情報消失を防げる。同様にbackpropagationの際も勾配消失しにくい。
入力が最適な出力に近ければ、重みを少しだけ更新すれば良い

 

派生研究
ResNetのモデル構造[3]
full pre-activationが一番良いらしい。 BN→ReLU→Conv→BN→ReLU→Conv→Concat

いろいろな派生モデル(有名所)[4]
Wide ResNet[5]]
浅くWideにしたほうが、パラメータは増えるが高精度+高速に学習できる
Residual unitの中にDropoutを入れることを提案

PyramidNet[6]
Deep Networks with Stochastic Depth[7]
Dropoutのようなイメージで、バッチ毎にResidual unitをランダムにDropする。
通常のResNetと比較して学習が早く高精度

PyramidSepDrop[8]
例の阪大の学生が趣味で発見したモデル
PyramidNet + Stochastic Depth
CIFAR-100/100でSOTA

ResNeXt[9]
ResNetは浅いネットワークのアンサンブル学習を行っている[10]

 

[3]Identity Mappings in Deep Residual Networks
https://arxiv.org/abs/1603.05027v1
http://qiita.com/supersaiakujin/items/eaa0fe0460c470c28bd8

[4]ConvNetの歴史とResNet亜種、ベストプラクティス
https://www.slideshare.net/ren4yu/convnetresnet

[5]Wide Residual Networks
https://arxiv.org/abs/1605.07146

[6]Deep Pyramidal Residual Networks
https://arxiv.org/abs/1610.02915

[7]Deep Networks with Stochastic Depth
https://arxiv.org/abs/1603.09382

[8]Deep Pyramidal Residual Networks with Separated Stochastic Depth
https://arxiv.org/abs/1612.01230

[9]Aggregated Residual Transformations for Deep Neural Networks
https://arxiv.org/abs/1611.05431

[10]Residual Networks Behave Like Ensembles of Relatively Shallow Networks
https://arxiv.org/abs/1605.06431

 

[お世話になった参考記事たち]
https://deepage.net/deep_learning/2016/11/30/resnet.html
http://qiita.com/supersaiakujin/items/935bbc9610d0f87607e8
https://www.slideshare.net/masatakanishimori/res-net
http://terada-h.hatenablog.com/entry/2016/12/13/192940

 

 

evernoteのメモから貼り付けたのですが箇条書きが綺麗に出なかった・・・
めちゃ見づらいので後日修正予定。