So-net無料ブログ作成
  • ブログをはじめる
  • ログイン

RStudioに挑戦したつもり [統計学もどき]

今月は時間がないといながら、仕事の合間に気分転換です。
挑戦したと言えるほどのことではなく、「とある弁当屋の統計技師」のサンプル表示がうまくいっただけのことですが、一応動いたのでこの先いろいろ練習はできそうな気配です。
画像は、ロジスティック回帰分析の解説のある第6章のサンプルを表示したものです。
Rstadio.png
途中なにやらエラーは出るのですが、まだ意味不明につき、一応サンプルが最後まで表示されたのでよしとしましょう。
こちらに説明があります。
とある弁当屋の統計技師 第6章 ロジスティック
http://rmecab.jp/ranko/chap6.html

まあ先は長いな。
nice!(7)  コメント(24)  トラックバック(0) 
共通テーマ:blog

nice! 7

コメント 24

ryu-ron

統計ネタが津田先生の記事に集中してましたので、専用にするためこの記事を書きました。
ただあんまりRは触れそうにありませんが。
by ryu-ron (2015-11-03 15:20) 

ryu-ron

さすがにいろいろ統計本を借りるのも疲れてきたのですが、あと一冊、回帰分析を教科書的に書いてる者を読んでいた方がいいかということで
文系2級の方のブログに出ている
http://liar.blog.jp/archives/4696909.html
心理統計学の基礎―統合的理解のために (有斐閣アルマ)

ところが、別に統計検定にこだわらない(あるいは11月合格を目指す)場合、『ごく初歩の~』『よくわかる~』の次に読む教科書は、次の1冊でほぼ決まりです。

タイトルこそ『心理統計学の基礎』ですが、
『基礎基本』の基礎ではなく、『基礎理論』の基礎。
『よくわかる~』で勉強した内容を、より深く掘り下げていきます。

ということで「よくわかる」でも次の1冊にお薦めでした。回帰分析、因子分析については、「よくわかる」「すごく大切」でもほとんど触れられレおりません。
最強・実践編でもいいところなのですが、回帰分析は2級に出るのでここだけでも借りてコピーをしておくかというところです。

アマゾンレビューに目次を書いてくれていますが
http://www.amazon.co.jp/review/R1C1MVDPDZ32JC/ref=cm_cr_dp_title?ie=UTF8&ASIN=4641121605&channel=detail-glance&nodeID=465392&store=books

1章:心理学研究と統計
2章:分布の記述的指標とその性質
3章:相関関係の把握と回帰分析
4章:確率モデルと標本分布
5章:推定と検定の考え方
6章:平均値差と連関に関する推測
7章:線形モデルの基礎
8章:偏相関と重回帰分析
9章:実験デザインと分散分析
10章:因子分析と共分散構造分析

この8章だけでいいのかも。文系には心理統計からのアプローチがいいのでしょうね。純然たる統計学はやはり数式が主体になります。
by ryu-ron (2015-11-04 09:17) 

ryu-ron

長崎で津田先生が講演されます。おっとこっちの情報ではないが、トップ記事だからいいか。

http://kodomozenkoku-news.blogspot.jp/2015/11/115.html?m=1

明日だね。ちょいと行けません。

第74回日本公衆衛生学会ー自由集会ー
http://www.c-linkage.co.jp/jsph74/dl/meeting.pdf

**********************************************

日時:11月5日(木) 19:00~21:00

会場:長崎ブリックホール・2Fリハーサル室
   http://www.brickhall.jp/sisetu/training.html


報告1.放射線の人体影響と原発事故による甲状腺がん
    -因果論争から説得・対策へ-
    津田 敏秀 (岡山大学大学院環境生命科学研究科)

報告2.福島原発事故後の広範な健康被害の増加を考える
    林 敬次(はやし小児科・医療問題研究会)

by ryu-ron (2015-11-04 09:25) 

ryu-ron

実践編をなんとか通読したいと思いながら、なかなか読み進めるのに時間がかかっていけません。
因子分析の章は読めそうにないのでコピーをとって、正月休みにでも読むとしましょう。えらい先の話になったが。

なんとかロジスティック回帰分析までは読みあげたいが。

やっぱいい本ですねえ。図解雑学はほとんど戦力になりませんでした。
by ryu-ron (2015-11-05 08:59) 

ryu-ron

このエラーはなんなんだろうな?と思いながら、遅い3時の休憩にちょいといじってます。(3時からずっと休憩してるわけではなりません。)

Error in gregexpr(calltext, singleline, fixed = TRUE) :
regular expression is invalid UTF-8
Error in gregexpr(calltext, singleline, fixed = TRUE) :
invalid multibyte string at '<87><e3><83>「繧帝€比クュ縺ァ繧<84>繧√k蝣エ蜷医<81>ッEsc繧ュ繝シ繧呈款縺励∪縺兔n") if (ask && interactive()) readline("\n繝<87>繝「繧帝幕蟋九☆繧九↓縺ッ縺薙<81>ョ陦後<81>ョ蜿ウ遶ッ縺ァEnter繧ュ繝シ繧呈款縺励※縺上□縺輔> : ") } source(available, echo = echo, max.deparse.length = Inf, keep.source = TRUE, encoding = encoding) }'

文字化けしてるので、文字コードの設定の問題かな?

> data (normalDist)

> p <- ggplot(normalDist, aes(x = 正規分布, y = 確率密度)) +
+ geom_line(colour="black", size = 1)

> p + labs(title="平均が0で標準偏差が1の正規分布")

> # 乱子:曲線の下の面積を考えた場合,
> # x軸で-1.96 から 1.96 の範囲の面積が 0.95,
> # つまり95%なのね

正規分布のところを眺めています。

こちらに説明があります。
http://rmecab.jp/ranko/chap2.html
眺めるだけなら早いのですが、ちっとも理解しておりません。
by ryu-ron (2015-11-05 15:59) 

ryu-ron

『心理統計学の基礎』がさっそく来たので借りてきまして、8章をコピーしたものの、もっと前の方を読まないとわからんような感じで、一回は目を通す必要がありあそうです。
Σは当然のこと、ベクトルまで出てきますので、高校数学を完全にやり直す必要がありますが、他の本をひとおおり終えたあとに読むしかなさそうですね。

ちょっと気は早かったのですが、実践編も返しておきました。
by ryu-ron (2015-11-06 12:33) 

ryu-ron

iPadは試験に持ち込めないので、√計算機能付きの安い電卓を買ってきました。

こちらの体験記に
http://akiyoko.hatenablog.jp/entry/2014/12/30/163934

あと、統計検定では試験時に電卓を使ってよいのですが、電卓を使う場面がちょくちょくあって、電卓の使い方(特に「M+」とか)にも慣れていないとダメだなと感じました。
ちなみに、表示桁数が多い電卓(12桁以上のもの)を買った方がよいでしょう。

とありましたが、メモリーなんて日頃使ってこなかったので、これも特訓です。GT グランドトータル機能もありますが、なんかマニュアル通りにやってもおかしいぞ。
by ryu-ron (2015-11-08 16:01) 

ryu-ron

あれ準一級は関数電卓OKなのですか。
http://www.toukei-kentei.jp/about/pdf/grade1_cal.pdf

http://www.amazon.co.jp/%E3%82%AB%E3%82%B7%E3%82%AA-%E9%96%A2%E6%95%B0%E9%9B%BB%E5%8D%93-%E6%95%B0%E5%AD%A6%E8%87%AA%E7%84%B6%E8%A1%A8%E7%A4%BA-572%E9%96%A2%E6%95%B0-fx-995ES-N/dp/B00AFN7MK8
こんなのが使えるならなんとかなるか?まあ使い方がさっぱりわからんが。
by ryu-ron (2015-11-08 16:19) 

ryu-ron

なるほど大学の授業でも関数電卓は使っているのですね。
https://syllabus.hosei.ac.jp/web/preview.php?no_id=1511358&nendo=2015&gakubu_id=%E7%B5%8C%E5%96%B6%E5%AD%A6%E9%83%A8&gakubueng=AF&radd=500

また、問題演習(統計データの計算は関数電卓でできる範囲)を適宜織り込んだ授業形態になります。

確かに実務ではパソコン使うでしょうから、計算はコンピュータまかせでいいのだ。
by ryu-ron (2015-11-08 16:40) 

ryu-ron

昨日散髪に行ったところが図書館の方向だったので、もういちど統計書のあるコーナーにいきましたところ「統計のはなし」というのがあったので借りてきたところ、なかなかのロングセラーで、数式もΣはあるもののわかりやすい。
あいにく市の図書館にはこの統計のはなししか置いてませんでしたが、県立を検索すると、「多変量解析のはなし」が貸し出し可能。

この著者大村平さんは、なんと元航空自衛隊幕僚長です。制服組なのですが、退官後は数学の普及に努めて非常にたくさんの本をだしてますね。
あと「統計解析のはなし」というのがあるのですが、こっちは、県も市も置いてくれてないですね。

『心理統計学の基礎』は今の私には解読困難につき回帰分析の関係のとこだけコピーをしましたが、もう返してもいいかなということで、今日は市の図書館が休刊日につき、明日、返却して代わりに「多変量解析のはなし」をリクエストして、いよいよ本を絞り込んでお受験体制に突入していきたいと思います。
って、ほんとは仕事はそれどころじゃないのですが、忙しい時に、一日30分確保して勉強する癖がつけば、まあ来年6月までは続くのではないかと思っております。
by ryu-ron (2015-11-09 09:08) 

ryu-ron

「多変量解析のはなし」はリクエストしてきましたが、「統計のはなし」との中間に当たる「統計解析のはなし」は内容目次が

内容説明
『確率のはなし』そして『統計のはなし』を読んでくださった方々から、この調子でさらに一歩すすめて高度難解な手法を解説してくれるなら、かなりの所までついて行けるのだが…ぜひ続編の刊行を、との感想や希望がたくさん寄せられました。本書はこの期待にこたえるべく刊行されました。『統計のはなし』が統計の入門編であるとするなら、本書は統計の応用編ともいえるものです。しかし単なる続編ではなく、独立した1冊の本としてまとめられています。
目次
1 前口上
2 素人探偵ものがたり―推定のはなし、その1
3 名探偵ものがたり―推定のはなし、その2
4 名行司ものがたり―検定のはなし
5 代表選手の言い分を聞く―抜取検査のはなし
6 ばらつきをばらす法―分散分析のはなし
7 総身に知恵はまわるのか―相関と回帰のはなし
8 複雑さをばらす法―多変量解析のはなし
9 なんでも数字で表わす法―数量化のはなし
付録
付表

こんな感じで、はたしているんかいな、と思わないでもないのですが、より専門的になる前のいわば「実践編」の役目をするのでしょうね。
by ryu-ron (2015-11-10 10:25) 

ryu-ron

紀伊国屋で”大村平”さんの本を検索するとほんとに沢山でてきます。

https://www.kinokuniya.co.jp/f/dsd---?p=1&author=%E5%A4%A7%E6%9D%91%E3%80%80%E5%B9%B3&ptk=01&qsd=true

実験計画と分散分析のはなし―効率よい計画とデータ解析のコツ (改訂版)
なんかも統計実務の本ですね。
目次が

目次
1 商品見本2つ半
2 ランダム化の功徳
3 因子が1つ―実験計画と分散分析
4 因子が2つ、3つ、4つ…―実験計画と分散分析
5 ラテン方格を使う―実験計画と分散分析
6 交互作用と直交表
7 手順トラの巻

まあここまではいらないですが、一応実験計画も2級の範囲に入ります。
by ryu-ron (2015-11-10 10:58) 

ryu-ron

「統計のはなし」がわかりやすいこともあって、わりと時間をかけて読んでるのですが、「多変量解析のはなし」が来るとちと読む量が増えるので、また部分的なコピーで終わるか。

https://www.kinokuniya.co.jp/f/dsg-01-9784817180278

内容目次は

内容説明
能力の高い社員を採用するためには、入社試験の科目として何を選んだらいいでしょうか。そもそも能力とは何でしょうか。色、形、味などに対する好き嫌いは何によって決まるのでしょうか。デパートの商品はどのように分類して配列するのが顧客のためでしょうか。これらの難問に挑戦する科学的手法が「多変量解析法」です。多変量解析法とは、「統計とコンピュータの使用を前提として、多くの要因が複雑にからみ合った現象を解明し、本質的な骨組みを描き出す手法の群」のことです。本書は、ごく簡単な例題を用いて、高等数学もコンピュータも使いません。まずは、考え方を知ることによって展望を開いていただくのが目的です。初版発行から20余年が経ちました。現状にそぐわない用語・人名・統計値・比喩・事例などを改訂しました。
目次
1 多変量解析に触れる
2 順位相関を求める
3 相関係数はこれだ
4 相関の変わり者
5 直線で回帰する
6 重回帰分析のはなし
7 因子分析のはなし
8 主成分分析のはなし
9 クラスター分析のはなし
10 判別分析のはなし
11 多変量解析と数量化
付録

このうち
5 直線で回帰する
6 重回帰分析のはなし
はコピーになるな。
by ryu-ron (2015-11-11 08:53) 

ryu-ron

さて別の所に書いた「確率のはなし」ですが、市の図書館にはないので、またぞろ県立図書館か、となると、多変量解析を返してからになるので、12月の2週目くらいかな。
ただ年末の慌ただしい時期、じっくり読めるかどうか。
アマゾンの古本ですが、安いので1700円 悩む金額ではないのですが、ポアソン分布は2級の試験範囲につき持っておく方がいいのかもしれませんね。
by ryu-ron (2015-11-12 09:23) 

ryu-ron

さて統計勉強ネタはこちらに戻して

臨床心理士に合格された方が心理統計の勉強に「多変量解析のはなし」を使われたことを書いていたので
http://hirominobenkyobeya.air-nifty.com/pleasecomein/2008/07/post_1f5f_1.html

回帰直線の求め方、考え方の説明もわかりやすいです。
重回帰分析は、独立変数が複数ある場合に、1本の回帰直線を求める方法です。
その方法は、各独立変数の影響の強さ(従属変数との相関)を調べて、それに基づいて各独立変数のブレンドの割合を決めて混ぜ合わせます。このブレンドの割合を決める重要な相関係数のことを、④重相関係数といいます。

ということで、やっぱ一足飛びにロジスティック回帰分析などやろうとしたのが間違いだったか。
弁当屋統計技師はかなり一気に進めてくれていたのですが、なかなか太刀打ちできない。
by ryu-ron (2015-11-13 11:16) 

ryu-ron

ワード文書ですが、ポアソン分布や対数正規分布による地震発生確率のものが出てきたので、印刷してみてみましょう。

kouzou.cc.kogakuin.ac.jp/Open/建築の振動6章/v3/付録B.doc
by ryu-ron (2015-11-13 17:35) 

ryu-ron

パリのISによる惨劇に対してなにか記事にすべきなのでしょうが、言葉も出ない状態です。
アベのようにテロに屈しないと言えば済むほど簡単な問題ではない。エジプトでのロシア機の爆破も含め、ISが外に出て戦争を仕掛けてきている以上、日本の関わり方は慎重であるべきでしょう。

と、統計ネタでいきますが、多変量解析のはなしを読み始めて、回帰分析で偏微分が出てきたことでやや焦ったのですが、西内さんの実践編で
https://books.google.co.jp/books?id=3Q4YBQAAQBAJ&pg=PR128&lpg=PR128&dq=%E5%9B%9E%E5%B8%B0%E5%88%86%E6%9E%90%E3%80%80%E5%81%8F%E5%BE%AE%E5%88%86%E3%80%80%E8%A7%A3%E3%81%8D%E6%96%B9&source=bl&ots=FdF_VriJ3n&sig=Irwznd_qWv5iktSgVwfsDInEj1k&hl=ja&sa=X&ved=0CEcQ6AEwB2oVChMIuuaawJSRyQIVwaSUCh1DMghN#v=onepage&q=%E5%9B%9E%E5%B8%B0%E5%88%86%E6%9E%90%E3%80%80%E5%81%8F%E5%BE%AE%E5%88%86%E3%80%80%E8%A7%A3%E3%81%8D%E6%96%B9&f=false
うわ長いURLですんません。
まあ中学数学でもここはなんとかなるということで、コピーをとっていた、数学的補足のところをじっくり見るといたしましょう。

朝読のペースが落ちて、多変量の方をあまり読まずに3週間たってしまうのではと気になって、統計のはなしの方を返してしまったのですが、やめとけばいいものを、大学生向けの統計の教科書が市の図書館にもあったので、つい借りてしまいました。ポアソンと回帰分析があったので、家で読んだ方がよかろうと思ったのですが、数学的にはやっぱ難解ですね。偏微分も出ていたし、言葉による説明も少なめです。
ただ一冊で、ある程度の範囲を網羅してますので大学ではこういう感じに習っているというのはわかったというところです。
借りたのは「はじめての統計 (有斐閣ブックス) 」で経営学の先生が書いたものですね。

by ryu-ron (2015-11-15 09:39) 

ryu-ron

いろいろ検索してたらこんなところが
http://miku.motion.ne.jp/stories/05_BinDist.html

PLAY: 二項分布の歌 (MP3 Download)
二項分布はコンビネーションnからx
Px乗1マイナスPn引くx乗
平均はnP 分散nP1引くP
二項係数並べて書けばパスカルの三角形

確率うんと小さくしたならポアソン分布
平均と分散が等しくなるの
試行回数大きくしたなら正規分布
スターリングの公式使って確かめてみて ね

この歌覚えておきますかな。

なんと
http://miku.motion.ne.jp/index.html
がんばって最後までやってみたいが、時間のある時かな。
by ryu-ron (2015-11-17 11:55) 

ryu-ron

統計の勉強も牛の歩みと言うより亀の歩みでなんとか進んでおります。
「多変量解析のはなし」の相関のところにクラメールの連関係数というのがあるのですが、これが、「すごく大切」「やさしい」とこの「はなし」でそれぞれ説明も公式も違って面喰っております。
ネットで
http://bdastyle.net/tools/correlation-coefficient/page1-cramer.html

こういう説明があって、ここにでてくる式だと「はなし」に近いのですが、エクセルのMINを使えば試せるので、こっちで理解した方がいいのですかね。
χ2値に絡むので、わりと重要なところです。

ただもうほんと1日30分の確保がなかなか、テレビをみなきゃいいのですがね。
by ryu-ron (2015-11-18 09:10) 

ryu-ron

http://miku.motion.ne.jp/stories/StatMap.html
ミクさんところによると

そうは言っても何かと忙しい会社の人は、じっくり腰を据えて基礎学問、ってなことはなかなかできないみたい。
そんな人は、とりあえず「1:確率・統計」はすっ飛ばして、いきなり「2:多変量解析」から入るコースがおすすめ。
入り口は、ずばり「回帰分析」!
「回帰分析」こそ分析の王道、基本にして、実務に役立つ結果も出ちゃう、一番のおすすめエントリーポイントなのです。

ということで今のやり方でもいいのかもしれませんね。
来年のセンター試験の日から、あの問題集を解くとするかな。なかなか年末はしんどい。
と、自分を甘やかすとまたいつまでも手つかずになるのだが。
by ryu-ron (2015-11-18 15:54) 

ryu-ron

あまり統計のことを書いてる場合ではないのだが

問題集と言うのは
センター試験完全攻略 数IA・IIB「データの分析」「確率分布と統計的な推測」分野編
です。

確率のはなしは、アマゾンレビューでは
「二項分布、ポアソン分布の意味がよく理解できました。」
とありますので、一度は借りてから、買うかどうするかしたいのですが、300ページほどありますので、ちょいと躊躇気味です。

さてさてこの辺でやめておきましょう。
by ryu-ron (2015-11-18 16:33) 

ryu-ron

クラメールはエクセルで試せたのですが、今度は回帰分析をやってみたいと考えあれこれ検索したところ

Excelにおける回帰分析 (2)分析ツールでの回帰分析の手順
http://keijisaito.info/econ/jp/excel_ols/tool.htm#cont

ここが親切でしたので、また時間を見つけてというか、こじあけて試してみたいですが、今度は複雑。とりあえず分析ツールが使えるようにだけはしましたが、ここもコメントが増えたので、うまくいったらキャプチャいれて別記事をアップしたいと考えてはいますが、今度の連休は仕事でつぶれるのではたしてどうかな。
by ryu-ron (2015-11-19 08:47) 

ryu-ron

回帰分析のエクセルは手間がかかりそうなので、サンプルのエクセルファイルと、解説部分をPDFにしたのがありましたので、これを見ながらぼちぼち勉強しましょう。

当分の間、ここに統計ネタを書きます。

Rで弁当屋サンプルの回帰分析のところを動かしたりしてますが、どの関数がその役目をしてるのかがいまいちわからん。あの偏微分の部分はどうなっているのだ。
by ryu-ron (2015-11-19 12:25) 

ryu-ron

エクセルでロジスティック回帰分析をしようと思ったら、マクロを使った有料か、フリーのHadのようなのを使うしかないと思っていたら、通常の機能でできることはわかったのですが、いずれも複雑ですね。

別のところでコメントした
http://www.scientist-press.com/edit_html/green/seminar5.pdf
とか
ここは日本経営士協会中部支部のサイトにありました。
amcj.com/data_mining/EXWF68LGr.xls

Rの方がシンプルにできるのですかねえ。
by ryu-ron (2015-11-19 16:12) 

コメントを書く

お名前:
URL:
コメント:
画像認証:
下の画像に表示されている文字を入力してください。

※ブログオーナーが承認したコメントのみ表示されます。

トラックバック 0