[{"data":1,"prerenderedAt":538},["ShallowReactive",2],{"content-\u002Fcontents\u002Fml_titanic":3,"surroundPost-\u002Fcontents\u002Fml_titanic":529},{"id":4,"title":5,"body":6,"createdAt":517,"description":518,"draft":519,"extension":520,"meta":521,"navigation":158,"path":522,"seo":523,"stem":524,"tags":525,"thumbnail":527,"updatedAt":517,"__hash__":528},"contents\u002Fcontents\u002Fml_titanic.md","【機械学習】初心者がKaggleのtitanicで勉強してみた",{"type":7,"value":8,"toc":510},"minimark",[9,16,19,22,25,28,31,50,53,56,77,82,85,88,91,94,97,107,110,114,117,120,123,126,129,132,135,195,200,203,206,221,224,227,237,240,243,246,257,260,289,292,302,305,308,323,326,340,346,361,364,377,383,398,401,407,410,413,430,433,436,439,442,445,448,451,454,457,473,476,506],[10,11,12],"p",{},[13,14,15],"strong",{},"機械学習はじめました！",[10,17,18],{},"今や様々な分野で活用される機械学習。",[10,20,21],{},"仕事で必要になるのはもちろんだが、趣味としてやっても非常に面白そうな分野だと思っている。",[10,23,24],{},"実はこれまでも参考書を読んだり、ちょこちょこと勉強はしていた。\n何冊か参考書を読んでなんとなく概要？程度はわかってきた気がするので、このブログでいろいろと備忘録も兼ねてまとめていこうと思う。",[10,26,27],{},"今回の記事では、データから実際に予測を立てるまでの方法・過程をまとめます。",[10,29,30],{},"手順としてはこんな感じ",[32,33,34,38,41,44,47],"ul",{},[35,36,37],"li",{},"データをみる！",[35,39,40],{},"前処理",[35,42,43],{},"モデルを選定",[35,45,46],{},"モデルチューニング",[35,48,49],{},"結果整理",[10,51,52],{},"長くなりそうなので、分けて記事にあげていく予定。\nKaggle と Python の詳しい使い方についてはここでは言及しない。",[10,54,55],{},"（追記）\n続き記事はこちらです。",[32,57,58,65,71],{},[35,59,60],{},[61,62,64],"a",{"href":63},"ml_titanic_part2","【機械学習】初心者が Kaggle の titanic で勉強してみた(前処理編)",[35,66,67],{},[61,68,70],{"href":69},"ml_titanic_part3","【機械学習】初心者が Kaggle の titanic で勉強してみた(アルゴリズム選定編)",[35,72,73],{},[61,74,76],{"href":75},"ml_titanic_part4","【機械学習】初心者が Kaggle の titanic で勉強してみた(モデル評価編)",[78,79,81],"h2",{"id":80},"kaggle-について","Kaggle について",[10,83,84],{},"Kaggle は機械学習を勉強している人なら一度は聞いたことがあるはず。\n簡単に言うと与えられたデータに対して各々が機械学習を行って、性能を競いあうものだ。",[10,86,87],{},"これだけ聞くと自分のような初心者にはハードルが高そうだが、そんなことはない。",[10,89,90],{},"Kaggle には入門者向けのデータも用意されていて、少ない特徴量かつわかりやすい問題設定のものがいくつかある。",[10,92,93],{},"さらにいいのは、それら入門者向けのデータを用いて、他の人がどうやっていい性能を出したのか見ることができることだ。",[10,95,96],{},"コードの書き方、特徴量設計などの手法を学べで非常に参考になる。",[10,98,99,100,106],{},"ということで、今回はこの Kaggle で",[61,101,105],{"href":102,"rel":103},"https:\u002F\u002Fwww.kaggle.com\u002Fc\u002Ftitanic\u002Fdata",[104],"nofollow","「Titanic: Machine Learning from Disaster」","にチャレンジしていく！",[10,108,109],{},"この Titanic というデータセットは初めての Kaggle と聞いたらほとんどの人が Titanic と答えるくらい初心者御用達のもの。",[78,111,113],{"id":112},"タイタニック-生存者予測の概要","タイタニック 生存者予測の概要",[10,115,116],{},"Titanic データセットの詳しいことは ↑ のリンクに書いてあるのでここでは簡単に説明する。",[10,118,119],{},"まず、訓練用とテスト用の csv があらかじめ与えられる。\n説明変数（特徴量）は 12 個。そのうち一つが目的変数になる。",[10,121,122],{},"この目的変数は 0 か 1 の値で乗客が生き残ったか否かを示す。",[10,124,125],{},"つまり、これが教師データに該当するので、他の説明変数からモデルを構築し、テストデータの 0 か 1 の値を予測すればよいということだ。",[78,127,37],{"id":128},"データをみる",[10,130,131],{},"まずはデータを眺めて、どんなデータがあるか、データ間の関係などを理解する。",[10,133,134],{},"データは csv で与えられているので、pandas を用いることで簡単に可視化できる。",[136,137,142],"pre",{"className":138,"code":139,"language":140,"meta":141,"style":141},"language-py shiki shiki-themes github-dark","import pandas as pd\n\nTRAIN_DATA_FILE = \"train.csv\"\nTEST_DATA_FILE = \"test.csv\"\n\n## 与えられたデータを読み込みざっと見る\ntrain_data = pd.read_csv(TRAIN_DATA_FILE)\ntrain_data.head()\n","py","",[143,144,145,153,160,166,172,177,183,189],"code",{"__ignoreMap":141},[146,147,150],"span",{"class":148,"line":149},"line",1,[146,151,152],{},"import pandas as pd\n",[146,154,156],{"class":148,"line":155},2,[146,157,159],{"emptyLinePlaceholder":158},true,"\n",[146,161,163],{"class":148,"line":162},3,[146,164,165],{},"TRAIN_DATA_FILE = \"train.csv\"\n",[146,167,169],{"class":148,"line":168},4,[146,170,171],{},"TEST_DATA_FILE = \"test.csv\"\n",[146,173,175],{"class":148,"line":174},5,[146,176,159],{"emptyLinePlaceholder":158},[146,178,180],{"class":148,"line":179},6,[146,181,182],{},"## 与えられたデータを読み込みざっと見る\n",[146,184,186],{"class":148,"line":185},7,[146,187,188],{},"train_data = pd.read_csv(TRAIN_DATA_FILE)\n",[146,190,192],{"class":148,"line":191},8,[146,193,194],{},"train_data.head()\n",[196,197],"img",{"alt":198,"img-src":199},"Kaggleタイタニックデータ","\u002Fimg\u002Fkaggle_titanic\u002Ftitanic_output_1.png",[10,201,202],{},"どんなデータがあるかなんとなくわかる。",[10,204,205],{},"次はもう少し詳しく各列についてみてみる。",[136,207,209],{"className":138,"code":208,"language":140,"meta":141,"style":141},"## info()で各columnの情報をみる\ntrain_data.info()\n",[143,210,211,216],{"__ignoreMap":141},[146,212,213],{"class":148,"line":149},[146,214,215],{},"## info()で各columnの情報をみる\n",[146,217,218],{"class":148,"line":155},[146,219,220],{},"train_data.info()\n",[196,222],{"alt":198,"img-src":223},"\u002Fimg\u002Fkaggle_titanic\u002Ftitanic_output_2.png",[10,225,226],{},"ここでは、カテゴリ変数の有無と欠損値があるかないかをみる。",[10,228,229,232,233,236],{},[143,230,231],{},"Age","と",[143,234,235],{},"Cabin","の欠損が多いことがみてとれる。",[10,238,239],{},"欠損値があると後ろの処理で使えないので、欠損値は適切に処理する必要がある。\nしたがって、どの列に欠損があるのか覚えておく。",[10,241,242],{},"また、カテゴリ変数（object とかいてるもの）も必要に応じて数値に直さなくてはならないので覚えておく。",[10,244,245],{},"今更だが、わかりづらいであろう列の説明だけを以下にしめす。",[32,247,248,251,254],{},[35,249,250],{},"SibSp : # of siblings \u002F spouses aboard the Titanic (兄弟の数　\u002F 配偶者)",[35,252,253],{},"Parch : # of parents \u002F children aboard the Titanic (両親の数　\u002F 子供)",[35,255,256],{},"Pclass : Ticket class (1 = 1st, 2 = 2nd, 3 = 3rd)",[10,258,259],{},"次は、数値データのみをヒストグラムにして、視覚的にわかりやすくしてみる。",[136,261,263],{"className":138,"code":262,"language":140,"meta":141,"style":141},"import matplotlib.pyplot as plt\n\n## ヒストグラムでデータの概略をつかむ\ntrain_data.hist(bins=50, figsize=(20,15))\nplt.show()\n",[143,264,265,270,274,279,284],{"__ignoreMap":141},[146,266,267],{"class":148,"line":149},[146,268,269],{},"import matplotlib.pyplot as plt\n",[146,271,272],{"class":148,"line":155},[146,273,159],{"emptyLinePlaceholder":158},[146,275,276],{"class":148,"line":162},[146,277,278],{},"## ヒストグラムでデータの概略をつかむ\n",[146,280,281],{"class":148,"line":168},[146,282,283],{},"train_data.hist(bins=50, figsize=(20,15))\n",[146,285,286],{"class":148,"line":174},[146,287,288],{},"plt.show()\n",[196,290],{"alt":198,"img-src":291},"\u002Fimg\u002Fkaggle_titanic\u002Ftitanic_output_3.png",[10,293,294,295,297,298,301],{},"ふむふむ。ヒストグラムにするとかなりみやすい。\n",[143,296,231],{},"は 20~30 代が多い、",[143,299,300],{},"Survived","は生存できなかったほうが割合としては多いなど、傾向が一目でわかる。",[10,303,304],{},"次にみたくなるのは各データの相関だ。\nこのデータ相関は、あとで説明変数を選択・除去する際に参考になる。",[10,306,307],{},"まずは、目的変数と相関の高いデータは重要なはずなので目的変数との相関を見る。",[136,309,311],{"className":138,"code":310,"language":140,"meta":141,"style":141},"corr_matrix = train_data.corr()\ncorr_matrix[\"Survived\"].sort_values(ascending=False)\n",[143,312,313,318],{"__ignoreMap":141},[146,314,315],{"class":148,"line":149},[146,316,317],{},"corr_matrix = train_data.corr()\n",[146,319,320],{"class":148,"line":155},[146,321,322],{},"corr_matrix[\"Survived\"].sort_values(ascending=False)\n",[196,324],{"alt":198,"img-src":325},"\u002Fimg\u002Fkaggle_titanic\u002Ftitanic_output_4.png",[10,327,328,329,332,333,336,337,339],{},"どうやら",[143,330,331],{},"Fare","に相関があるらしい（金持ちの方が助かった？）。\nあとは",[143,334,335],{},"Pclass","にも相関がある。おそらく",[143,338,331],{},"と関連するからだろうということが想像できる。",[10,341,342,343,345],{},"そうなると",[143,344,331],{},"と相関があるものが気になってくる。",[136,347,349],{"className":138,"code":348,"language":140,"meta":141,"style":141},"## 料金との相関\ncorr_matrix[\"Fare\"].sort_values(ascending=False)\n",[143,350,351,356],{"__ignoreMap":141},[146,352,353],{"class":148,"line":149},[146,354,355],{},"## 料金との相関\n",[146,357,358],{"class":148,"line":155},[146,359,360],{},"corr_matrix[\"Fare\"].sort_values(ascending=False)\n",[196,362],{"alt":198,"img-src":363},"\u002Fimg\u002Fkaggle_titanic\u002Ftitanic_output_5.png",[10,365,366,367,369,370,372,373,376],{},"やはり",[143,368,335],{},"とはかなり強い相関がある。\n",[143,371,300],{},"以外では、",[143,374,375],{},"Parch","と相関があるようだ。\n子供と両親の数で料金が変わるからだろうか？",[10,378,379,380,382],{},"次は",[143,381,375],{},"の相関をみる。",[136,384,386],{"className":138,"code":385,"language":140,"meta":141,"style":141},"## 子供あたりの親の数との相関\ncorr_matrix[\"Parch\"].sort_values(ascending=False)\n",[143,387,388,393],{"__ignoreMap":141},[146,389,390],{"class":148,"line":149},[146,391,392],{},"## 子供あたりの親の数との相関\n",[146,394,395],{"class":148,"line":155},[146,396,397],{},"corr_matrix[\"Parch\"].sort_values(ascending=False)\n",[196,399],{"alt":198,"img-src":400},"\u002Fimg\u002Fkaggle_titanic\u002Ftitanic_output_6.png",[10,402,403,406],{},[143,404,405],{},"SibSp","と強い相関がある。これも納得の相関な気がする。",[408,409],"hr",{},[10,411,412],{},"さて、ここまでで以下のようななことがわかった。",[32,414,415,418,421,424,427],{},[35,416,417],{},"どんなデータがあるか",[35,419,420],{},"ざっくりとした数値データの傾向",[35,422,423],{},"欠損値があるのはどの列か",[35,425,426],{},"カテゴリ変数の有無",[35,428,429],{},"各データの相関関係",[10,431,432],{},"次は、これらの情報を踏まえて実際にデータを適した形に処理していく。",[78,434,435],{"id":435},"まとめ",[10,437,438],{},"これまでの学習は、参考書をみながらただ写していただけなので、今回実際に問題が与えられても最初になにをやったらいいのか戸惑った。",[10,440,441],{},"ネットにあがってる解答は自分で一回書いてから！と決めていたので、ここまでやるだけでもそこそこ時間がかかった。",[10,443,444],{},"解答は見ずに、下にあげた参考書を見ながらなにをやったらいいのか考え、やった結果に対して理解し、次のアクションを考える作業は非常に勉強になった。",[10,446,447],{},"少し、長くなったので続きの前処理編の記事は次回！",[78,449,450],{"id":450},"参考",[10,452,453],{},"ここにあげた以外でも Kaggle を漁れば良質なコードと説明があがってると思う。\n先人に感謝です。",[10,455,456],{},"あと、この二冊の本はマジでおすすめです。",[32,458,459,466],{},[35,460,461],{},[61,462,465],{"href":463,"rel":464},"https:\u002F\u002Famzn.to\u002F38PNOK9",[104],"scikit-learn と TensorFlow による実践機械学習",[35,467,468],{},[61,469,472],{"href":470,"rel":471},"https:\u002F\u002Famzn.to\u002F2O246HK",[104],"Python ではじめる機械学習 ―scikit-learn で学ぶ特徴量エンジニアリングと機械学習の基礎",[10,474,475],{},"参考 web サイト",[32,477,478,485,492,499],{},[35,479,480],{},[61,481,484],{"href":482,"rel":483},"https:\u002F\u002Fwww.kaggle.com\u002Fpavlofesenko\u002Fselling-life-insurance-to-titanic-passengers",[104],"Would you sell a life insurance to the Titanic passengers?",[35,486,487],{},[61,488,491],{"href":489,"rel":490},"https:\u002F\u002Fwww.codexa.net\u002Fkaggle-titanic-beginner\u002F",[104],"【Kaggle 初心者入門編】タイタニック号で生き残るのは誰？",[35,493,494],{},[61,495,498],{"href":496,"rel":497},"https:\u002F\u002Fqiita.com\u002F3atom1take1\u002Fitems\u002F0c23907da9330681147b",[104],"【Kaggle 超初心者向け】Titanic にチャレンジしてみた",[35,500,501],{},[61,502,505],{"href":503,"rel":504},"https:\u002F\u002Fqiita.com\u002Fs_yaginuma\u002Fitems\u002F460eb7bbd78e9c47df9b",[104],"ロジスティック回帰について調べ、モデルを進化させてみた",[507,508,509],"style",{},"html .default .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}html .shiki span {color: var(--shiki-default);background: var(--shiki-default-bg);font-style: var(--shiki-default-font-style);font-weight: var(--shiki-default-font-weight);text-decoration: var(--shiki-default-text-decoration);}",{"title":141,"searchDepth":155,"depth":155,"links":511},[512,513,514,515,516],{"id":80,"depth":155,"text":81},{"id":112,"depth":155,"text":113},{"id":128,"depth":155,"text":37},{"id":435,"depth":155,"text":435},{"id":450,"depth":155,"text":450},"2019-02-24","初心者がkaggleの登竜門で有名なタイタニック（titanic）の生存者予測を試してみました。機械学習をしっかり学びたいと思い、かなり丁寧にタイタニックを実際に実装してみました。",false,"md",{},"\u002Fcontents\u002Fml_titanic",{"title":5,"description":518},"contents\u002Fml_titanic",[526],"機械学習","\u002Fimg\u002Ftwitter-card.png","wiT5ILRIaO_HjCYuCbG-JcFLc5sDgcOFVRHyU3n2ffo",[530,534],{"title":531,"path":532,"stem":533,"children":-1},"From Skill Text to Skill Structure: The Scheduling-Structural-Logical Representation for Agent Skills","\u002Fcontents\u002Fmemory-and-skill-rot","contents\u002Fmemory-and-skill-rot",{"title":535,"path":536,"stem":537,"children":-1},"【機械学習】初心者がKaggleのtitanicで勉強してみた(前処理編)","\u002Fcontents\u002Fml_titanic_part2","contents\u002Fml_titanic_part2",1784936718775]