【Kaggle】機械学習・AIのコンペ【SIGNATE】

1 ：仕様書無しさん：2020/02/14(金) 05:47:59 .net

機械学習やAIのコンペに参加して賞金ゲットしながらプログラマー力を上げようぜ！

Kaggle
https://www.kaggle.com/competitions

SIGNATE
https://signate.jp/competitions

Topcoder
https://www.kaggle.com/competitions

DrivenData
https://www.drivendata.org/competitions/

Zindi
https://zindi.africa/competitions

AIcrowd
https://www.aicrowd.com/challenges
機械学習・AIは時代の最先端！

70 ：仕様書無しさん：2020/06/13(土) 14:26:08 .net

>>69
前処理が難しい

71 ：仕様書無しさん：2020/06/30(火) 11:28:34 .net

前処理aとbとcを思いついて、全部突っ込んだらいい感じに重みつけて使ってくれると思ったんだけど、aとbだけにしたほうが精度良かったりする。何でかわからない。cがそんなに悪さをしている？？

72 ：仕様書無しさん：2020/07/25(土) 06:03:08 .net

ローカルで学習させてる人、マシンスペックはどんな感じ？

73 ：仕様書無しさん：2020/07/26(日) 10:08:15.02 .net

前処理の方が難しいよな。機械学習自体は大学一年レベル以上の数学的な知識を求められないけど
結局は前処理のところで理系の専門的な知識が必要になる
統計学の込み入った部分に手を入れられないようなエンジニアは、実務で精度を出せないだろう

74 ：仕様書無しさん：2020/07/29(水) 18:34:13 .net

前処理に統計必要なん？データすらもってない前提？

75 ：仕様書無しさん：2020/08/02(日) 19:59:35 .net

前処理に必要なのは学力よりセンス
この値なんか気持ち悪い、みたいな謎の感覚が重要

76 ：仕様書無しさん：2020/09/02(水) 13:45:11 .net

ほぼやるのは前処理だから
特徴をうまく作れれば精度もあがるけどそれが難しい
主要なモデルは大体ライブラリで実装されてるし
新しい手法は自分で実装しなきゃいけないけど

77 ：仕様書無しさん：2020/09/02(水) 22:59:25 .net

それ全然機械学習していないじゃ・・・

78 ：仕様書無しさん：2020/09/03(木) 10:10:44 .net

コンペで精度あげるには結局前処理とハイパーパラメーターの調整が主じゃないか
新しいモデルを実装して精度が上がるなら良いけど

79 ：仕様書無しさん：2020/09/15(火) 11:23:02.41 .net

特徴量エンジニアリング極めた方がいい？
でも、そのデータに熟知してないと良い特徴量にたどり着けない？

80 ：仕様書無しさん：2020/10/04(日) 05:12:24.92 .net

特徴量エンジニアリング勉強しようと思うと難しいなあ
signateの初心者向けコンペで詰まってる

81 ：仕様書無しさん：2020/11/01(日) 19:33:18.73 .net

Kaggleやるのに英語のハードル高い

82 ：仕様書無しさん：2020/12/27(日) 15:07:00.82 .net

前処理を専業でやり始める企業が増えてきたな。いつの間にかデータぶっこむだけでそれらしい結果が出てくるようになって、やっぱり文系最強ってなってそう。

83 ：仕様書無しさん：2021/01/01(金) 14:12:09.86 .net

>>79
そんなもんディープラーニングが勝手に判断するから不要になる

84 ：仕様書無しさん：2021/01/17(日) 17:29:35.23 .net

kaggle masterて日本人kagglerの上位何%なん？

85 ：仕様書無しさん：2021/01/29(金) 13:14:37.20 .net

質問すみません。ランダムフォレストでハイパーパラメータのチューニングなんですが、グリッドサーチいがいで早くて使いやすいやつないですか

86 ：仕様書無しさん：2021/01/29(金) 13:25:55.51 .net

ココ↓は？
https://twitter.com/rokkotsukasa/status/1338487930944323589
(deleted an unsolicited ad)

87 ：仕様書無しさん：2021/01/29(金) 16:57:22.99 .net

>>86
同じことを↓に投稿してみて
https://mevius.5ch.net/test/read.cgi/tech/1609459855/

88 ：仕様書無しさん：2021/02/02(火) 21:08:13.72 .net

>>85
ランダムフォレストとか全然使ったことないけど、ランダムサーチはグリッドサーチよりも早いらしい。でも、そもそもランダムフォレストはハイパーパラメータが少ないから、早さを出す必要があるかは場合によると思われ。

あと、そもそもランダムフォレスト自体が決定木の組み合わせだから、ランダムフォレスト同士を更に組み合わせるのもいけるかも？(オライリーの知識丸写し)

89 ：仕様書無しさん：2021/02/02(火) 21:45:14.43 .net

ありがとうございます。ランダムフォレストをさらに組み合わせるなんてできるんですね

90 ：仕様書無しさん：2021/02/09(火) 22:18:58.38 .net

optuna使っとけ

91 ：仕様書無しさん：2021/02/09(火) 22:38:56.08 .net

今ってデータ分析で前処理とかって自動でできるようになってるでしょ

92 ：仕様書無しさん：2021/03/06(土) 06:43:18.46 .net

kaggleの初心者向けの本だとどれがおすすめですか？
・スタートブック
・pythonで動かして学ぶ
・チャレンジブック

93 ：仕様書無しさん：2021/03/18(木) 16:15:23.44 .net

Kaggleのスレ存在してると思ったら誰もおらんやん
ちょいちょい糞コンペ開催されるから匿名でもの言える場所欲しいよな

94 ：仕様書無しさん：2021/04/04(日) 11:07:45.30 .net

前処理って慣れれば作業だから専業で儲かりそうだな。

95 ：仕様書無しさん：2021/04/04(日) 15:33:56.53 .net

既存の説明変数つかって新しい説明変数を自動的に作る方法ない？例えば最高気温、最低気温て説明変数あったら正解率上げるために自動的に気温差っていうカラム作ってくれるようなの

96 ：仕様書無しさん：2021/04/04(日) 15:35:48.98 .net

>>93 一応わかってると思うけど
進行中のコンテストはDiscussion以外で不用意な発言はやめてね

97 ：仕様書無しさん：2021/04/04(日) 15:41:09.72 .net

>>95
普通に自分で書けばいいじゃん、たいしたコード量でもないんだし

98 ：仕様書無しさん：2021/04/04(日) 23:41:27.22 .net

>>95
説明変数与えるより、パラメの調整だけして任せてしまった方が過学習しにくい

99 ：仕様書無しさん：2021/04/05(月) 05:42:16.52 .net

>>98
手法に何使うかとか含め場合によるし、
自分の経験上だと説明変数をうまく新設したほうが結果も良い

100 ：仕様書無しさん：2021/04/05(月) 17:49:03.54 .net

ありがとうございます

101 ：仕様書無しさん：2021/04/18(日) 00:21:43.61 .net

KaggleでSubmitしたら
Could not check whether submission is allowed.
が出るようになったんだけど、原因なんだろう。
前はできてたのに。

102 ：仕様書無しさん：2021/07/03(土) 13:22:38.81 .net

スレの勢いないな

103 ：仕様書無しさん：2021/07/17(土) 14:35:01.01 .net

Kaggleやる場合ってデータとかをローカルに落としてで作業しますか？
それともKaggle上のnotebookでし作業する方がいいですか？

104 ：仕様書無しさん：2021/07/21(水) 23:42:51.35 .net

初心者はとりあえずnotebookでええやろ

105 ：仕様書無しさん：2021/09/16(木) 00:38:55.26 .net

面白いコンペないよなあ
kaggleはほとんど画像分類ばっかになってしまったし

106 ：仕様書無しさん：2021/10/05(火) 18:51:22.72 .net

kaggleもうやらなくなったけど、
止められないんだね。
メールが死ぬまで届くわけか。
さすが米国のIT企業だな。

107 ：仕様書無しさん：2021/10/05(火) 21:49:07.37 .net

kaggleのスコアって未だに有難がられてるけど
トライ＆エラーで評価用データにフィットするようモデルを修正していけば、すぐにランクが上がるし意味無くないか

実務に役立つとは思えん

108 ：仕様書無しさん：2021/10/05(火) 22:15:59.10 .net

>>107
役には立たんよでも採用側がど素人だから
アホに吹き込まれたバズワードで「カグル カグル」とありがたがる

109 ：仕様書無しさん：2021/10/13(水) 22:56:34.84 .net

>>107
private

110 ：仕様書無しさん：2021/10/19(火) 10:35:33.96 .net

全然上位にいけないよぉ😭

111 ：仕様書無しさん：2021/10/21(木) 07:01:18.40 .net

>>110
新しい理論、アイデアを考える。

データにふさわしいチューニングをする。

テストで高得点を取れるようなデータで学習する。

他にも方法はある？

112 ：仕様書無しさん：2021/10/21(木) 09:17:11.33 .net

submissionの回数決まってるから思い付くまま実行もできないし
定番コードをメモしてコピペするしかないの？
ensembleとしてのstackingやらblendingは試行錯誤してる余裕ないよね

113 ：仕様書無しさん：2021/10/23(土) 00:57:59.43 .net

銅取りたいよぉ

114 ：仕様書無しさん：2021/10/23(土) 10:41:19.80 .net

銀か金取る勢いじゃないと銅行けないんじゃね
精神論だけど

115 ：仕様書無しさん：2021/10/23(土) 15:46:17.80 .net

銅って難易度を大学入試で例えるなら東工大レベル以上ですか？

116 ：仕様書無しさん：2021/10/23(土) 17:26:32.80 .net

違うんじゃない？(笑)

117 ：仕様書無しさん：2021/10/24(日) 15:45:00.82 .net

銅って上位何パーセントだっけ？1割？

118 ：仕様書無しさん：2021/10/24(日) 15:47:11.64 .net

>>116
ならどこ大学レベル？

119 ：仕様書無しさん：2021/10/24(日) 17:46:26.68 .net

MARCHとかその辺のちょい上側の学部じゃね？偏差値で言うなら63ぐらい
もっとも、個人戦の受験とチーム戦のkaggleじゃ色々と比べにくい話だが

120 ：仕様書無しさん：2021/10/25(月) 00:59:24.63 .net

チーム組んで、1subもせずにメダル持ってく奴もいるしね

121 ：仕様書無しさん：2021/10/28(木) 02:41:03.05 .net

メダル取れたら転職有利になりますか？

122 ：仕様書無しさん：2021/10/28(木) 03:44:37.80 .net

有利にはなるけど、それなりに知識や経験等がなければ面接で落とされるよ
特に転職だと前職での立ち位置とか業務内容との関わりとかの方が重視されるでしょ
（よほどの理由でもない限り転職でポテンシャル採用なんてしない

123 ：仕様書無しさん：2021/10/28(木) 10:12:39.89 .net

取れてなくても仕事はできるからね
コンペなんてスコア0.1の間に100人いるとかでしょ？ある程度できてればメダル無い人でも十分

124 ：仕様書無しさん：2021/10/28(木) 13:30:51.68 .net

>>122
> よほどの理由でもない限り転職でポテンシャル採用なんてしない

うちは若い人（25歳ぐらいまで）なら未経験者のポテンシャル採用してますよ。
ただしSPIテストで60以上（IQ120ぐらい）じゃないと面接に進めませんが。

125 ：仕様書無しさん：2021/10/28(木) 17:43:56.55 .net

働いた事もなく、まともな大学にすら進められなかったの曝け出して何してるんだ....
博士号持ちがストレートでも何歳だと思ってるんだ？

126 ：仕様書無しさん：2021/10/28(木) 18:46:55.80 .net

なんの話...？自分語り？

127 ：仕様書無しさん：2021/10/28(木) 18:47:37.19 .net

早慶でも理工だと7割院進学だからなあ
世間は高卒以下が5割超えてても一部の業界だと院卒が普通だったりするの
エッグいけどこういう格差が突如として露わになるの5chぽくて好こ

128 ：仕様書無しさん：2021/10/28(木) 18:50:22.29 .net

雉も鳴かずば撃たれまい

129 ：仕様書無しさん：2021/10/28(木) 20:01:00.08 .net

ケーン

130 ：仕様書無しさん：2021/10/29(金) 11:37:31.69 .net

>>125
俺は学部卒で就職して、
金を貯めて修士にいって、
途中勉強のため仕事を辞めて
修士取ったらまた就職して、
社会人として博士課程を過ごしました。

まじきつかったけど
本当に親切な先生に指導受ける
ことができて良かった。
社会人の俺にあわせて土曜日や
夜に研究指導していただいたので
感謝しかない。

働きながら博士号取るのを
おススメするが、指導教員が
よほど良い先生じゃないと
続かないと思います。

131 ：仕様書無しさん：2021/10/29(金) 11:49:14.95 .net

博士号なんて取んなくてもいい
米国なら違うだろうけど

132 ：仕様書無しさん：2021/10/29(金) 13:36:18.60 .net

>>131
将来海外で仕事するつもりなら取る価値ある
海外ではDr持ってると給料が高いから

133 ：仕様書無しさん：2021/10/29(金) 18:24:19.11 .net

博士号取ったら海外行きたいね

134 ：仕様書無しさん：2021/10/30(土) 15:27:41.45 .net

Kaggleやったことなくてコードもあんま書けないけどデータ関係の部署で5年間働いたことある人と、働いたことないけどKaggle金メダル持ってる人だとどっちが転職有利ですか？

135 ：仕様書無しさん：2021/10/30(土) 15:47:49.44 .net

>>134
前者

136 ：仕様書無しさん：2021/10/30(土) 17:39:39.36 .net

>>135
ソースは？

137 ：仕様書無しさん：2021/10/30(土) 19:51:33.10 .net

>>134
前者がどういう人だよ
kaggleやったことないまでは普通にいるとしても、
データ関連の部署で数年働いていてコードもあんま書けないって
スキル構成はどうなってるんだ？そもそもデータ関連の部署で何やってる想定？

138 ：仕様書無しさん：2021/10/31(日) 13:09:36.27 .net

データ関係の部署ってマーケティングかDBサーバの管理者かで大分違うし
Kaggle金メダル持ってるだけの人はSQLに疎かったりする

139 ：仕様書無しさん：2021/10/31(日) 13:12:14.92 .net

例えの話なんだから熱くなんなよ。。。

140 ：仕様書無しさん：2021/11/01(月) 01:40:31.62 .net

ベンダー管理と社内調整で自分は技術的なことするわけではないポジションだろ

141 ：仕様書無しさん：2021/11/01(月) 13:18:21.92 .net

>>140
それって理系の仕事なんですか？

142 ：仕様書無しさん：2021/11/07(日) 21:59:34.47 .net

このスレって働いたことある奴いないのか？

143 ：仕様書無しさん：2021/11/10(水) 22:15:22.88 .net

>>141
数少ない高学歴の理系が、コミュ力しか要求されない仕事で無駄に浪費されるのが悲しい現実

144 ：仕様書無しさん：2021/11/10(水) 22:56:34.33 .net

高学歴は一つのことに力注ぐより、たくさんプロジェクト持って回してく方が効率いいから会社はそうなってる

145 ：仕様書無しさん：2021/11/10(水) 23:03:56.66 .net

人の管理だけはできない

146 ：仕様書無しさん：2021/11/11(木) 11:02:43.04 .net

データサイエンティストって価値あるの？
普通のエンジニアがauto ML使う方が良くない？

147 ：仕様書無しさん：2021/11/11(木) 11:21:28.20 .net

統計的手法と機械学習、深層学習を使ってデータの海から役に立ちそうなデータを掘り起こしてビジネス的な課題を解決するのがデータサイエンティストとかなんとか本に書いてたぜ
どちらかというとデータアナリストとかコンサルタントに近いな
知らんけど！

148 ：仕様書無しさん：2021/11/11(木) 11:23:21.45 .net

まあつまりは、価値あるじゃんってことやな
深層学習が特徴表現学習としての側面を持ってる限りは

149 ：仕様書無しさん：2021/11/11(木) 11:24:30.70 .net

データサイエンティストというのは
分析と共に結果を説明することも仕事のうち。
結果をきちんと説明できるなら、
autoML使うのはいいかもしれないとは思ってる。
でも、なかなか説明できないでしょ？

おれは、そのあたりが得意で、
客には適当に考えたことを客に説明して納得してもらってる。
そういう説明力が重要なんだよ。
詐欺コンサルと同じだね！

150 ：仕様書無しさん：2021/11/11(木) 11:30:57.35 .net

データサイエンティストはコンサルとか営業面の方が強いよ
企業によるだろうけど、事業会社内のデータサイエンティストは実際にプログラミングゴリゴリ書くことほとんどない
社内のいろんな部署とヒアリングして、高度な分析必要な案件発掘したら開発はベンダー任せだからベンダーコントロール
上でも書かれてるのと似てる
ちなみに機械学習とか使うような案件あんまないからそのうち社内廃業しそう

151 ：仕様書無しさん：2021/11/11(木) 11:34:21.12 .net

追記だか結果の説明とかも苦労するところ
なんも分からないお偉いさんにどういう理由でこの結果になったのかとか説明する
AIなんだから100%当てろみたいなおっさんの相手するのがデータサイエンティストだよ
嫌なら研究者になった方がいい

152 ：仕様書無しさん：2021/11/11(木) 14:22:37.85 .net

＞　データサイエンティストはコンサルとか営業面の方が強いよ

いえてる！

＞　AIなんだから100%当てろみたいなおっさんの相手するのがデータサイエンティストだよ

ワロタ！
先日も大阪に本社のある大企業の部長が
「90％以上あたらないならAIなんて使わない！」と言って、
契約を切られたと営業から聞きました。
その会社の仕事は終わりました(笑)

153 ：仕様書無しさん：2021/11/11(木) 23:29:12.83 .net

うちの自動運転は１０％ぐらいの確率で人が歩いてるのを認識できません

154 ：仕様書無しさん：2021/11/11(木) 23:50:48.62 .net

現実の適用場面を考えると
100%じゃないと使い物にならないことか
多いからなあ
99%でも残りの1%をどうしてくれるのか?
人間がずっと見ていて処理するのか?
それだったら人間がずっと見ていれば済むし

155 ：仕様書無しさん：2021/11/12(金) 09:26:06.67 .net

何をやるかによる
為替の予測なら60%くらい当たればいいだろ

156 ：仕様書無しさん：2021/11/12(金) 20:55:53.89 .net

データサイエンティストコンプばっかだな

157 ：仕様書無しさん：2021/11/13(土) 14:20:49.72 .net

Kaggleでメダル取れればGoogleとかで働けますか？

158 ：仕様書無しさん：2021/11/13(土) 14:32:15.78 .net

(ヾﾉ・∀・｀)

159 ：仕様書無しさん：2021/11/13(土) 16:49:15.28 .net

Googleはメダル渡す側

160 ：仕様書無しさん：2021/11/13(土) 21:04:43.68 .net

>>157
AAAIとかIJCAIに通すぐらいの実力がないとだめ

161 ：仕様書無しさん：2021/11/13(土) 23:43:48.26 .net

>>160
何それ？

162 ：仕様書無しさん：2021/11/14(日) 02:19:08.27 .net

>>161
AIのトップレベルの国際会議

163 ：仕様書無しさん：2021/11/14(日) 15:20:25.97 .net

dockerは使った方がいいですか？

164 ：仕様書無しさん：2021/11/14(日) 16:41:49.41 .net

どう言った問題がでるの？

165 ：仕様書無しさん：2021/11/14(日) 22:40:32.54 .net

Kaggleでメダル取った応用で株の収益モデルを作れば働かなくてもいいじゃん
客の無理難題より簡単よ

166 ：仕様書無しさん：2021/11/15(月) 11:53:44.91 .net

機械学習と人工知能ってどっちが凄い？

167 ：仕様書無しさん：2021/11/15(月) 16:40:32.59 .net

人工知能の定義からしないといけないな

168 ：仕様書無しさん：2021/11/15(月) 21:18:12.02 .net

機械学習と凄いの定義も必要だな

169 ：仕様書無しさん：2021/11/16(火) 00:52:57.77 .net

>>166
なんだか馬鹿すぎて
一周回ってかわいく思えてきたｗ