2017/10/02 [長年日記]
_ 時系列データを扱うことについての今日の学び
- 時間情報、対象(目的変数)は絶対必要。他に説明変数を付け加えることで精度が向上できる。
- モデルを生成するためには、「今から予測地点」までの期間Aを過去に遡って見たときに、”期間A”より前のデータを使う必要あり。これは、モデルに使ってよい時系列データ期間という意味であり、期間Aよりも後の時系列データを使うと、「未来を知ったデータで予測」することになりNG
- 時系列データを扱う場合の交差検定(CV)の考え方
T:学習用データ V:検定用データ 時系列でない場合は TTTTV TTTVT TTVTT TVTTT VTTTT 時系列データならばこうする TTTTV TTTTV TTTTV TTTTV TTTTV
- モデルの良しあしは、「検定用データ」がどれだけうまく説明できるか。モデル高めるために、説明できていない変数を見直す。
- 周期性パターンを把握する。パターン変動がある場合、説明変数にパターンを説明する特徴量を加えて考えてみる。(1日のうちに特定の変動がある、特定の月、など)
- 長期のデータを用意する(パターンが複数回発生するトレーニングデータ)。
- 原因が説明変数として入っていない変数は手動で排除・修正など前処理する。起きる頻度が非常に少ない事柄について、手動で目的変数の影響を処理しておく。(普段は変化がないのに、急激に変化してすぐ戻る場合)
特に最後のあたりは、先日「データよりアイデアを重んじる」と学んだことに近い考えだと思う。