データ分析の効率化

Datatableでデータサイエンスの効率化をしたい(アソシエーションルール)

↓この続きです。 esu-ko.hatenablog.com 今回はアソシエーションルールに関してです。 アソシエーションルールはグラフ作成などではなく、 結果データを各指標やfrom/toで繰り返しソートしたくなります。 ▼アソシエーションルールはこちら esu-ko.hatenablog…

パラメータを変えて正規分布グラフを書きたい(sympyを使う)

確率分布を試しに書く際、データを発生させたりせず試したかったので、数式を扱うsympyで書いてみました。 使うもの # 描画 from sympy.plotting import plot # 数式 from sympy import symbols # 計算 from sympy import exp,pi,sqrt ▼上を読んで「ん?」と…

ipywidgetでデータサイエンスの効率化をしたい(重回帰分析)

これの続きです。 esu-ko.hatenablog.com 基本機能は上記で終わっているので、 今回は目的変数を足してみます。 変更点 ドロップダウンで目的変数を足すことにします。 dp = wi.Dropdown( options=bos.columns, disabled=False ) 使うモデルを回帰にします。…

ipywidgetでデータサイエンスの効率化をしたい(KMeans)

分析をしていると、少しだけ変数を変えたいが、同じ処理をいくつか試したい、ということがあります。 短期間であれば、ループを回し変数を変える、でいけるのですが、 やや時間があきながらやる場合、めんどくさいな、と思います。 逆にGUIツールを使うと、(…

Pandasでよくあるエクセル処理を自動化したい

エクセル業務を自動化する時に、Pandasで使うレシピです。 想定手順は ファイルの読み込み 各シートの結合 集計 見た目を整える 画像で出力 です ファイルを読み込む sheet_name = Noneにすることで、 全てのシートをdictで取得することができます。 import …

複数のデータフレームを関数ひとつでmergeしたい(再帰を使う)

小ネタです。複数のデータをmergeする必要があり、見通しが悪くなるときに時々使っています。 使用するデータが頻繁に変わる時に、使うデータだけ管理すれば良いので再実行が楽です。 ※concatは複数渡せるのですが、mergeは渡せないため 再帰するマージを定…