データ分析

はじめに 今回はビン分割の方法を扱います。ビン分割は連続データを区切ってカテゴリ分けする操作です。年齢を年代別にしたり、体重を階級別にしたりするような操作となります。pandasにcut( ),qcut( )が用意されています。この違い...

はじめに 今回はPythonライブラリのosモジュールとglobモジュールを扱います。osモジュールはosに依存する機能を利用するためのものです。globは指定したパターンにマッチするファイルパスを取得することができます。これらを組み合...

はじめに 今回は久しぶりにPythonに戻って、pandasのcumsum( ) メソッドを扱います。cumsum( )は累積和を計算してくれます。毎日の売上データがあるときに、累積の売上を計算して、計画に対してどのくらい進捗しているの...

はじめに 今回も事例列データを扱う際によく利用する処理をみていきます。rolling( )メソッドです。 rolling関数は窓関数と呼ばれるものを指定した要素の数の幅だけ適用する関数となっており、窓関数を適用することでそれぞれ...

はじめに 今回も時系列データを処理する際によく利用するものを見ていきましょう。pandasのshift( ) メソッドとrolling( )メソッドです。shift( )はデータをズラすことができます。通常、diff( )メソッドがあれ...

はじめに 今回はdiff( ), pct_change( )を扱いましょう。これらは時系列データの処理をするときによく使うpandasのメソッドです。diff( )は行・列の差分をpct_change( )は行・列の変化率を簡単に算出す...

はじめに 今回は、forループでリストなどの要素を取り出すときに便利なenumerate( )とzip( )について扱います。enuerate( )は要素と同時にインデックスをも取り出したいとき、zip( )は複数のリストから同時に要素...

Python初心者の方向けに、ある基準の日時からの経過時間を扱う方法を基本から解説します。経過時間を扱う場合は、datetime型ではなくtimedelta型のtotal_seconds()が有効です。時系列データははじめは扱いにくいですが、慣れてしまえば簡単です。

はじめに このブログでも、これまで何度もpandas.mergeを使ってきました。いつも決まった操作ばかりだったので不便はなかったのですが、他にもできることあるのでは？とあらためてpandas.mergeをとりあげることにしました。 ...

はじめに 今回は分類モデルの性能評価指標について考えてみます。性能評価指標は複数あり、設定した課題によってどの指標を重視するかは異なります。この性能評価の各指標を簡単に確認することができる、混同行列もご紹介します。 性能評価指標 性...

Python初心者向けにk-分割交差検証を基本から解説します。データをk個に分割してn個を訓練用にk-n個をテスト用に使うということを、分けられたn個のデータが必ず1回はテスト用に使われるように繰り返します。過学習を防ぎ汎化性能を得ることができます。