データ分析

Python

Python基礎：shift()メソッド

はじめに 今回はshift()メソッドを扱います。 行や列の差分や変化率を取得するには、shift()を使わなくても、diff()やpct_change()で同じことができます。ただ時系列データを扱うときには、ずらす幅（期間）を指定でき...
2020.06.282021.11.19
Python
Python

Python初心者向け：rank( )メソッドを基本から解説

Python初心者でもわかるようにrank( )メソッドを基本から説明していきます。データ分析の過程で順位付けをするシーンで活躍するのがrank( )メソッド。rank( )は並び替えず順位を返すメソッドです。順位を列項目として持たせることもできます。
2020.06.282021.11.19
Python
Python

Python初心者向け：日付の処理を基本から解説

Python初心者の方向けに日付の処理方法を基本から解説します。日付型の処理にはパターンがあります。まずは文字列型→日付型の変換、次に数値型→日付型の変換を確認しましょう。数値型はyymmddのものか、UNIX時間であるかによって処理方法がことなります。
2020.06.272021.11.19
Python
Python

Python初心者向け：正規表現を実際の利用例で解説します。

Python初心者でもわかるように、正規表現の実際の利用例をあげて基本から解説していきます。データ分析をするときに実際に出会う処理を例として扱うので、正規表現が実際にどのように使われるかがわかります。例を交えることで他のパターンにも応用することができるようになります。
2020.06.272021.11.19
Python
Python

Python初心者向け：正規表現を基礎から解説します。

Python初心者でもわかるように正規表現の基礎を基本から解説します。まずは、基本的なパターンである特殊シーケンスを整理して、その後reモジュールの説明をおこないます。 正規表現は難しいですが、データ分析の中のちょっとした加工ならそんなに敷居は高くありません。
2020.06.272022.04.16
Python
Python

Python基礎：ベン図を描く

Python初心者の方向けにベン図の描き方を基本から解説します。ベン図は複数の集合の関係や集合の範囲を視覚的に表す場合に用います。 この記事を読むことで、matplotlib_vennというライブラリを用いて誰でもベン図を描けるようになります。
2020.06.072021.11.19
Python
Python

Python基礎：transformメソッド

はじめに データ分析では、グループ化をして平均値や中央値などの統計量を求めることがあります。これはGroupByオブジェクトのaggメソッドを使います。さらに、グループ化されたデータに対して変形する操作も少なくありません。今回はこの変形...
2020.05.232021.11.19
Python
Python

Python基礎：whereメソッド

はじめに データ分析をしている中では、データフレームの要素を参照して、条件に基づいて値を変更したい場面がありますよね。 ある条件のときは、'a'、ある条件のときは'b'とする、のようなイメージです。今回はこれを実現する、whereメソッ...
2020.05.232021.11.19
Python
Python

Python基礎：for文とbreak文とcontinue文

はじめに 今回はfor文、break文、continue文を扱います。for文による繰り返し処理は、break文とcontinue文をつかうことで制御フローを変更することができます。まずは、for文による繰り返し処理、その次に制御フロー...
2020.05.232021.11.19
Python
Python

Python基礎：クロス集計

はじめに 今回はクロス集計を扱います。クロス集計は目に触れる機会も多く、なじみ深い人も多いのではないでしょうか？情報を整理して捉えやすいので、便利ですよね。EXCELではなじみにある集計方法ですね。今回はPythonでクロス集計する方法...
2020.05.232021.11.19
Python
Python

Python基礎：JSONファイルの書き出し/読み込み

はじめに JSONはデータの受け渡しに広く使われるデータ形式です。機械学習でもWebAPIからデータを取得した場合は、この形式になっていることが多いため、目に触れる機会も多いと思います。今回は、このJSON形式を扱います。 サンプルデ...
2020.05.232021.11.19
Python
Python

Python基礎：関数処理

はじめに 今回はpandasのオブジェクトに対して関数を適用する方法について扱います。シリーズやデータフレームに対して、関数を適用したいことがありますよね。 pandasのシリーズとデータフレームはNumpyの関数を直接適用するこ...
2020.05.232021.11.19
Python
Python

Python初心者向け：縦持ちデータと横持ちデータの変換

Python初心者向けに、「横持ち(wide)」と「縦持ち(long)」の変換を基本から解説します。まずは横持ち・縦持ちデータとはどういうものかを確認して、お互いの変換の 仕方を確認します。データ形式を理解したうえでデータ変形ができるようになりましょう。
2020.05.172021.11.19
Python
Python

Python基礎：重複データの取り扱い

はじめに はじめて扱うデータや自分の複数のテーブルを組み合わせた場合は、重複データの確認をおこなうようにしましょう。重複データが生じる要因は様々でです。単純にデータが重複している場合もあれば、人的ミスによる場合もあります。pandasの...
2020.05.172021.11.19
Python
Python

Python基礎：交差検証について

はじめに 前回はLightGBMを使用するときの手順を学びました。 このとき、Cross Validation（交差検証）に関しては、詳しい説明は省いたので、今回あらたに取り上げたいと思います。Scikitlearnを...
2020.05.172021.11.19
Python
Python

Python初心者向け：LightGBMを実装する際の手順

Python初心者の方向けにLightGBMについて、基本的な部分からまとめます。データ量が多くても比較的高速で、精度もでるアルゴリズムなので、ぜひ使えるようになりましょう。パラメータが多いですが、できるだけわかりやすくまとめていきます。
2020.05.102021.11.19
Python
Python

Python初心者向け：LightGBMを実装を基本から解説

Python初心者の方向けにLightGBMの実装を基本から解説します。irisとTitanicというい慣れた2つのデータセットでまずはLightGBMの実装に慣れてしまいましょう。この記事で誰でもLightGBMを試すことができます。
2020.05.092021.11.19
Python
Python

Python初心者向け：決定木とランダムフォレストを可視化する

Python初心者の方向けに、ツリー系のアルゴリズムである決定木とランダムフォレストの可視化の方法を基本から解説します。サンプルデータで、まず決定木で分類をおこない次にランダムフォレストで分類して比較します。各特徴量の重要度の可視化もできるようになります。
2020.05.062021.11.19
Python
Python

東京都のコロナウィルス感染者数について～データを眺める～

はじめに 今回も東京都のコロナウィルス感染者数のデータを扱うことにしましょう。今回はpandasを使うことにします。pandas_profilingを使ってデータを眺めて、次にいくつかの描画をすることにします。 データの取得の仕方...
2020.05.052021.11.19
Python
Python

東京都のコロナウィルスの感染者数について～移動平均をプロット～

はじめに 前回に引き続き、東京都のコロナウィルスの感染者数のデータを扱います。今回もpandasを使わずに扱う場合と、pandasを使って扱う場合の2通りでやってみましょう。前回は日々の新規感染者数の変化をプロットしましたが、これでは傾...
2020.05.052021.11.19
Python
次のページ