Python

Python初心者向け:sklearnで正規化する方法を解説

Python初心者向けにsklearnライブラリを使った正規化の方法を基本から解説します。sklearnの前処理前処理を扱う機能(preprocessing)には、たくさんのメソッドがありますが、今回はこの中のscaleメソッドを用いた正規化を基本から解説します。
Python

Python初心者向け:sklearnで標準化する方法を解説

Python初心者向けにsklearnライブラリを使った標準化の方法を基本から解説します。sklearnの前処理前処理を扱う機能(preprocessing)には、たくさんのメソッドがありますが、今回はこの中のscaleメソッドを用いた標準化を基本から解説します。
Python

Python初心者向け:Jupyter notebookで変数一覧を表示する

Python初心者の方向けにJupyter notebookの設定について基本から解説します。データ分析をしていて、自分で設定した変数がわからなくなってしまうことないですか?そんなときに便利なのが、変数一覧を表示する機能です。誰でも簡単に設定することができます。
Python

Python基礎:Jupyter Notebookの使い方

はじめに 今回は、Pythonでデータ分析をするときに使うJupyterNotebookについて扱います。知っておくと便利なショートカットのうち、よく使うものだけをご紹介します。もちろん、ショートカットはたくさんあるので、今回ご紹介する...
Python

Python初心者向け:連続した日付リストの作り方を基本から解説

Python初心者の方向け向けに連続した日付のリストをつくる方法を基本から解説します。EXCELでデータを扱うときでも、今日までのデータが手元にあって、未来日の予想をすることがありますよね。そのときには、未来の日付のリストが欲しくなります。今回はこの方法を確認していきましょう。
Python

Python初心者向け:グラフのグリッド表示を基本から解説

Python初心者の方向けにグラフのグリッド表示を基本から解説します。グリッドの行と列に特徴ごとに分けられたグラフを作成するのに役立ちます。今回はPairGrid()、pairplot()、FacetGrid() の使い方をマスターしましょう。
その他

ER図について

はじめに 今回はPythonから離れて、ER図を扱います。データ分析をするときに、複数のデータソースの関係を表すのにER図が提供される場合があります。ER図はデータの関連を示すので、これを読み解けなければ困ってしまいますね。今回は、基本...
Python

Python基礎:Numpy

はじめに 今回はNumpyを扱います。NumpyはPythonの数値計算ライブラリです。ベクトルや行列など、機械学習で必要となる形式のデータを簡単に扱うことができるようになります。基本的なことから順に一見て整理をしていくことにしましょう...
Python

Python初心者向け:標準化/正規化という用語の使い分けについて

Python初心者向けにデータの前処理である準化・正規化について基本から解説します。この用語の明確な使い分けが定義されているわけではないようです。ここでは、各項目を説明する前に、このブログの中での意味の使い分けを説明しておきます。
Python

Python初心者向け:ディレクトリ配下のファイルをすべて読み込む

Python初心者でもわかるように、仕事の効率化に活かせる使い方をまとめています。ディレクトリ配下にあるファイルのファイル名やパスを一覧で取得したり、これらのファイルすべてを読み込みたいということもあると思います。これらを手作業でやるのは大変ですね。Pythonで自動化しましょう。
Python

Python初心者向け:タイムゾーンの処理を基本から解説

Python初心者の方向けにタイムゾーンの扱い方を基本から解説します。サーバーが海外にあって、ログが現地時間になっていることがありますね。タイムゾーンを扱えると、現地時間→日本時間を簡単に変換することができます。サマータイムも考慮してくれるので便利です。
Python

Python初心者向け:日時の加算・減算の操作を基本から解説

Python初心者向けに日時の加算・減算の操作を基本から解説します。これまで文字列型や数値型の日付データを日付型に変換する方法を学びました。今回は日付型に変換した後の処理をdatetimeクラスとdateutilクラスを使っておこないます。
Python

Python基礎:get_dummies()

はじめに カテゴリデータを利用して機械学習を行う場合は、数値データに置き換える必要がります。但し、単純に数値に置き換えると大小関係を持ってしまうため、正しい学習ができません。ここではワンホットエンコーディングという1または0の値を持つカ...
Python

Python基礎:map()

はじめに 今回はmap()を扱います。普段、apply()の利用で事足りているのですが、一度、map()についても整理しておきましょう。mapにしてできない処理、として辞書を使った変換があります。これは便利なので是非、活用しましょう。 ...
Python

Python基礎:shift()メソッド

はじめに 今回はshift()メソッドを扱います。 行や列の差分や変化率を取得するには、shift()を使わなくても、diff()やpct_change()で同じことができます。ただ時系列データを扱うときには、ずらす幅(期間)を指定でき...
Python

Python初心者向け:rank( )メソッドを基本から解説

Python初心者でもわかるようにrank( )メソッドを基本から説明していきます。データ分析の過程で順位付けをするシーンで活躍するのがrank( )メソッド。rank( )は並び替えず順位を返すメソッドです。順位を列項目として持たせることもできます。
Python

Python初心者向け:日付の処理を基本から解説

Python初心者の方向けに日付の処理方法を基本から解説します。日付型の処理にはパターンがあります。まずは文字列型→日付型の変換、次に数値型→日付型の変換を確認しましょう。数値型はyymmddのものか、UNIX時間であるかによって処理方法がことなります。
Python

Python初心者向け:正規表現を実際の利用例で解説します。

Python初心者でもわかるように、正規表現の実際の利用例をあげて基本から解説していきます。データ分析をするときに実際に出会う処理を例として扱うので、正規表現が実際にどのように使われるかがわかります。例を交えることで他のパターンにも応用することができるようになります。
Python

Python初心者向け:正規表現を基礎から解説します。

Python初心者でもわかるように正規表現の基礎を基本から解説します。まずは、基本的なパターンである特殊シーケンスを整理して、その後reモジュールの説明をおこないます。 正規表現は難しいですが、データ分析の中のちょっとした加工ならそんなに敷居は高くありません。
Python

Python基礎:ベン図を描く

Python初心者の方向けにベン図の描き方を基本から解説します。ベン図は複数の集合の関係や集合の範囲を視覚的に表す場合に用います。 この記事を読むことで、matplotlib_vennというライブラリを用いて誰でもベン図を描けるようになります。