Python Python初心者向け:関数を使って数値データをカテゴリ化する Python初心者の方向けに関数を使って数値データをカテゴリ化する方法を基本から解説します。pandasには、cut( ) やqcut( )という数値データをカテゴリ化するためのメソッドがあらかじめ用意されています。今回はこのメソッドの使い方を基本から解説します。 2020.08.01 2021.11.19 Python
Python Python初心者向け:stack()/unstack()で行と列を自由に入れ替える Python初心者の方向けに行と列を自由に入れ替える方法を基本から解説します。stackは「積む」という意味なので、stack/unstackは積んだり崩したりするということです。行方向に「積む」のか「崩す」のかと考えるとわかりやすいですね。 2020.08.01 2021.11.19 Python
Python Python初心者向け:数値データのカテゴリ化を基本から解説 Python初心者向けに数値データのカテゴリ化について基本から解説します。データを集計する際に各年齢をそのまま扱うよりも年代別のようにカテゴリ化したほうが、傾向がみやすくなることがあります。この記事をよむことで数値データをカテゴリとして扱う方法がわかります。 2020.07.29 2021.11.19 Python
Python Python初心者向け:分散/標準偏差を基本から解説します Python初心者の方向けに分散と標準偏差について基本から説明します。分散には標本分散と不偏分散、標準偏差には標本標準偏差と不偏標準偏差とがあります。使うライブラリによってdefaultで計算するものが異なるので、これを意識して整理しておきましょう。 2020.07.26 2021.11.19 Python
Python Python基礎:query()メソッドについて はじめに 今回は、query()メソッドを扱います。query()メソッドは、pandas.DataFrameのメソッドで、条件に合致したデータを取り出すときに使います。角括弧にブール値のリストを指定するよりも簡単に詳細な条件を指定すること... 2020.07.26 2021.11.19 Python
その他 リレーショナルデータベースの正規化について はじめに 今回はデータベースについてです。まったく知らなかった内容なのですが、データサイエンス100本ノックで、必要となったので調べました。せっかくなので備忘録で残しておきます。以下のページを参考にさせていただきました。 テーブル正規化の種... 2020.07.26 2021.11.19 その他
Python Python初心者向け:最頻値を基本から解説 Python初心者向けに最頻値を基本から解説します。最頻値は『一番出現頻度の高い値』のことです。シリーズを対象とする場合、データフレームを対象とする場合を例に解説します。最後にgある特徴量ごとに別の特徴量の最頻値を求める例を見ていきましょう。 2020.07.26 2021.11.19 Python
Python Python初心者向け:sklearnで正規化する方法を解説 Python初心者向けにsklearnライブラリを使った正規化の方法を基本から解説します。sklearnの前処理前処理を扱う機能(preprocessing)には、たくさんのメソッドがありますが、今回はこの中のscaleメソッドを用いた正規化を基本から解説します。 2020.07.24 2021.11.19 Python
Python Python初心者向け:sklearnで標準化する方法を解説 Python初心者向けにsklearnライブラリを使った標準化の方法を基本から解説します。sklearnの前処理前処理を扱う機能(preprocessing)には、たくさんのメソッドがありますが、今回はこの中のscaleメソッドを用いた標準化を基本から解説します。 2020.07.23 2021.11.19 Python
Python Python初心者向け:Jupyter notebookで変数一覧を表示する Python初心者の方向けにJupyter notebookの設定について基本から解説します。データ分析をしていて、自分で設定した変数がわからなくなってしまうことないですか?そんなときに便利なのが、変数一覧を表示する機能です。誰でも簡単に設定することができます。 2020.07.19 2021.11.19 Python
Python Python基礎:Jupyter Notebookの使い方 はじめに 今回は、Pythonでデータ分析をするときに使うJupyterNotebookについて扱います。知っておくと便利なショートカットのうち、よく使うものだけをご紹介します。もちろん、ショートカットはたくさんあるので、今回ご紹介するもの... 2020.07.19 2021.11.19 Python
Python Python初心者向け:連続した日付リストの作り方を基本から解説 Python初心者の方向け向けに連続した日付のリストをつくる方法を基本から解説します。EXCELでデータを扱うときでも、今日までのデータが手元にあって、未来日の予想をすることがありますよね。そのときには、未来の日付のリストが欲しくなります。今回はこの方法を確認していきましょう。 2020.07.19 2021.11.19 Python
Python Python初心者向け:グラフのグリッド表示を基本から解説 Python初心者の方向けにグラフのグリッド表示を基本から解説します。グリッドの行と列に特徴ごとに分けられたグラフを作成するのに役立ちます。今回はPairGrid()、pairplot()、FacetGrid() の使い方をマスターしましょう。 2020.07.12 2021.11.19 Python
その他 ER図について はじめに 今回はPythonから離れて、ER図を扱います。データ分析をするときに、複数のデータソースの関係を表すのにER図が提供される場合があります。ER図はデータの関連を示すので、これを読み解けなければ困ってしまいますね。今回は、基本的な... 2020.07.12 2021.11.19 その他
Python Python基礎:Numpy はじめに 今回はNumpyを扱います。NumpyはPythonの数値計算ライブラリです。ベクトルや行列など、機械学習で必要となる形式のデータを簡単に扱うことができるようになります。基本的なことから順に一見て整理をしていくことにしましょう。 ... 2020.07.11 2021.11.19 Python
Python Python初心者向け:標準化/正規化という用語の使い分けについて Python初心者向けにデータの前処理である準化・正規化について基本から解説します。この用語の明確な使い分けが定義されているわけではないようです。ここでは、各項目を説明する前に、このブログの中での意味の使い分けを説明しておきます。 2020.07.05 2021.11.19 Python
Python Python初心者向け:タイムゾーンの処理を基本から解説 Python初心者の方向けにタイムゾーンの扱い方を基本から解説します。サーバーが海外にあって、ログが現地時間になっていることがありますね。タイムゾーンを扱えると、現地時間→日本時間を簡単に変換することができます。サマータイムも考慮してくれるので便利です。 2020.07.04 2021.11.19 Python
Python Python初心者向け:日時の加算・減算の操作を基本から解説 Python初心者向けに日時の加算・減算の操作を基本から解説します。これまで文字列型や数値型の日付データを日付型に変換する方法を学びました。今回は日付型に変換した後の処理をdatetimeクラスとdateutilクラスを使っておこないます。 2020.07.04 2021.11.19 Python
Python Python基礎:get_dummies() はじめに カテゴリデータを利用して機械学習を行う場合は、数値データに置き換える必要がります。但し、単純に数値に置き換えると大小関係を持ってしまうため、正しい学習ができません。ここではワンホットエンコーディングという1または0の値を持つカテゴ... 2020.06.29 2021.11.19 Python
Python Python基礎:map() はじめに 今回はmap()を扱います。普段、apply()の利用で事足りているのですが、一度、map()についても整理しておきましょう。mapにしてできない処理、として辞書を使った変換があります。これは便利なので是非、活用しましょう。 とこ... 2020.06.28 2021.11.19 Python