データ分析

Python

Python基礎:APIをたたく

はじめに 今回はPythonでAPIを用いてデータを取得する方法を扱います。世の中には様々なサービスがあって、APIが公開されています。APIを利用することでそのサービスに関するデータを簡単に取得することができます。APIの基本を身につけ...
Python

Python基礎:map, apply, applymap

はじめに 今回はPandasのデータに関数を適用させる方法を扱います。このblogでもこれまで使っていましたが、一度、整理しておきましょう。扱うのはmap, apply, applymapです。順にみていきましょう。 サンプルデータ サン...
Python

Python基礎:決定木の解釈

はじめに これまでも何回か扱ってきた決定木ですが、今回は決定木を可視化して解釈する部分を解説します。決定木分析を使うのは、結果の説明を求められるときが多いかと思います。そこで、可視化した結果をどのように解釈して説明すればよいのか、を考える...
Python

Python基礎:pandasの表示設定

はじめに 今回はpandasの表示設定の方法についてご紹介します。データフレームを表示させたときに、「小数点以下はこんなに表示しなくていいのに」「この列の幅が大きいから全部表示できない」なんてことはなかったですか?今回は表示関する設定を扱...
Python

Python基礎:変数に条件を代入する

はじめに 今回はpandas データフレームから条件に合致した行を抽出する方法をおさらいします。真偽値を使った方法では、変数に条件を代入する方法についても紹介します。条件を変数に入れてしまうことで、条件を変更していろいろ試すのが簡単になり...
Python

Python初心者向け:グラフを並べて比較する方法を基本から解説

Python初心者の方向けに複数のグラフを並べて比較する方法を基本から解説します。グラフを描くことでよりデータを理解しやすくなります。さらにグラフ同士を並べて比較することで見えてくるものもあります。複数のグラフをつぎつぎと描いて、それを比較する方法を学びましょう。
EXCEL

EXCEL:PowerQuery~データソースの変更~

はじめに 今回は久々にEXCEL PowerQueryの投稿です。これまでEXCELでデータの前処理や自動処理のやり方を説明してきました。今回は(列項目などのフォーマットは同じ)別のデータを取り込む際に必要となる、データソースの変更につい...
Python

Python初心者向け:SQLiteを使う準備 ~データベースの作成~

Python初心者でもSQLiteが使えるように基本から解説していきます。前回、インストールしたDB Browser for SQLiteを使って、データベースを作成していきます。DB Browser for SQLiteはGUIなので直観的な操作で簡単に扱うことができます。
Python

Python初心者向け:DB Browser for SQLiteのインストール手順の解説

Python初心者でもデータベースのデータの読み書きができるように基本から解説します。ここではWindowsでSQLiteを扱うときに便利なGUIツールであるDB Browser for SQLiteのインストール手順を説明します。
Python

Python初心者向け:ピボットテーブルの詳細を基本から解説

Python初心者の方向けに、ピボットテーブルの使い方の詳細を基本から解説します。まずは基本的な使い方をおさらいしてから、クロス集計時に適用する関数の変更や、項目ごとに変更する方法をお伝えします。これを読むことで、ピボットテーブルが使いこなせるようになります。
Python

Python初心者向け:データフレームの行と列の入れ替えて表示する

Python初心者の方向けにデータフレームの行と列を入れ替える方法を基本から解説します。データを眺めていると、なんか見にくいということがありますよね。そんなときに行と列の入れ替えだけでみやすくなるということもあります。簡単な操作で一発で入れ替えができるので、ぜひ使ってみてください。
Python

Python初心者向け:クロス集計を思い通りの表示にする方法を解説

Python初心者の方向けに、ピボットテーブルの集計結果を思い通りにする方法を基本から解説します。前回の投稿で、求められる状況によっては、pivot_table()で集計したままのデータでは十分ではないケースをお伝えしました。今回は解決方法をお伝えします。
Python

Python初心者向け:クロス集計の際の注意点を解説

Python初心者向けにクロス集計の際の注意点を基本から解説します。ピボットテーブルを使った集計結果は思い通りのフォーマットになっていますか?実績がない組み合わせであっても、項目自体は表示しておきたいことがあります。今回は気を付けなければいけないところを整理します。
Python

Python:自然言語処理にチャレンジ~環境構築編~

はじめに今回は、今後Pythonで自然言語処理にチャレンジするにあたっての環境構築をおこないます。私はWindowsを使っているのですが、MeCabという形態素解析をおこなうためのライブラリの導入にてこずったので、手順を記しておきます。私の...
Python

Python:pandas 20本ノックをやってみた

はじめに 今回は久しぶりにPythonの話題に戻って、テーブルデータの処理に必須となるpandasライブラリについて扱います。pandasはDataFrameの効率的な実装を提供してくれます。DataFrameでは行と列のラベルが付加され...
EXCEL

EXCEL:ダイアグラムビューで結合の状態を確認する

はじめに 前にEXCELでテーブル間のリレーションシップの設定する方法を扱いました。今回は、前回の設定に加えてもうひとつリレーションシップの設定をしたあと、3つのテーブルのリレーションシップがどのようになっているのかを確認する方法(ダイア...
その他

ビジネスにおけるデータ分析について

はじめに 上司から「このデータで何かわからない?」「とりあえずデータ分析をしてくれ」のような指示をうけたことはありませんか?このような指示を受けてすぐに手元にあるデータに手を付けると、そのデータ分析は必ず失敗します。この指示では、データ分...
EXCEL

EXCEL:PowerQueryでデータの一部を取り出したり、時差の補正をおこなう

はじめに 今回はPowerQueryでの前処理を扱います。このブログでは以前扱いましたが、扱うデータによって微妙に処理が異なり悩んでしまうこともあると思います。いろんなパターンをみておくことで、「この場合はこうすればできそうだ」のようにア...
Python

Python初心者向け:集合について基本から解説

Python初心者の方向けに集合について、基本から解説します。集合はリストのように複数の要素を持てますが、「要素が重複しない」ように管理されます。ベン図を描くときのデータの指定にもよく使います。集合の作り方・要素の加え方・要素の取り除き方を解説します。
Python

Python基礎:モジュール/パッケージ/ライブラリ

今回も小ネタです。Pythonを勉強していると必ず遭遇する、モジュール・パッケージ・ライブラリという言葉達についてです。blogや書籍などで何度も目にしていて、何となく意味がわかるけど、その違いがよくわからない、という状態だったので、一度...