Python Python基礎：Webスクレイピング②
はじめに今回も、前回に引き続きスクレイピングを扱います。前回同様に「requests」と「BeautifulSoup」というライブラリを使います。今回は、取得したHTMLを解析する際の条件指定をselect( )を使ってやってみましょう。準...
データ分析
Python 
Python Python基礎：Webスクレイピング①
はじめに今回はスクレイピングを扱います。「requests」というwebページを取得するためのhttpライブラリと、「BeautifulSoup」というHTMLから情報を抽出するライブラリを使います。requestsでURLからHTMLを取...
Python Python初心者向け：データの概要を一発で把握する（EDA自動化）
Python初心者の方向けにデータの概要をつかむのに便利な方法を基本から紹介します。非常に強力なツールで、基本的なデータの把握ならこれだけで十分ともいえるでしょう。まずはこの方法でデータの概要をつかんだあと、詳細にデータをみていくとスムーズかと思います。
Python Python基礎：例外処理
はじめに今回は例外処理を扱います。例外処理とは、エラーが起きた時の処理をあらかじめ定めておくことです。文法的に正しいコードを書いていても、実行時にエラーが起こることがあります。実行時のエラーを検出して、処理するにはtry, exceptを使...
Python Python基礎：break文・continue文・pass文
はじめに繰り返し処理の中では条件によって、処理を変えたいことがありますね。今回はfor文やwhile文のような繰り返し処理の中で、ある条件がきたタイミングで処理をやめるbreak文や処理をスキップするbcontinue文について扱います。ま...
Python Python初心者向け：loc,ilocの使い方を基本から解説
Python初心者でもわかるようにloc, ilocの使い方を説明していきます。locもilocも行、列を指定してデータを取り出します。両者の違いはlocは行を番号で指定し、ilocは行をindexで指定します。これを押さえておけばすぐに使いこなせるようになります。
Python Python基礎：groupbyとagg
はじめに今回はgroupbyの使い方を整理します。このブログでも何度かグループ化を扱ってきましたが、いくつかの使い方や表記方法があるので整理しておきましょう。グループ化はデータ分析するうえでも必須となるので、抑えておきましょう。サンプルデー...
Python Python基礎：文字列が数字であるかを判別する
はじめに今回は、読み込んだデータが「数値」であるかを判定するisdigit()メソッドを扱います。日付の処理をするときに、元のデータが文字列型数値型によって処理が異なりましたね。その前段階として数値であるかを判定して処理を分けることがありま...
Python Python初心者向け：ピボットテーブルの使い方を基本から解説
Python初心者の方向けにpandasのpivot_tableメソッドを使ったピボットテーブルの使い方を基本から解説します。EXCELで集計するときにおなじみのピボットテーブルをPythonでも屋てみましょう。コツをつかめば、誰でも簡単に扱うことができます。
Python Python基礎：住所データから都道府県を抽出する
Python初心者でもわかるように、住所データから都道府県を抽出する方法を基本から解説します。取得したデータはいつもきれいなデータとは限りません。住所データも都道府県が分離されているとは限りません。都道府県のみを取得する方法を順を追って説明します。
Python Python初心者向け：アンダーサンプリングを基本から解説
Python初心者の方向けに不均衡データの処理について基本から解説します。不均衡データを均衡になるように処理する方法には、「アンダーサンプリング」と「オーバーサンプリング」があります。アンダーサンプリングは不均衡データで多数のクラスのデータを減らす方法です。
Python Python初心者向け：データのサンプリングについて基本から解説
Python初心者の方向けにサンプリングについて基本から解説します。単純に手元にあるデータから一部を抜き出す方法を考えます。無作為に抽出する「単純無作為抽出」と母集団をいくつかの部分母集団にわけて各部分母集団から標本を抽出する、「層化抽出」を説明します。
Python Python初心者向け：四分位数/標準偏差を用いた外れ値の除外
Python初心者向けに四分位数や標準偏差を用いて外れ値を除外する方法を基本から解説します。外れ値とは他の値から大きく外れた値です。外れ値の中でも外れ値となった理由があるものを異常値といいます。外れ値を除外するは、通常、「異常値」を除外します。
Python Python基礎：queryで変数を使う場合
はじめに今回は小ネタです。記事にするほどでもないのですが、せっかくなのでメモを残しておきます。query()メソッドの中で変数を使う方法です。query()メソッドの中では、普通に変数を参照しようとするとエラーになります。簡単な内容ですが、...
Python Python基礎：曜日の取り扱い
はじめに今回はPythonで曜日を取り扱う方法を紹介します。データを集計しているときに、曜日ごとに集計して比較したくなることがありますよね。Webページのアクセス状況なども、妖美ごとに特徴があることが多いですよね。日付から簡単に曜日を算出す...
Python Python基礎：リスト内包表記
はじめに今回はリスト内包表記を扱います。for文が使えればリスト内包表記という便利な気泡を使うことができます。リスト内包表記により、既存のリストからあらたなリストの作成を簡潔におこなうことができます。また、処理速度もはやいため是非ともみにつ...
Python Python初心者向け：sklearnでダミー変数の追加と二値化
Python初心者の方向けに、sklearnを用いた「ダミー変数の追加」と「二値化」を基本から解説します。ダミー変数の追加はadd_dummy_featureを使って作成します。二値化はbinarizeを用いて、指定した閾値より大きいか小さいかで二値化します。
Python Python初心者向け：対数変換について基礎から解説
Python初心者向けに対数変換を基本から説明します。Pythonで対数変換すること自体は簡単なのですが、そもそも対数変換する意味ってなんでしょう？まずは対数変換とは何かを整理したあと、pythonで対数変換をどのようにやるかを確認することにしましょう。
Python Python基礎：テキストデータのカテゴリ化
はじめに今回はテキストデータのカテゴリ化を扱います。たとえば、都道府県ごとにコードを割り振りたいなど、テキストデータをカテゴリ化する場面は意外に多いですよね。テキストデータのカテゴリ化は、一度map()を紹介した投稿の中で扱っていますが、今...
Python Python基礎：デバッグ
はじめに今回はデバッグについて触れます。これまでPythonで遭遇するエラーに関しては、次の記事で扱っています。合わせて参照してください前にエラーを扱った投稿では10個のエラーを紹介しましたが、今回はエラーを大きく３つにわけて紹介します。そ...