Python Python初心者向け：文字列から括弧で囲まれた部分を抽出する
Python初心者でもわかるように、実際に正規表現を使って文字列の抽出をおこないます。これは実際の仕事の場で必要となった作業で、「」や『』で囲まれた部分をデータとして抽出するしょりとなります。このようなときに、正規表現が使えると簡単に処理をすることができます。
rakuda
Python 
Python Python基礎：rolling( )を使って移動平均を求める
はじめに今回も事例列データを扱う際によく利用する処理をみていきます。rolling( )メソッドです。rolling関数は窓関数と呼ばれるものを指定した要素の数の幅だけ適用する関数となっており、窓関数を適用することでそれぞれの要素に重みがつ...
Python Python基礎：shift( ）メソッド
はじめに今回も時系列データを処理する際によく利用するものを見ていきましょう。pandasのshift( ) メソッドとrolling( )メソッドです。shift( )はデータをズラすことができます。通常、diff( )メソッドがあれば差分...
Python Python基礎：diff(), pct_change()
はじめに今回はdiff( ), pct_change( )を扱いましょう。これらは時系列データの処理をするときによく使うpandasのメソッドです。diff( )は行・列の差分をpct_change( )は行・列の変化率を簡単に算出すること...
EXCEL EXCEL：近似曲線の選び方を基本から解説します
EXCELで近似曲線を描く場合の選び方を基本から解説します。手元にあるデータから傾向を把握して、今後どのようになるかを予測したくなることがありますね。今回は近似曲線を描く時の注意をまとめました。これを読めば、どの近似曲線選べばよいかがわかるようになります。
Python Python基礎：enumerateとzip
はじめに今回は、forループでリストなどの要素を取り出すときに便利なenumerate( )とzip( )について扱います。enuerate( )は要素と同時にインデックスをも取り出したいとき、zip( )は複数のリストから同時に要素を取り...
Python Python初心者向け：add_subplot/subplot/subplotsの違いを整理
Python初心者の方向けに、matplotlibで描画する時のメソッドであるadd_subplot( ), subplot( ), subplots( )について整理しましょう。これらは名称も似ていることから混乱しやすいですが、意味が分かれば大丈夫です。
Python 経過時間の取り扱いを基本から解説（timedelta型）
Python初心者の方向けに、ある基準の日時からの経過時間を扱う方法を基本から解説します。経過時間を扱う場合は、datetime型ではなくtimedelta型のtotal_seconds()が有効です。時系列データははじめは扱いにくいですが、慣れてしまえば簡単です。
Python Python基礎：データフレームの結合
はじめにこのブログでも、これまで何度もpandas.mergeを使ってきました。いつも決まった操作ばかりだったので不便はなかったのですが、他にもできることあるのでは？とあらためてpandas.mergeをとりあげることにしました。結合の基本...
その他 Python基礎：データ分析プロセス
はじめに今回はデータ分析のフレームワークについて扱います。データ分析を実施するためには、どのような手順でどのような処理をおこなえばよいのか。ビジネス課題からスタートするフレームワークであるCRISP-DMについて確認していきましょう。CRI...
Python Python基礎：性能評価指標と混同行列
はじめに今回は分類モデルの性能評価指標について考えてみます。性能評価指標は複数あり、設定した課題によってどの指標を重視するかは異なります。この性能評価の各指標を簡単に確認することができる、混同行列もご紹介します。性能評価指標性能評価指標には...
Python Python初心者向け：k-分割交差検証を基本から解説します
Python初心者向けにk-分割交差検証を基本から解説します。データをk個に分割してn個を訓練用にk-n個をテスト用に使うということを、分けられたn個のデータが必ず1回はテスト用に使われるように繰り返します。過学習を防ぎ汎化性能を得ることができます。
Python Python基礎：Webスクレイピング②
はじめに今回も、前回に引き続きスクレイピングを扱います。前回同様に「requests」と「BeautifulSoup」というライブラリを使います。今回は、取得したHTMLを解析する際の条件指定をselect( )を使ってやってみましょう。準...
Python Python基礎：Webスクレイピング①
はじめに今回はスクレイピングを扱います。「requests」というwebページを取得するためのhttpライブラリと、「BeautifulSoup」というHTMLから情報を抽出するライブラリを使います。requestsでURLからHTMLを取...
Python Python初心者向け：データの概要を一発で把握する（EDA自動化）
Python初心者の方向けにデータの概要をつかむのに便利な方法を基本から紹介します。非常に強力なツールで、基本的なデータの把握ならこれだけで十分ともいえるでしょう。まずはこの方法でデータの概要をつかんだあと、詳細にデータをみていくとスムーズかと思います。
Python Python基礎：例外処理
はじめに今回は例外処理を扱います。例外処理とは、エラーが起きた時の処理をあらかじめ定めておくことです。文法的に正しいコードを書いていても、実行時にエラーが起こることがあります。実行時のエラーを検出して、処理するにはtry, exceptを使...
Python Python基礎：break文・continue文・pass文
はじめに繰り返し処理の中では条件によって、処理を変えたいことがありますね。今回はfor文やwhile文のような繰り返し処理の中で、ある条件がきたタイミングで処理をやめるbreak文や処理をスキップするbcontinue文について扱います。ま...
Python Python初心者向け：loc,ilocの使い方を基本から解説
Python初心者でもわかるようにloc, ilocの使い方を説明していきます。locもilocも行、列を指定してデータを取り出します。両者の違いはlocは行を番号で指定し、ilocは行をindexで指定します。これを押さえておけばすぐに使いこなせるようになります。
Python Python基礎：groupbyとagg
はじめに今回はgroupbyの使い方を整理します。このブログでも何度かグループ化を扱ってきましたが、いくつかの使い方や表記方法があるので整理しておきましょう。グループ化はデータ分析するうえでも必須となるので、抑えておきましょう。サンプルデー...
Python Python基礎：文字列が数字であるかを判別する
はじめに今回は、読み込んだデータが「数値」であるかを判定するisdigit()メソッドを扱います。日付の処理をするときに、元のデータが文字列型数値型によって処理が異なりましたね。その前段階として数値であるかを判定して処理を分けることがありま...