2020-09

その他

Python基礎:データ分析プロセス

はじめに 今回はデータ分析のフレームワークについて扱います。データ分析を実施するためには、どのような手順でどのような処理をおこなえばよいのか。ビジネス課題からスタートするフレームワークであるCRISP-DMについて確認していきましょう。...
Python

Python基礎:性能評価指標と混同行列

はじめに 今回は分類モデルの性能評価指標について考えてみます。性能評価指標は複数あり、設定した課題によってどの指標を重視するかは異なります。この性能評価の各指標を簡単に確認することができる、混同行列もご紹介します。 性能評価指標 性...
Python

Python初心者向け:k-分割交差検証を基本から解説します

Python初心者向けにk-分割交差検証を基本から解説します。データをk個に分割してn個を訓練用にk-n個をテスト用に使うということを、分けられたn個のデータが必ず1回はテスト用に使われるように繰り返します。過学習を防ぎ汎化性能を得ることができます。
Python

Python基礎:Webスクレイピング②

はじめに 今回も、前回に引き続きスクレイピングを扱います。前回同様に「requests」と「BeautifulSoup」というライブラリを使います。今回は、取得したHTMLを解析する際の条件指定をselect( )を使ってやってみましょ...
Python

Python基礎:Webスクレイピング①

はじめに 今回はスクレイピングを扱います。「requests」というwebページを取得するためのhttpライブラリと、「BeautifulSoup」というHTMLから情報を抽出するライブラリを使います。requestsでURLからHTM...
Python

Python初心者向け:データの概要を一発で把握する(EDA自動化)

Python初心者の方向けにデータの概要をつかむのに便利な方法を基本から紹介します。非常に強力なツールで、基本的なデータの把握ならこれだけで十分ともいえるでしょう。まずはこの方法でデータの概要をつかんだあと、詳細にデータをみていくとスムーズかと思います。
Python

Python基礎:例外処理

はじめに 今回は例外処理を扱います。例外処理とは、エラーが起きた時の処理をあらかじめ定めておくことです。文法的に正しいコードを書いていても、実行時にエラーが起こることがあります。実行時のエラーを検出して、処理するにはtry, excep...
Python

Python基礎:break文・continue文・pass文

はじめに 繰り返し処理の中では条件によって、処理を変えたいことがありますね。今回はfor文やwhile文のような繰り返し処理の中で、ある条件がきたタイミングで処理をやめるbreak文や処理をスキップするbcontinue文について扱いま...
Python

Python初心者向け:loc,ilocの使い方を基本から解説

Python初心者でもわかるようにloc, ilocの使い方を説明していきます。locもilocも行、列を指定してデータを取り出します。両者の違いはlocは行を番号で指定し、ilocは行をindexで指定します。これを押さえておけばすぐに使いこなせるようになります。
Python

Python基礎:groupbyとagg

はじめに 今回はgroupbyの使い方を整理します。このブログでも何度かグループ化を扱ってきましたが、いくつかの使い方や表記方法があるので整理しておきましょう。グループ化はデータ分析するうえでも必須となるので、抑えておきましょう。 ...
Python

Python基礎:文字列が数字であるかを判別する

はじめに 今回は、読み込んだデータが「数値」であるかを判定するisdigit()メソッドを扱います。日付の処理をするときに、元のデータが文字列型数値型によって処理が異なりましたね。その前段階として数値であるかを判定して処理を分けることが...