CATEGORY 応用編

pandas入門 column(列名) index(行名)の変更

pandasで集計関数を使用すると同じ名前の列のDataFrameができますが、それらを統合する際列名をわかりやすくリネームする必要がでてきます。ここではcolumnやindexをリネームする方法について学習します。 D...

pandas入門 欠損値(NaN)

実務上でデータを取り扱うと、たまたまデータの取得に失敗したり、オペレーターの入力ミスなどで欠損値が発生することが多々あります。pandasの欠損値はnumpyのnanが使用されます。ここでは判定方法やクレンジングの方法に...

pandas入門 DataFrameのループ処理

ここではDataFrameのループ処理について学習します。 iterrows 1行ずつ処理する 時系列データなどを扱う際、1行ずつなんらかの指標を計算することがよくあると思います。 DataFrameを1行ずつ処理する場...

pandas入門 DataFrameの更新系処理

DataFrameに列や行を追加、更新、削除する方法についてです。 Seriesを列として追加 DataFrameに新たな列としてSeriesを追加する場合、添字に新しいカラム名を指定して代入します。また、既存のカラム名...

pandas入門 DataFrameのソート

pandasのメリットの1つとして多次元のリストを簡単にソートすることができる点が挙げられると思います。 データ分析以外にもETL等でソートが必要な場合はpandasの使用を検討してみてください。 DataFrameのソ...

pandas入門 whereによるフィルタリング

ここでDataFrameのデータ選択方法について学習しましたが、元のDataFrameと同じサイズのDataFrameが必要になる場合がでてきます。そんな時はwhereを使うことで解決することができます。 DataFra...

pandas入門 DataFrameのフィルタリング

ここではDataFrameに対し、条件を満たす行を抽出する処理について学習します。SQLでいうところのselect文のwhere句に相当します。 pandasのフィルタリングの基礎概念 pandasのフィルタリングは一見...

pandas入門 DataFrameのデータ参照

これまでDataFrameに関する説明と、基本的な統計量の算出方法について説明しました。 このページではDataFrame内部のデータを参照する方法について学習します。 列を取得する カラムを指定して列データをSerie...

pandas入門 DataFrame 基本統計量の算出

DataFrameに格納されたデータは簡単に基本的な統計量を計算することができます。 行数、要素数 行数(レコード数) 行数を出力する場合はlen関数を使用します。また、sizeメソッドを使用すると要素数を取得することが...

pandas入門 DataFrameの生成の基本

次に分析の中核となるDataFrameの生成についてです。まずは操作に馴染むためにリストなどのシーケンシャルオブジェクトからDataFrameを生成する方法について学習します。 別項にて説明しますが、実際の業務ではこのペ...