pandasで集計関数を使用すると同じ名前の列のDataFrameができますが、それらを統合する際列名をわかりやすくリネームする必要がでてきます。ここではcolumnやindexをリネームする方法について学習します。 D...
CATEGORY 応用編
pandas入門 欠損値(NaN)
実務上でデータを取り扱うと、たまたまデータの取得に失敗したり、オペレーターの入力ミスなどで欠損値が発生することが多々あります。pandasの欠損値はnumpyのnanが使用されます。ここでは判定方法やクレンジングの方法に...
pandas入門 DataFrameのループ処理
ここではDataFrameのループ処理について学習します。 iterrows 1行ずつ処理する 時系列データなどを扱う際、1行ずつなんらかの指標を計算することがよくあると思います。 DataFrameを1行ずつ処理する場...
pandas入門 DataFrameの更新系処理
DataFrameに列や行を追加、更新、削除する方法についてです。 Seriesを列として追加 DataFrameに新たな列としてSeriesを追加する場合、添字に新しいカラム名を指定して代入します。また、既存のカラム名...
pandas入門 DataFrameのソート
pandasのメリットの1つとして多次元のリストを簡単にソートすることができる点が挙げられると思います。 データ分析以外にもETL等でソートが必要な場合はpandasの使用を検討してみてください。 DataFrameのソ...
pandas入門 whereによるフィルタリング
ここでDataFrameのデータ選択方法について学習しましたが、元のDataFrameと同じサイズのDataFrameが必要になる場合がでてきます。そんな時はwhereを使うことで解決することができます。 DataFra...
pandas入門 DataFrameのフィルタリング
ここではDataFrameに対し、条件を満たす行を抽出する処理について学習します。SQLでいうところのselect文のwhere句に相当します。 pandasのフィルタリングの基礎概念 pandasのフィルタリングは一見...
pandas入門 DataFrameのデータ参照
これまでDataFrameに関する説明と、基本的な統計量の算出方法について説明しました。 このページではDataFrame内部のデータを参照する方法について学習します。 列を取得する カラムを指定して列データをSerie...
pandas入門 DataFrame 基本統計量の算出
DataFrameに格納されたデータは簡単に基本的な統計量を計算することができます。 行数、要素数 行数(レコード数) 行数を出力する場合はlen関数を使用します。また、sizeメソッドを使用すると要素数を取得することが...
pandas入門 DataFrameの生成の基本
次に分析の中核となるDataFrameの生成についてです。まずは操作に馴染むためにリストなどのシーケンシャルオブジェクトからDataFrameを生成する方法について学習します。 別項にて説明しますが、実際の業務ではこのペ...