Pandas - 稀疏数据

• 

  简述

  当任何与特定值匹配的数据（NaN / 缺失值，尽管可以选择任何值）被忽略时，稀疏对象都会被“压缩”。一个特殊的 SparseIndex （稀疏索引）对象跟踪数据被“稀疏化”的位置。这在一个例子中会更有意义。所有标准的 Pandas 数据结构都应用to_sparse方法 -

  
  import pandas as pd
  import numpy as np
  ts = pd.Series(np.random.randn(10))
  ts[2:-2] = np.nan
  sts = ts.to_sparse()
  print sts
  

  它的输出如下 -

  
  0   -0.810497
  1   -1.419954
  2         NaN
  3         NaN
  4         NaN
  5         NaN
  6         NaN
  7         NaN
  8    0.439240
  9   -1.095910
  dtype: float64
  BlockIndex
  Block locations: array([0, 8], dtype=int32)
  Block lengths: array([2, 2], dtype=int32)
  

  稀疏对象的存在是出于内存效率的原因。

  现在让我们假设您有一个大的 NA DataFrame 并执行以下代码 -

  
  import pandas as pd
  import numpy as np
  df = pd.DataFrame(np.random.randn(10000, 4))
  df.ix[:9998] = np.nan
  sdf = df.to_sparse()
  print sdf.density
  

  它的输出如下 -

  
  0.0001
  

  任何稀疏对象都可以通过调用转换回标准密集形式to_dense−

  
  import pandas as pd
  import numpy as np
  ts = pd.Series(np.random.randn(10))
  ts[2:-2] = np.nan
  sts = ts.to_sparse()
  print sts.to_dense()
  

  它的输出如下 -

  
  0   -0.810497
  1   -1.419954
  2         NaN
  3         NaN
  4         NaN
  5         NaN
  6         NaN
  7         NaN
  8    0.439240
  9   -1.095910
  dtype: float64
  

• 

  稀疏数据类型

  稀疏数据应具有与其密集表示相同的 dtype。现在，float64, int64和booldtypes支持。视原作而定dtype, fill_value default变化 -

  • float64-np.nan
  • int64− 0
  • bool- 错误

  让我们执行以下代码来理解相同的 -

  
  import pandas as pd
  import numpy as np
  s = pd.Series([1, np.nan, np.nan])
  print s
  s.to_sparse()
  print s
  

  它的输出如下 -

  
  0   1.0
  1   NaN
  2   NaN
  dtype: float64
  0   1.0
  1   NaN
  2   NaN
  dtype: float64