Pandas - 稀疏数据

简述

当任何与特定值匹配的数据（NaN / 缺失值，尽管可以选择任何值）被忽略时，稀疏对象都会被“压缩”。一个特殊的 SparseIndex （稀疏索引）对象跟踪数据被“稀疏化”的位置。这在一个例子中会更有意义。所有标准的 Pandas 数据结构都应用to_sparse方法 -


import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts

它的输出如下 -


0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64
BlockIndex
Block locations: array([0, 8], dtype=int32)
Block lengths: array([2, 2], dtype=int32)

稀疏对象的存在是出于内存效率的原因。

现在让我们假设您有一个大的 NA DataFrame 并执行以下代码 -


import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(10000, 4))
df.ix[:9998] = np.nan
sdf = df.to_sparse()
print sdf.density

它的输出如下 -


0.0001

任何稀疏对象都可以通过调用转换回标准密集形式to_dense−


import pandas as pd
import numpy as np
ts = pd.Series(np.random.randn(10))
ts[2:-2] = np.nan
sts = ts.to_sparse()
print sts.to_dense()

它的输出如下 -


0   -0.810497
1   -1.419954
2         NaN
3         NaN
4         NaN
5         NaN
6         NaN
7         NaN
8    0.439240
9   -1.095910
dtype: float64

稀疏数据类型

稀疏数据应具有与其密集表示相同的 dtype。现在，float64, int64和booldtypes支持。视原作而定dtype, fill_value default变化 -
- float64-np.nan
- int64− 0
- bool- 错误
让我们执行以下代码来理解相同的 -
```
import pandas as pd
import numpy as np
s = pd.Series([1, np.nan, np.nan])
print s
s.to_sparse()
print s
```
它的输出如下 -
```
0   1.0
1   NaN
2   NaN
dtype: float64
0   1.0
1   NaN
2   NaN
dtype: float64
```

Pandas - 稀疏数据

简述

稀疏数据类型