Pandas 选择数据设置值

2020-08-19

一、Pandas 选择数据

简单的筛选

筛选某列

dates = pd.date_range('20130101',periods=6)
df = pd.DataFrame(np.arange(24).reshape((6,4)),index=dates,columns=['A','B','C','D'])

"""
             A   B   C   D
2013-01-01   0   1   2   3
2013-01-02   4   5   6   7
2013-01-03   8   9  10  11
2013-01-04  12  13  14  15
2013-01-05  16  17  18  19
2013-01-06  20  21  22  23
"""
print(df.A)
print(df['A'])

多行

#多行 
print(df['20130102':‘20130104’]);
print(df[0:4]) # 从第1行到第4行
print(df[2:]) # 从第3 行到所有
print(df[2:4]) #从第 3 行到第 4 行

根据标签 loc

通过横纵轴的标签来选择

print(df.loc['20130102']) #默认是根据横轴的 标签  查找

print(df.loc[:,['B']]) #两个参数的时候，第一个参数是横轴标签 ，第二个参数是纵轴的 index ，用[]包围，参数之间用 ，隔开，:代表所有行

print(df.loc['20130102',['B']])

根据序列 iloc

通过横纵轴的序列来选择，0-n。可以选某一个确切的 value，也可以连续选或者跨行选。如果 iloc 里面的参数是一个范围： 或者 list 形式 print 的时候就会把 indx带上。

print(df.iloc[3,1]) # 13

print(df.iloc[3:5,1:3])
# 第4行到第6行之间不包括第6行，第 2 列 到第 4 列，不包括第 4 列之间的 value
"""
             B   C
2013-01-04  13  14
2013-01-05  17  18
"""

print(df.iloc[[1,3],1:3]) # 跨行
"""
             B   C
2013-01-02   5   6
2013-01-04  13  14

"""
print(df.iloc[1,[0,2]]) # 跨列
A    4
C    6

print(df.iloc[[1],[0,2]]) #
            A  C
2013-01-02  4  6

print(df.iloc[5:,[0,2]])
             A   C
2013-01-06  20  22

混合选择 ix

既可以通过标签，也可以通过序列来选择

通过判断的筛选

采用判断指令 (Boolean indexing) 进行选择

1	print(df[df.A>8]) # 输出 type为 A 大于 8 的数据

二、Pandas 设置值

根据位置设置 loc 和 iloc

#利用索引或者标签确定需要修改值的位置
df.iloc[2,2] = 1111
df.loc['20130101','B'] = 22
df.iloc[1,2] = np.nan

根据条件设置

设置当 A 成立的时候，修改 B 的值。

1	df.B[df.A>4] = 0

按行或列设置

如果对整列做批处理, 加上一列 ‘F’, 并将 F 列全改为 NaN。也可以加上 Series 序列（但是长度必须对齐）。

1 2	df['F'] = np.nan df['E'] = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130101',periods=6))

三、Pandas 处理丢失数据

去掉有 NaN 的行或列

#去掉有 NaN 的行或列， 可以使用 `dropna`
df.dropna(
    axis=0,     # 0: 对行进行操作; 1: 对列进行操作
    how='any'   # 'any': 只要存在 NaN 就 drop 掉; 'all': 必须全部是 NaN 才 drop 
    )

将 `NaN` 的值用其他值代替

1 2	# 将所有的 NAN 代替为 0 df.fillna(value=0)

判断是否有缺失数据 NaN

# 如果有缺省值 NAN ，为 True 表示数据
df.isnull() 

"""
                A      B      C      D
2013-01-01  False   True  False  False
2013-01-02  False  False   True  False
2013-01-03  False  False  False  False
2013-01-04  False  False  False  False
2013-01-05  False  False  False  False
2013-01-06  False  False  False  False
"""

# 检测在数据中是否存在 NaN, 如果存在就返回 True
np.any(df.isnull()) == True 
# True

一 、Pandas 选择数据