pandas常用的函数有这些:
pd.DataFrame
pd.Series
pd.read_csv
pd.concat
pd.Timestamp
pd.to_datetime
pd.date_range
pd.index
pd.merge
先从实际上能够用得到的函数开始学起走,然后遇到问题再查询帮助文档吧!
##pd.DataFrame 创建一个DataFrame对象,类似excle里面创建一张表。
df = pd.DataFrame(data={'y':[1,2,3], 'score':[93,89,90], 'name':['dire','pauli','bohr'], 'birthday':['1992-08-08','1990-04-23','1998-10-07']})print(type(df))print(df.dtypes)
class pandas.DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)
data为numpy,ndarray (structured or homogeneous), dict, or DataFrame
Dict可以是Series, arrays, constants, objects类型
copy是从输入内容中copy数据。感觉解释不清楚,还是引入官方解释吧:Copy data from inputs. Only affects DataFrame / 2d ndarray input。
更多细节参考:
##pd.Series
s = pd.Series([1,2,3,np.nan,5,6])s1 = pd.Series(np.random.randn(5), index=['a', 'b', 'c', 'd', 'e'])print(s)print(s1)
class pd.Series(data, index=index)
data为 dict, ndarray,a scalar value (like 5)
##pd.read_csv
df = pd.read_csv('test.csv',sep=',',encoding='utf8')print(type(df))
不做过多介绍,记住sep和encoding参数。
更多细节参考:
pandas读取其他格式 read_excel,read_hdf,read_sql,read_json,read_html,read_msgpack,read_gbq,read_stata,read_sas,read_clipboard,read_pickle
pandas保存文件 to_csv,to_excel,to_hdf,to_sql,to_json,to_html,to_msgpack,to_gbq,to_stata,to_sas,to_clipboard,to_pickle
##pd.merge/pd.concat/
- pd.merge 键拼接列
- pd.concat 可沿着一条轴将多个对象堆叠到一起
left = pd.DataFrame({'key':['k0','k1','k2','k3'], 'A':['A0','A1','A2','A3'], 'B':['B0','B1','b2','B3']})right = pd.DataFrame({'key':['k0','k1','k2','k3'], 'C':['C0','C1','C2','C3'], 'D':['D0','D1','D2','D3']})print(left)print(right)res = pd.merge(left,right,on='key')print(res)
pandas.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy=True, indicator=False)
left与right:两个不同的DataFrame
how:指的是合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接);默认为inner
on : 指的是用于连接的列索引名称。必须存在右右两个DataFrame对象中,如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键
left_on:左则DataFrame中用作连接键的列名;这个参数中左右列名不相同,但代表的含义相同时非常有用
right_on:右则DataFrame中用作 连接键的列名
left_index:使用左则DataFrame中的行索引做为连接键
right_index:使用右则DataFrame中的行索引做为连接键
sort:默认为True,将合并的数据进行排序。在大多数情况下设置为False可以提高性能
suffixes:字符串值组成的元组,用于指定当左右DataFrame存在相同列名时在列名后面附加的后缀名称,默认为('_x','_y')
copy:默认为True,总是将数据复制到数据结构中;大多数情况下设置为False可以提高性能
indicator:显示合并数据中来源;如只来自己于左边(left_only)、两者(both)
left = pd.DataFrame({'key1':['k0','k1','k2','k3'], 'key2':['k0','k1','k0','k1'], 'A':['A0','A1','A2','A3'], 'B':['B0','B1','b2','B3']})right = pd.DataFrame({'key1':['k0','k1','k2','k3'], 'key2':['k0','k0','k0','k0'], 'C':['C0','C1','C2','C3'], 'D':['D0','D1','D2','D3']})print(left)print(right)res = pd.merge(left,right,on=['key1','key2'],how='outer')print(res)
体验how的合并(连接)的方式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接),默认为inner。
df1 = pd.DataFrame({'col1':[0,1], 'col_left':['a','b']})df2 = pd.DataFrame({'col1':[1,2,2], 'col_right':[2,2,2]})print(df1)print(df2)res1 = pd.merge(df1,df2,on='col1',how='outer',indicator=True)res2 = pd.merge(df1,df2,on='col1',how='outer',indicator='column_merge')print(res1)print(res2)
这个主意解释indicator的作用
更多细节参考:
df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])df2 = pd.DataFrame(np.ones((3,4))*1,columns=['a','b','c','d'])df3 = pd.DataFrame(np.ones((3,4))*2,columns=['a','b','c','d'])print(df1)print(df2)print(df3)res = pd.concat([df1,df2,df3],axis=0,ignore_index=True)print(res)
andas.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False, copy=True)
concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner 只有这两种)。默认outer,outer保留两个不同列数据,没有的添加nan代替。inner相对于裁剪掉两个合并元素中没有的。解释太麻烦,运营代码看案例吧!
df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'])df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'])res_outer = pd.concat([df1,df2])res_inner = pd.concat([df1,df2],join='inner',ignore_index=True)print(res_outer)print(res_inner)
igore_index=False表示不更改index,而为Ture表示,重新排序。可以去掉上面中ignore_index=True试试效果。
df1 = pd.DataFrame(np.ones((3,4))*0,columns=['a','b','c','d'],index=[1,2,3])df2 = pd.DataFrame(np.ones((3,4))*1,columns=['b','c','d','e'],index=[2,3,4])res1 = pd.concat([df1,df2],axis=1)res2 = pd.concat([df1,df2],axis=1,join_axes=[df1.index])print(res1)print(res2)
jion_axes,主要是在左右合并中考虑哪个作为主要index。
更多细节参考:
未完,还将继续更新中...
这两天开通了自己的博客,,欢迎来扰!