Pandas to_excel 追加写入导致数据丢失的解决方法
使用Pandas的to_excel函数向已存在的Excel文件追加新的sheet时,可能会遇到数据丢失的情况。这种问题具有随机性,丢失的数据行数也不固定,增加了排查难度。本文将分析此问题,并提供解决方案。
问题描述:用户使用pandas.to_excel向名为5g数据-xxx.xlsx的Excel文件追加数据,代码片段如下:
xw_tidanfujian_adress=directory_save_adress+'/5g数据-' + key +'('+value.get('需求点编号')+').xlsx'with pd.ExcelWriter(xw_tidanfujian_adress,mode="a",options={'encoding':'utf-8'}) as writer: print(linqu_dict.get('5g-5g邻区定义').loc[linqu_dict.get('5g-5g邻区定义')['源小区基站名']==key][['源小区基站名','源小区中文小区名']].head(20)) linqu_dict.get('5g-5g邻区定义').loc[linqu_dict.get('5g-5g邻区定义')['源小区基站名']==key].to_excel(writer, sheet_name='5g-5g邻区定义',header=True,index=False)df_gongdan_temp=pd.read_excel(xw_tidanfujian_adress,sheet_name='5g-5g邻区定义',header=0,index_col=0)print(df_gongdan_temp[['源小区基站名','源小区中文小区名']].head(20))
登录后复制
用户发现写入前后数据存在差异,部分列值不完整。然而,修改写入数据后,重新写入的数据却是完整的,说明问题不在数据本身,而是在写入过程中。
进一步排查发现,并非所有写入操作都会出现此问题,且丢失的行号不固定。
最终解决方案:将pd.ExcelWriter的引擎指定为xlsxwriter:
with pd.ExcelWriter(xw_tidanfujian_adress, engine="xlsxwriter", options={'encoding': 'utf-8'}) as writer: # ... 写入代码 ...
登录后复制
问题得到解决。这表明默认引擎openpyxl在追加写入时存在兼容性或处理缺陷,导致数据丢失。因此,建议在使用pandas.to_excel追加写入时,显式指定引擎为xlsxwriter,以避免此类问题。
以上就是Pandas to_excel追加写入时数据丢失怎么办?的详细内容,更多请关注【创想鸟】其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。
发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2527803.html