汇总一下,自己最近在使用Python读写CSV存数据库中遇到的各种问题。
相关mysql视频教程推荐:《mysql教程》
上代码:
reload(sys)sys.setdefaultencoding('utf-8')host = '127.0.0.1'port = 3306db = 'world'user = 'root'password = '123456'con = MySQLdb.connect(host=host,charset="utf8",port=port,db=db,user=user,passwd=password)try: df = pd.read_sql(sql=r'select * from city', con=con) df.to_sql('test',con=con,flavor='mysql')except Exception as e: print(e.message)
登录后复制
不出意外的话会打印出一句:database flavor MySQL is not supported
在stackoverflow上找到了答案:The flavor ‘mysql’ is deprecated in pandas version 0.19.
立即学习“Python免费学习笔记(深入)”;
我们换一种方式:
reload(sys)sys.setdefaultencoding('utf-8')host = '127.0.0.1'port = 3306db = 'world'user = 'root'password = '123456'engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s") % (user, password, host, db))try: df = pd.read_sql(sql=r'select * from city', con=engine) df.to_sql('test',con=engine,if_exists='append',index=False)except Exception as e: print(e.message)
登录后复制
运行下,ok,可以存入了index参数表示是否把DataFrame的index当成一列来存储,一般来说是不需要的,所以赋值为False
现在看似问题都解决了,但是还有一个小问题。
假如我有一个含有中文的csv文件(本人Window):
name age class
小明 15 一年级
小张 18 三年级
engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s") % (user, password, host, db))try: df = pd.read_csv(r'C:UsersxxDesktopdata.csv') print(df) df.to_sql('test', con=engine, if_exists='append', index=False)except Exception as e: print(e.message)
登录后复制
打印处理以后乱码了。我们在读csv时候最好指定编码,我的本地GBK:
df = pd.read_csv(r'C:UsersxxDesktopdata.csv',encoding='gbk')
登录后复制
我们可以正常的打印信息了,但是又报错了,错误如下:
UnicodeEncodeError: ‘latin-1’ codec can’t encode characters in position 0-1: ordinal not in range(256)
还是编码问题,原因呢,我们存到数据库时候没有指定编码。解决这个问题时候也是被坑了一把,网上说什么的都有。过程就不说了,看代码:
engine = create_engine(str(r"mysql+mysqldb://%s:" + '%s' + "@%s/%s?charset=utf8") % (user, password, host, db))
登录后复制
解决了
相关文章:
Python数据分析之真实IP请求Pandas详解
通过Python中的pandas库对cdn日志进行分析详解
用Python的pandas框架操作Excel文件中的数据教程
以上就是Python用Pandas读CSV文件写到MySQL的方法的详细内容,更多请关注【创想鸟】其它相关文章!
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至253000106@qq.com举报,一经查实,本站将立刻删除。
发布者:PHP中文网,转转请注明出处:https://www.chuangxiangniao.com/p/2277598.html