当前位置：移动技术网 > IT编程>数据库>Mysql > Python pandas ERROR 2006 (HY000): MySQL server has gone away

Python pandas ERROR 2006 (HY000): MySQL server has gone away

2018年01月10日 | 移动技术网IT编程 | 我要评论

之前在做python pandas大数据分析的时候，在将分析后的数据存入mysql的时候报ERROR 2006 (HY000): MySQL server has gone away

原因分析：在对百万数据进行分析的时候，由于分析逻辑有点复杂，导致消耗的时候有点多，触发了mysql connect_timeout机制，当分析结束后想把结果存入mysql的时候，连接早已经断开了。

解决方案：针对一些复杂的数据分析，将数据分片处理，并在每次执行mysql插入的时候判断连接是否断开（connection.ping(True))，若断开则重新建立连接。关于分片可以采用python dask进行并发计算

您可能感兴趣的文章:

如对本文有疑问，点击进行留言回复！！

漫谈MySQL复制技术

文章目录一、异步复制1.1 基本原理1.2 潜在风险二、半同步复制2.1 after commit1、基本原理2... [阅读全文]
linux 安装 MySql 5.7.20 一主多从配置【亲测】 - 之三

1、前言首先要保证主从两台数据库的版本，数据库表等一致, 本教程是基于5.7.20，64位的mysql数... [阅读全文]
Elasticsearch（二）

文章目录1、ES核心概念1.1、概述1.2、索引1.3、字段类型（mapping）1.4、文档（document... [阅读全文]
MySQL多实例应用

1.下载、上传、解压、软连接（1.）下载官网地址：https://dev.mysql.com/downloads... [阅读全文]
Linux： ------ MySQL 基于MyCat的主从复制读写分离

1.MySQL主从复制# 1.修改mysql的配置文件[root@localhost mysql]# vim /... [阅读全文]
lower_case_table_names=1 启动报错 mysql8.0

在安装了8.0.14之后，初始化的时候在my.cnf里设置了lower_case_table_names=1，安... [阅读全文]
CenterOS 安装Mysql，并配置主从复制

CenterOS 安装Mysql，并配置主从复制cd /usr/local/src/wget https://r... [阅读全文]
全网最全经典卷积神经网络架构汇总——深度学习之ILSVRC竞赛(ImageNet竞赛)优胜网络结构

近年来，卷积神经网络在图像分类领域取得了巨大进展，主要表现在ILSVRC竞赛中优胜冠军从经典的机器学习算法转向深... [阅读全文]
centos7.4安装mysql5.7.26

之前安装mysql遇到了坑感觉有点复杂，正好测试mysql主从，顺便再一次安装并记录下安装过程。安装环境：cen... [阅读全文]
pandas常用操作总结

pandas常用操作总结常用操作pandas常用操作总结pandas读取csv，txt，excel，mysqlp... [阅读全文]

网友评论


验证码：

Python pandas ERROR 2006 (HY000): MySQL server has gone away

2018年01月10日 | 移动技术网IT编程 | 我要评论

您可能感兴趣的文章:

相关文章:

网友评论