前言
前期误操作，导致数据库表删除，虽然数据量不多，但是通过binlog恢复比较麻烦，通过备份文件来恢复，备份文件达36个g打开都是问题；
使用备份文件恢复
大文件编辑器，glogg-latest-x86_64-setup通过该文件打开备份文件，虽然过程稍慢，但是能够打开，且正常读取编辑信息，要恢复的数据量不大时采取是没问题的，但是如果表几十万行，操作起来就比较麻烦了；
golang读取备份文件
采用golang读取，借助编程语言的优势来读取备份，经过测试读取指定备份文件（约36gb）表，大约需要12min，其实主要就是读取遍历备份文件的过程；
我要评论
**
* @author: ws
* @file: main
* @date: 2019/11/16 0016 14:35
* @remark:
*/
var(
_insert_into="insertinto${table}values"
_dir="temp"
)
var table_car="t_scm_car"
func readsqlfile(){
t1 := time.now() // get current time
f, err := os.open("e:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql")
defer f.close()
if err != nil {
}
buf := bufio.newreader(f)
nfs:=gettxtfile(table_car)
for {
s, err := buf.readstring('\n')
if(err!=nil){
logger.error(err.error())
break
}
if err == nil {
if s==""{
continue
}
sqlstr:=getsqlstr(s,table_car)
if(sqlstr!=""){
nfs.write([]byte(sqlstr))
}
}
}
elapsed := time.since(t1)
fmt.println("app elapsed: ", elapsed)
}
/**
调整验证每一行数据的格式化，并与预设是否一致，如果一致则读取加载到
*/
func getsqlstr(sqlstr,tablename string)string{
var realtablename=strings.replace(_insert_into,"${table}",tablename,-1)
replaceemptystr:=strings.replace(sqlstr," ","",-1)
temps:=strings.toupper(strings.replace(replaceemptystr,"`","",-1))
if(len(temps)>=len(realtablename)) {
tabname := temps[0:len(realtablename)]
if (tabname ==realtablename) {
return sqlstr
}
}
return ""
}
/**
打开txt文件
*/
func gettxtfile(filename string)os.file{
txtfile:=createtofile(fmt.sprintf("%v/%v.txt",_dir,filename))
nfs, err := os.openfile(txtfile.name(), os.o_append |os.o_rdwr|os.o_create, 0644)
if err != nil {
logger.error(fmt.sprintf("打开文件失败:%v",err.error()))
}
defer nfs.close()
nfs.seek(0, io.seekend)
return *nfs
}
func readline(r *bufio.reader) (string, error) {
line, isprefix, err := r.readline()
for isprefix && err == nil {
var bs []byte
bs, isprefix, err = r.readline()
line = append(line, bs...)
}
return string(line), err
}
func createtofile(filename string)os.file{
_, err := os.stat(_dir)
if err == nil {
}
if os.isnotexist(err) {
os.mkdirall(_dir, os.modeperm)
}
newfile, err := os.create(filename)
if err != nil {
logger.error(fmt.sprintf("文件创建失败:%v",err.error()))
}
defer func() {
newfile.close()
}()
newfile.writestring("\xef\xbb\xbf") // 写入utf-8 bom，防止中文乱码
return *newfile
}
func main() {
readsqlfile()
}
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对移动技术网的支持。
如对本文有疑问， 点击进行留言回复！！
网友评论