海鲜店加盟,表面活性剂,运输板块
今天在消费kafka数据到elasticsearch（以下简称es）中的时候遇到一个问题，也是一个坑，折腾了半天，后来发现得来全不费工夫，全是白忙活啊！！！
问题如下：
kafka数据中有一个字段是时间字符串，格式为：‘2018-05-31 16：33:45：234’
为了方便以后根据日期检索数据，es里已将该字段设置为date类型，
接下来便开始了str到date转换的艰辛之路......
尝试过的解决办法如下：
1、使用datetime将str转换为datetime对象
输出结果如下：
好像成功了，于是开始导入es，但是出错了
这种转换对数据的格式要求比较苛刻，一旦原始字符串格式稍有变化，则抛出异常
所以下一步，捕获异常，将kafka中日期格式不符合要求的数据写到日志文件中，个别处理
最后：
elasticsearch原生支持date类型,json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型，参考elasticsearch官网介绍https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html。
date类型是包含时区信息的，如果我们没有在json代表日期的字符串中显式指定时区，对es来说没什么问题，但是如果通过kibana显示es里的数据时，就会出现问题，数据的时间会晚8个小时。因为kibana从es里读取的date类型数据，没有时区信息，kibana会默认当作0时区来解析，但是kibana在通过展示的时候，会通过js获取当前客户端机器所在的时区，也就是东八区，所以kibana会把从es得到的日期数据减去8小时。这里就会导致kibana经常遇到的“数据时间延迟8小时”的问题。
所以最佳实践方案就是：我们在往es提交日期数据的时候，直接提交带有时区信息的日期字符串，如：“2016-07-15t12:58:17.136+0800”。
如对本文有疑问，请在下面进行留言讨论，广大热心网友会与你互动！！ 点击进行留言回复
Python爬虫:Request Payload和Form Data的简单区别说明
浅谈Python中threading join和setDaemon用法及区别说明
Python3-异步进程回调函数(callback())介绍
python继承threading.Thread实现有返回值的子类实例
Python中使用threading.Event协调线程的运行详解
我要评论
网友评论