【Visio流程图】借助redis来实现数据即时刷新
【需求:】数据从竞品网站爬过来,经过分析处理之后,把结果通过网页实时反馈给业务人员。
【应用:】2个应用:
- 一个是爬取数据的应用:不断从竞品网站爬数据,每次爬到的数据为一批。然后,对每一批爬到的数据进行清洗和分析,生成唯一批次号(batch_no),将分析结果持久化入库。
- 一个是展示页面:实时刷新持久化的分析结果。
【起初方案】见如下visio流程图。
缺点很明显:网页一直刷库。这样,数据表会存在频繁读写,db压力大。
【改造方案】借助redis。见如下visio流程图。
如对本文有疑问,
点击进行留言回复!!
相关文章:
-
-
-
-
-
-
-
闪存的物理结构
闪存芯片从小到大依此是由:cell(单元)、page(页)、block(块)、plane(平面)、die(核心)...
[阅读全文]
-
-
-
-
网友评论