「深度学习福利」大神带你进阶工程师,立即查看>>>
文章的开头我们先来看下什么是图数据库,根据维基百科的定义： 图数据库是使用图结构进行语义查询的数据库,它使用节点、边和属性来表示和存储数据 。
虽然和关系型数据库存储的结构不同（关系型数据库为表结构,图数据库为图结构）,但不计各自的性能问题,关系型数据库可以通过递归查询或者组合其他 SQL 语句（Join）完成图查询语言查询节点关系操作。得益于 1987 年 SQL 成为国际标准化组织（ISO）标准,关系型数据库行业得到了很好的发展。同 60、70 年代的关系型数据库类似,图数据库这个领域的查询语言目前也没有统一标准,虽然 19 年 9 月经过国际 SQL 标准委员会投票表决,决定将图查询语言（Graph Query Language）纳为一种新的数据库查询语言,但 GQL 的制定仍需要一段时间。
介于市面上没有统一的图查询语言标准,在本文中我们选取市面上主流的几款图查询语言来分析一波用法,由于篇幅原因本文旨在简单介绍图查询语言和常规用法,更详细的内容将在进阶篇中讲述。
图查询语言·介绍
图查询语言 Gremlin
Gremlin 是 Apache ThinkerPop 框架下的图遍历语言。Gremlin 可以是 声明性 的也可以是 命令性 的。虽然 Gremlin 是基于 Groovy 的,但具有许多语言变体,允许开发人员以 Java、JavaScript、Python、Scala、Clojure 和 Groovy 等许多现代编程语言 原生编写 Gremlin 查询 。
支持图数据库：Janus Graph、InfiniteGraph、Cosmos DB、DataStax Enterprise(5.0+) 、Amazon Neptune
图查询语言 Cypher
Cypher 是一个描述性的图形查询语言,允许不必编写图形结构的遍历代码对图形存储有表现力和效率的查询,和 SQL 很相似,Cypher 语言的关键字不区分大小写,但是属性值,标签,关系类型和变量是区分大小写的。
支持图数据库： Neo4j、RedisGraph、AgensGraph
图查询语言 nGQL
nGQL 是一种类 SQL 的声明型的文本查询语言,nGQL 同样是关键词大小写不敏感的查询语言,目前支持模式匹配、聚合运算、图计算,可无嵌入组合语句。
支持图数据库：Nebula Graph
图查询语言·术语篇
在比较这 3 个图查询语言之前,我们先来看看他们各自的术语,如果你翻阅他们的文档会经常见到下面这些“关键字”,在这里我们不讲用法,只看这些图数据库常用概念在这 3 个图数据库文档中的叫法。
术语 Gremlin Cypher nGQL
点 Vertex Node Vertex 边 Edge Relationship Edge 点类型 Label Label Tag 边类型 label RelationshipType edge type 点 ID vid id(n) vid 边 ID eid id(r) 无 删除 更新属性 drop setProperty delete set delete / drop update
我们可以看到大体上对点和边的叫法类似,只不过 Cypher 中直接使用了 Relationship 关系一词代表边。其他的术语基本都非常直观。 (prop_name_list) VALUES :(prop_value_list) ) # Cypher 查看点 MATCH (n) WHERE condition RETURN properties(n) # nGQL 查看点 FETCH PROP ON ).drop() # Cypher 删除点 MATCH (node:label) DETACH DELETE node # nGQL 删除点 DELETE VERTEX ).property() # Cypher 更新点 SET n.prop = V # nGQL 更新点 UPDATE VERTEX SET :)- [(:)] ->(:) # nGQL 插入指定边类型的边 INSERT EDGE () VALUES -> : \ () ).drop() # Cypher 删除边 MATCH (:)-[r:relationship-label-name]->() DELETE r # nGQL 删除边 DELETE EDGE -> ) # Cypher 查看指定边 MATCH (n)-[r:label]->() WHERE condition RETURN properties(r) # nGQL 查看指定边 FETCH PROP ON -> ).outE() # Cypher 指定点查指定边 Match (n)->[r:label]->[] WHERE id(n) = vid RETURN r # nGQL 指定点查指定边 GO FROM OVER ).inE() # Cypher 沿指定点反向查询指定边 MATCH (n)<-[r:label]-() # nGQL 沿指定点反向查询指定边 GO FROM OVER REVERSELY ).bothE() # Traverse edges with specified vertices Cypher MATCH (n)-[r:label]-() # Traverse edges with specified vertices nGQL GO FROM OVER BIDIRECT ).repeat(out()).times(N) # Cypher 沿指定点查询指定边 N 跳 MATCH (n)-[r:label*N]->() WHERE condition RETURN r # nGQL 沿指定点查询指定边 N 跳 GO N STEPS FROM OVER ).repeat(out()).until().path() # Cypher 返回指定两点路径 MATCH p =(a)-[.*]->(b) WHERE condition RETURN p # nGQL 返回指定两点路径 FIND ALL PATH FROM TO OVER * 「深度学习福利」大神带你进阶工程师,立即查看>>>
「深度学习福利」大神带你进阶工程师,立即查看>>> - Id 是由两部分组成： millisecondsTime 为当前服务器时间毫秒时间戳。 sequenceNumber 当前序列号,取值来源于当前毫秒内,生成消息的顺序,默认从 0 开始加 1 递增。
「深度学习福利」大神带你进阶工程师,立即查看>>>
mongodb内核、wiredtiger存储引擎、rocksdb存储引擎相关源码分析详见(后续持续更新):
https://github.com/y123456yz/reading-and-annotate-mongodb-3.6.1
背景
线上某集群峰值TPS超过100万/秒左右(主要为写流量,读流量很低),峰值tps几乎已经到达集群上限,同时平均时延也超过100ms,随着读写流量的进一步增加,时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构,数据均衡的分布于各个分片中,添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:
从上图可以看出集群流量比较大,峰值已经突破120万/秒,其中delete过期删除的流量不算在总流量里面(delete由主触发删除,但是主上面不会显示,只会在从节点拉取oplog的时候显示)。如果算上主节点的delete流量,总tps超过150万/秒。
软件优化
在不增加服务器资源的情况下,首先做了如下软件层面的优化,并取得了理想的数倍性能提升： 业务层面优化 Mongodb配置优化 存储引擎优化
2.1 业务层面优化
该集群总文档近百亿条,每条文档记录默认保存三天,业务随机散列数据到三天后任意时间点随机过期淘汰。由于文档数目很多,白天平峰监控可以发现从节点经常有大量delete操作,甚至部分时间点delete删除操作数已经超过了业务方读写流量,因此考虑把delete过期操作放入夜间进行,过期索引添加方法如下:
Db.collection.createIndex( { "expireAt": 1 }, { expireAfterSeconds: 0 } )
上面的过期索引中expireAfterSeconds=0,代表collection集合中的文档的过期时间点在expireAt时间点过期,例如：
db.collection.insert( {
//表示该文档在夜间凌晨1点这个时间点将会被过期删除
"expireAt": new Date('July 22, 2019 01:00:00'),
"logEvent": 2,
"logMessage": "Success!"
} )
通过随机散列expireAt在三天后的凌晨任意时间点,即可规避白天高峰期触发过期索引引入的集群大量delete,从而降低了高峰期集群负载,最终减少业务平均时延及抖动。
Delete过期Tips1: expireAfterSeconds含义
1. 在 expireAt指定的绝对时间点过期,也就是12.22日凌晨2:01过期
Db.collection.createIndex( { "expireAt": 1 }, { expireAfterSeconds: 0 } )
db.log_events.insert( { "expireAt": new Date(Dec 22, 2019 02:01:00'),"logEvent": 2,"logMessage": "Success!"})
在 expireAt指定的时间往后推迟expireAfterSeconds秒过期,也就是当前时间往后推迟60秒过期
db.log_events.insert( {"createdAt": new Date(),"logEvent": 2,"logMessage": "Success!"} )
Db.collection.createIndex( { "expireAt": 1 }, { expireAfterSeconds: 60 } )
Delete过期Tips2: 为何mongostat只能监控到从节点有delete操作,主节点没有？
原因是过期索引只在master主节点触发,触发后主节点会直接删除调用对应wiredtiger存储引擎接口做删除操作,不会走正常的客户端链接处理流程,因此主节点上看不到delete统计。
主节点过期delete后会生存对于的delete oplog信息,从节点通过拉取主节点oplog然后模拟对于client回放,这样就保证了主数据删除的同时从数据也得以删除,保证数据最终一致性。从节点模拟client回放过程将会走正常的client链接过程,因此会记录delete count统计,详见如下代码:
官方参考如下: https://docs.mongodb.com/manual/tutorial/expire-data/
2.2 Mongodb配置优化(网络IO复用,网络IO和磁盘IO做分离)
由于集群tps高,同时整点有大量推送,因此整点并发会更高,mongodb默认的一个请求一个线程这种模式将会严重影响系统负载,该默认配置不适合高并发的读写应用场景。官方介绍如下:
2.2.1 Mongodb内部网络线程模型实现原理
mongodb默认网络模型架构是一个客户端链接,mongodb会创建一个线程处理该链接fd的所有读写请求及磁盘IO操作。
Mongodb默认网络线程模型不适合高并发读写原因如下:
1. 在高并发的情况下,瞬间就会创建大量的线程,例如线上的这个集群,连接数会瞬间增加到1万左右,也就是操作系统需要瞬间创建1万个线程,这样系统load负载就会很高。
2. 此外,当链接请求处理完,进入流量低峰期的时候,客户端连接池回收链接,这时候mongodb服务端就需要销毁线程,这样进一步加剧了系统负载,同时进一步增加了数据库的抖动,特别是在PHP这种短链接业务中更加明显,频繁的创建线程销毁线程造成系统高负债。
3. 一个链接一个线程,该线程除了负责网络收发外,还负责写数据到存储引擎,整个网络I/O处理和磁盘I/O处理都由同一个线程负责,本身架构设计就是一个缺陷。
2.2.2 网络线程模型优化方法
为了适应高并发的读写场景,mongodb-3.6开始引入serviceExecutor: adaptive配置,该配置根据请求数动态调整网络线程数,并尽量做到网络IO复用来降低线程创建消耗引起的系统高负载问题。此外,加上serviceExecutor: adaptive配置后,借助boost:asio网络模块实现网络IO复用,同时实现网络IO和磁盘IO分离。这样高并发情况下,通过网络链接IO复用和mongodb的锁操作来控制磁盘IO访问线程数,最终降低了大量线程创建和消耗带来的高系统负载,最终通过该方式提升高并发读写性能。
2.2.3 网络线程模型优化前后性能对比
在该大流量集群中增加serviceExecutor: adaptive配置实现网络IO复用及网络IO与磁盘IO做分离后,该大流量集群时延大幅度降低,同时系统负载和慢日志也减少很多,具体如下:
2.2.3.1 优化前后系统负载对比
验证方式： 该集群有多个分片,其中一个分片配置优化后的主节点和同一时刻未优化配置的主节点load负载比较：
未优化配置的load
优化配置的load
2.2.3.2 优化前后慢日志对比
验证方式：
该集群有多个分片,其中一个分片配置优化后的主节点和同一时刻未优化配置的主节点慢日志数比较：
同一时间的慢日志数统计：
未优化配置的慢日志数 (19621) ：
优化配置后的慢日志数 (5222):
2.2.3.3 优化前后平均时延对比
验证方式：
该集群所有节点加上网络IO复用配置后与默认配置的平均时延对比如下:
从上图可以看出,网络IO复用后时延降低了1-2倍。
2.3 wiredtiger存储引擎优化
从上一节可以看出平均时延从200ms降低到了平均80ms左右,很显然平均时延还是很高,如何进一步提升性能降低时延？继续分析集群,我们发现磁盘IO一会儿为0,一会儿持续性100%,并且有跌0现象,现象如下:
从图中可以看出,I/O写入一次性到2G,后面几秒钟内I/O会持续性阻塞,读写I/O完全跌0,avgqu-sz、awit巨大,util次序性100%,在这个I/O跌0的过程中,业务方反应的TPS同时跌0。
此外,在大量写入IO后很长一段时间util又持续为0%,现象如下：
总体IO负载曲线如下:
从图中可以看出IO很长一段时间持续为0%,然后又飙涨到100%持续很长时间,当IO util达到100%后,分析日志发现又大量满日志,同时mongostat监控流量发现如下现象：
从上可以看出我们定时通过mongostat获取某个节点的状态的时候,经常超时,超时的时候刚好是io util=100%的时候,这时候IO跟不上客户端写入速度造成阻塞。
有了以上现象,我们可以确定问题是由于IO跟不上客户端写入速度引起,第2章我们已经做了mongodb服务层的优化,现在我们开始着手wiredtiger存储引擎层面的优化,主要通过以下几个方面： cachesize调整 脏数据淘汰比例调整 checkpoint优化
2.3.1 cachesize调整优化(为何cacheSize越大性能越差)
前面的IO分析可以看出,超时时间点和I/O阻塞跌0的时间点一致,因此如何解决I/O跌0成为了解决改问题的关键所在。
找个集群平峰期(总tps50万/s)查看当时该节点的TPS,发现TPS不是很高,单个分片也就3-4万左右,为何会有大量的刷盘,瞬间能够达到10G/S,造成IO util持续性跌0(因为IO跟不上写入速度)。继续分析wiredtiger存储引擎刷盘实现原理,wiredtiger存储引擎是一种B+树存储引擎,mongodb文档首先转换为KV写入wiredtiger,在写入过程中,内存会越来越大,当内存中脏数据和内存总占用率达到一定比例,就开始刷盘。同时当达到checkpoint限制也会触发刷盘操作,查看任意一个mongod节点进程状态,发现消耗的内存过多,达到110G,如下图所示:
于是查看mongod.conf配置文件,发现配置文件中配置的cacheSizeGB: 110G,可以看出,存储引擎中KV总量几乎已经达到110G,按照5%脏页开始刷盘的比例,峰值情况下cachesSize设置得越大,里面得脏数据就会越多,而磁盘IO能力跟不上脏数据得产生速度,这种情况很可能就是造成磁盘I/O瓶颈写满,并引起I/O跌0的原因。
此外,查看该机器的内存,可以看到内存总大小为190G,其中已经使用110G左右,几乎是mongod的存储引起占用,这样会造成内核态的page cache减少,大量写入的时候内核cache不足就会引起磁盘缺页中断,引起大量的写盘。
解决办法： 通过上面的分析问题可能是大量写入的场景,脏数据太多容易造成一次性大量I/O写入,于是我们可以考虑把存储引起cacheSize调小到50G,来减少同一时刻I/O写入的量,从而规避峰值情况下一次性大量写入的磁盘I/O打满阻塞问题。
2.3.2 存储引擎dirty脏数据淘汰优化
调整cachesize大小解决了5s请求超时问题,对应告警也消失了,但是问题还是存在,5S超时消失了,1s超时问题还是偶尔会出现。
因此如何在调整cacheSize的情况下进一步规避I/O大量写的问题成为了问题解决的关键,进一步分析存储引擎原理,如何解决内存和I/O的平衡关系成为了问题解决的关键,mongodb默认存储因为wiredtiger的cache淘汰策略相关的几个配置如下:
wiredtiger淘汰相关配置 默认值 工作原理 eviction_target 80 当用掉的内存超过总内存的百分比达到 eviction_target,后台evict线程开始淘汰 eviction_trigger 95 当用掉的内存超过总内存的 eviction_trigger,用户线程也开始淘汰 eviction_dirty_target 5 当cache中脏数据比例超过 eviction_dirty_target,后台evict线程开始淘汰 eviction_dirty_trigger 20 当cache中脏数据比例超过 eviction_dirty_trigger, 用户线程也开始淘汰 evict.threads_max 4 后台evict线程最大数
调整cacheSize从120G到50G后,如果脏数据比例达到5%,则极端情况下如果淘汰速度跟不上客户端写入速度,这样还是容易引起I/O瓶颈,最终造成阻塞。
解决办法： 如何进一步减少持续性I/O写入,也就是如何平衡cache内存和磁盘I/O的关系成为问题关键所在。从上表中可以看出,如果脏数据及总内占用存达到一定比例,后台线程开始选择page进行淘汰写盘,如果脏数据及内存占用比例进一步增加,那么用户线程就会开始做page淘汰,这是个非常危险的阻塞过程,造成用户请求验证阻塞。平衡cache和I/O的方法: 调整淘汰策略,让后台线程尽早淘汰数据,避免大量刷盘,同时降低用户线程阀值,避免用户线程进行page淘汰引起阻塞。优化调整存储引起配置如下:
eviction_target: 75%
eviction_trigger：97%
eviction_dirty_target: %3
eviction_dirty_trigger：25%
evict.threads_min：8
evict.threads_min：12
总体思想是让后台evict尽量早点淘汰脏页page到磁盘,同时调整evict淘汰线程数来加快脏数据淘汰,调整后mongostat及客户端超时现象进一步缓解。
2.3.3 存储引擎checkpoint优化调整
存储引擎得checkpoint检测点,实际上就是做快照,把当前存储引擎的脏数据全部记录到磁盘。触发checkpoint的条件默认又两个,触发条件如下: 固定周期做一次checkpoint快照,默认60s 增量的redo log(也就是journal日志)达到2G
当journal日志达到2G或者redo log没有达到2G并且距离上一次时间间隔达到60s,wiredtiger将会触发checkpoint,如果在两次checkpoint的时间间隔类evict淘汰线程淘汰的dirty page越少,那么积压的脏数据就会越多,也就是checkpoint的时候脏数据就会越多,造成checkpoint的时候大量的IO写盘操作。如果我们把checkpoint的周期缩短,那么两个checkpoint期间的脏数据相应的也就会减少,磁盘IO 100%持续的时间也就会缩短。
checkpoint调整后的值如下:
checkpoint=(wait=25,log_size=1GB)
2.3.4 存储引擎优化前后IO对比
通过上面三个方面的存储引擎优化后,磁盘IO开始平均到各个不同的时间点,iostat监控优化后的IO负载如下:
从上面的io负载图可以看出,之前的IO一会儿为0%,一会儿100%现象有所缓解,总结如下图所示:
2.3.5 存储引擎优化前后时延对比
优化前后时延对比如下(注: 该集群有几个业务同时使用,优化前后时延对比如下):
从上图可以看出,存储引擎优化后时间延迟进一步降低并趋于平稳,从平均80ms到平均20ms左右,但是还是不完美,有抖动。
3 服务器系统磁盘IO问题解决
3.1 服务器IO硬件问题背景
如第3节所述,当wiredtiger大量淘汰数据后,发现只要每秒磁盘写入量超过500M/s,接下来的几秒钟内util就会持续100%,w/s几乎跌0,于是开始怀疑磁盘硬件存在缺陷。
从上图可以看出磁盘为nvMe的ssd盘,查看相关数据可以看出该盘IO性能很好,支持每秒2G写入,iops能达到2.5W/S,而我们线上的盘只能每秒写入最多500M。
3.2 服务器IO硬件问题解决后性能对比
于是考虑把该分片集群的主节点全部迁移到另一款服务器,该服务器也是ssd盘,io性能达到2G/s写入(注意:只迁移了主节点,从节点还是在之前的IO-500M/s的服务器)。 迁移完成后,发现性能得到了进一步提升,时延迟降低到2-4ms/s,三个不同业务层面看到的时延监控如下图所示：
从上图时延可以看出,迁移主节点到IO能力更好的机器后,时延进一步降低到平均2-4ms。
虽然时延降低到了平均2-4ms,但是还是有很多几十ms的尖刺,鉴于篇幅将在下一期分享大家原因,最终保存所有时延控制在5ms以内,并消除几十ms的尖刺。
此外,nvme的ssd io瓶颈问题原因,经过和厂商确认分析,最终定位到是linux内核版本不匹配引起,如果大家nvme ssd盘有同样问题,记得升级linux版本到3.10.0-957.27.2.el7.x86_64版本,升级后nvme ssd的IO能力达到2G/s以上写入。
4 总结及遗留问题
通过mongodb服务层配置优化、存储引擎优化、硬件IO提升三方面的优化后,该大流量写入集群的平均时延从之前的平均数百ms降低到了平均2-4ms,整体性能提升数十倍,效果明显。
但是, 从4.2章节优化后的时延可以看出,集群偶尔还是会有抖动,鉴于篇幅,下期会分享如果消除4.2章节中的时延抖动,最终保持时间完全延迟控制在2-4ms,并且无任何超过10ms的抖动,敬请期待,下篇会更加精彩。
此外,在集群优化过程中采了一些坑,下期会继续分析大流量集群采坑记。
注意: 文章中的一些优化方法并不是一定适用于所有mongodb场景,请根据实际业务场景和硬件资源能力进行优化,而不是按部就班。
oppo互联网运维云存储团队急缺以下人才：
如果对mongodb内核源码、wiredtiger存储引擎、rocksdb存储引擎、数据库机房多活、数据链路同步系统、中间件、数据库等源码研究有兴趣的同学。
欢迎加入oppo大家庭,一起参与oppo百万级高并发文档数据库研发。
工作地点:成都/深圳
邮箱： yangyazhou#oppo.com
近期继续分享如下主题,敬请关注： 百万级高并发mongodb集群性能数十倍提升原理(下) 百万计高并发mongodb集群性能优化采坑记 线上典型集群抖动、不可用等问题汇总分析 Mongodb文档数据库业务使用最佳案例分享
mongodb内核、wiredtiger存储引擎、rocksdb存储引擎相关源码分析详见(后续持续更新):
https://github.com/y123456yz/reading-and-annotate-mongodb-3.6.1
本文由云+社区发表 作者：技术沙龙
本文整理自虎牙中间件团队在 Nacos Meetup 的现场分享,阿里巴巴中间件受权发布。
文件头部注释
Redis 提供了两种方式,实现数据的持久化到硬盘。 1、【全量】RDB 持久化,是指在指定的时间间隔内将内存中的 数据集快照 写入磁盘。实际操作过程是,fork 一个子进程,先将数据集写入临时文件,写入成功后,再替换之前的文件,用二进制压缩存储。 - 默认开启rdb持久化 2、【增量】AOF持久化,以日志的形式记录服务器所处理的每一个 写、删除操作 ,查询操作不会记录,以文本的方式记录,可以打开文件看到详细的操作记录。 - 默认关闭 每次写,删除操作就同步或者每秒同步
作者介绍： 于振华,北京银行软件开发部资深架构师,长期从事银行核心系统研发、规划,参与过多个核心信息系统建设工作,包括一、二代支付系统、第四代银行核心系统建设、分布式核心系统建设等企业级项目工作。当前主要研发方向集中在构建先进、高效、面向 OLTP 的银行交易系统,提升银行信息系统服务能力。
图 1 图 2 图 3 图 4 图 5 图 6 图 7 图 8 图 9 图 10 一、前言
意向排他锁（IX) 共享锁(S) 意向共享锁(IS) 冲突 冲突 冲突 兼容 冲突 兼容 冲突 兼容 兼容 兼容 兼容 兼容 如上所示的一个sql查询,在hourflag字段已经加了索引的情况下 ,仍然使用的是ALL扫描全表
Mybatis 配置初始化过程
测试代码
SqlMapConfig.xml
StudentMapper.xml
select * from student where sid = #{sid} Student package com.zhiwei.entity; import lombok.AllArgsConstructor; import lombok.Data; import lombok.NoArgsConstructor; import lombok.ToString; @Data @NoArgsConstructor @AllArgsConstructor @ToString public class Student { private int sid; private String stuName; private String stuPasswd; private int stuAge; private String stuGender; private float stuScore; }
StudentMapper package com.zhiwei.advanced.mapper; import com.zhiwei.advanced.pojo.StudentCustomer; import com.zhiwei.advanced.pojo.StudentQueryVo; import com.zhiwei.entity.Student; import java.util.List; public interface StudentMapper { public Student findStudentById(Integer sid); }
启动类 sqlSession.getMapper(StudentMapper.class).findStudentById(id);
工作流程
解析XML映射为org.apache.ibatis.session.Configuration对象,并以此为基础创建SessionFactory, SessionFactory创建的Session与Executor绑定,交由Executor执行
配置加载过程
SessionFactory构建代码 Inputstream is = Resources.getResourceAsStream("SqlMapConfig.xml"); sqlSessionFactory = new SqlSessionFactoryBuilder().build(is);
SessionFactory构建
org.apache.ibatis.session.SqlSessionFactoryBuilder#build(java.io.InputStream, java.lang.String, java.util.Properties) XMLConfigBuilder parser = new XMLConfigBuilder(inputStream, environment, properties); return build(parser.parse());
XMLConfigBuilder 工具类：主要解析SqlMapConfig.xml private XMLConfigBuilder(XPathParser parser, String environment, Properties props) { super(new Configuration()); ErrorContext.instance().resource("SQL Mapper Configuration"); this.configuration.setVariables(props); this.parsed = false; this.environment = environment; this.parser = parser; }
new Configuration(): 默认填充配置：类似缓存别名映射类 public Configuration() { typeAliasRegistry.registerAlias("JDBC", JdbcTransactionFactory.class); typeAliasRegistry.registerAlias("MANAGED", ManagedTransactionFactory.class); typeAliasRegistry.registerAlias("JNDI", JndiDataSourceFactory.class); typeAliasRegistry.registerAlias("POOLED", PooledDataSourceFactory.class); typeAliasRegistry.registerAlias("UNPOOLED", UnpooledDataSourceFactory.class); typeAliasRegistry.registerAlias("PERPETUAL", PerpetualCache.class); typeAliasRegistry.registerAlias("FIFO", FifoCache.class); typeAliasRegistry.registerAlias("LRU", LruCache.class); typeAliasRegistry.registerAlias("SOFT", SoftCache.class); typeAliasRegistry.registerAlias("WEAK", WeakCache.class); typeAliasRegistry.registerAlias("DB_VENDOR", VendorDatabaseIdProvider.class); typeAliasRegistry.registerAlias("XML", XMLLanguageDriver.class); typeAliasRegistry.registerAlias("RAW", RawLanguageDriver.class); typeAliasRegistry.registerAlias("SLF4J", Slf4jImpl.class); typeAliasRegistry.registerAlias("COMMONS_LOGGING", JakartaCommonsLoggingImpl.class); typeAliasRegistry.registerAlias("LOG4J", Log4jImpl.class); typeAliasRegistry.registerAlias("LOG4J2", Log4j2Impl.class); typeAliasRegistry.registerAlias("JDK_LOGGING", Jdk14LoggingImpl.class); typeAliasRegistry.registerAlias("STDOUT_LOGGING", StdOutImpl.class); typeAliasRegistry.registerAlias("NO_LOGGING", NoLoggingImpl.class); typeAliasRegistry.registerAlias("CGLIB", CglibProxyFactory.class); typeAliasRegistry.registerAlias("JAVASSIST", JavassistProxyFactory.class); languageRegistry.setDefaultDriverClass(XMLLanguageDriver.class); languageRegistry.register(RawLanguageDriver.class); }
XML解析：parser.parse()
parsed解析标志,底层调用 parseConfiguration(parser.evalNode("/configuration")); 按照Xpath语法解析SqlMapConfig.xml根节点 private void parseConfiguration(XNode root) { try { // 解析SqlMapConfig.xml的properties标签, configuration.setVariables(defaults)解析properties文件属性到configuration缓存 propertiesElement(root.evalNode("properties")); // setting配置： configuration.setVfsImpl(vfsImpl) Properties settings = settingsAsProperties(root.evalNode("settings")); loadCustomVfs(settings); //别名配置：configuration.typeAliasRegistry //dtd约束：mybatis-3-config.dtd //package: key:类简单名驼峰命名法,class:类全限定名 //typeAlias: key： alias自定义别名 type：类全限定名 //注意：最好不用直接引用package形式,否则多个包存在相同名的类会出现冲突 typeAliasesElement(root.evalNode("typeAliases")); //插件配置：相当于拦截器可自定义操作,例如分页、CRUD操作拦截,类似AOP：configuration.interceptorChain pluginElement(root.evalNode("plugins")); //设置对象工厂：哦、configuration.objectFactory objectFactoryElement(root.evalNode("objectFactory")); //社会组obectMapper工厂：configuration.objectWrapperFactory objectWrapperFactoryElement(root.evalNode("objectWrapperFactory")); //设置反射器工厂：configuration.reflectorFactory,反射机制操作 reflectorFactoryElement(root.evalNode("reflectorFactory")); //mybatis全局配置：若无自定义则使用默认配置 settingsElement(settings); //设置环境：configuration.environment,本质缓存当前工作数据库信息 //注意：Environment可设置多套数据库环境,通过default属性指定具体数据库 environmentsElement(root.evalNode("environments")); //明确指定mybatis工作的数据库ID：数据库产品名称 databaseIdProviderElement(root.evalNode("databaseIdProvider")); //类型处理器：解析具体的Mapper数据类型： configuration.typeHandlerRegistry //作用：数据库操作Mapper的解析和转换工作 typeHandlerElement(root.evalNode("typeHandlers")); //mapper处理：configuration.mapperRegistry mapperElement(root.evalNode("mappers")); } catch (Exception e) { throw new BuilderException("Error parsing SQL Mapper Configuration. Cause: " + e, e); } }
Mapper标签解析 private void mapperElement(XNode parent) throws Exception { if (parent != null) { for (XNode child : parent.getChildren()) { //package形式批量配置：常用 if ("package".equals(child.getName())) { String mapperPackage = child.getStringAttribute("name"); configuration.addMappers(mapperPackage); //mapper单个独立配置 } else { String resource = child.getStringAttribute("resource"); String url = child.getStringAttribute("url"); String mapperClass = child.getStringAttribute("class"); if (resource != null && url == null && mapperClass == null) { ErrorContext.instance().resource(resource); InputStream inputStream = Resources.getResourceAsStream(resource); XMLMapperBuilder mapperParser = new XMLMapperBuilder(inputStream, configuration, resource, configuration.getSqlFragments()); mapperParser.parse(); } else if (resource == null && url != null && mapperClass == null) { ErrorContext.instance().resource(url); InputStream inputStream = Resources.getUrlAsStream(url); XMLMapperBuilder mapperParser = new XMLMapperBuilder(inputStream, configuration, url, configuration.getSqlFragments()); mapperParser.parse(); } else if (resource == null && url == null && mapperClass != null) { Class mapperInterface = Resources.classForName(mapperClass); configuration.addMapper(mapperInterface); } else { throw new BuilderException("A mapper element may only specify a url, resource or class, but not more than one."); } } } } }
mapperParser.parse(); 解析 //解析流程 public void parse() { //判断StudentMapper.xml是否已加载 if (!configuration.isResourceLoaded(resource)) { configurationElement(parser.evalNode("/mapper")); configuration.addLoadedResource(resource); bindMapperForNamespace(); } //XML解析可能出现问题,重复处理,例如子ResultMap先于父ResultMap加载 parsePendingResultMaps(); parsePendingCacheRefs(); parsePendingStatements(); }
configurationElement(parser.evalNode("/mapper")); 解析Mapper标签 private void configurationElement(XNode context) { try { String namespace = context.getStringAttribute("namespace"); if (namespace == null || namespace.equals("")) { throw new BuilderException("Mapper's namespace cannot be empty"); } builderAssistant.setCurrentNamespace(namespace); cacheRefElement(context.evalNode("cache-ref")); cacheElement(context.evalNode("cache")); //解析parameterMap标签：configuration.parameterMaps parameterMapElement(context.evalNodes("/mapper/parameterMap")); //解析resultMap标签:configuration.resultMaps resultMapElements(context.evalNodes("/mapper/resultMap")); //解析sql标签:configuration.sqlFragments sqlElement(context.evalNodes("/mapper/sql")); //解析：CRUD标签映射为MapperStatement //分析：构建sql原材料ParameterMaps、ResuldMap、sql片段、namespace准备后开始构建 buildStatementFromContext(context.evalNodes("select|insert|update|delete")); } catch (Exception e) { throw new BuilderException("Error parsing Mapper XML. Cause: " + e, e); } }
构建MapperStatement private void buildStatementFromContext(List
list, String requiredDatabaseId) { for (XNode context : list) { final XMLStatementBuilder statementParser = new XMLStatementBuilder(configuration, builderAssistant, context, requiredDatabaseId); try { statementParser.parseStatementNode(); } catch (IncompleteElementException e) { configuration.addIncompleteStatement(statementParser); } } } 《漫步华尔街》的读书笔记作文2200字：
一、语法： CAST (expression AS data_type)
结构化查询语言(Structured Query Language),简称SQL,是一种特殊目的的编程语言,是一种数据库查询和程序设计语言,用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。
要想知道每个数据库的大小的话,步骤如下：
要在启动时自动运行Flyway数据库迁移,请将其添加 org.flywaydb:flyway-core 到类路径中。 __.sql （使用 下划线分隔的版本,例如“1”或“2_1”）。默认情况下,它们位于名为的文件夹中 classpath:db/migration ,但您可以通过设置修改该位置 spring.flyway.locations 。这是一个或多个 classpath: 或 filesystem: 位置的逗号分隔列表。例如,以下配置将在默认类路径位置和 /opt/migration 目录中搜索脚本： spring.flyway.locations = classpath：db / migration,filesystem：/ opt / migration
CentOS7.5 install Oracle12.1 and update
1.1 、 install centos7.5
1.2 、 vi etc/sysctl.conf
add row:
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmmni = 4096
kernel.shmall = 1073741824
kernel.shmmax = 4398046511104
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 1024 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
vm.swappiness = 0
vm.vfs_cache_pressure = 62
# net.core.default_qdisc = fq
# net.ipv4.tcp_congestion_control = bbr
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1800
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
#### net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000
1.3 、 vi etc/security/limits.conf
add row:
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft stack 10240oracle hard stack 32768
1.4 、 vi etc/pam.d/login
add row:
session required /lib64/security/pam_limits.so
session required pam_limits.so
1.5 、 vi etc/profile
add row:
if [ $USER = "oracle" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
fi
1.6 、 vi etc/hosts
add row:127.0.0.1 oracle12c oracle12c.localdomain
sysctl -p
1.7 、 for group in oinstall dba backupdba oper dgdba kmdba; do
groupadd $group
; done
1.8 、 useradd -g oinstall -G dba,oper,backupdba,dgdba,kmdba -d
/home/oracle -m
oracle
1.9 、 passwd oracle
1.10 、 vi home/oracle/.bash_profile
add row:
export ORACLE_BASE=/opt/oracle #oracle 数据库安装目录
export ORACLE_HOME=$ORACLE_BASE/12c #oracle 数据库
路径
export ORACLE_SID=oracle12c #oracle 启动数据库实例名
export ORACLE_TERM=xtermexport ORACLE_HOSTNAME=oracle12c.localdomain
export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/usr/lib
if [ $USER = "oracle" ]; then
if [ $SHELL = "/bin/ksh" ]; then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
export LANG=C # 防止安装过程出现乱码
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK # 设
置 Oracle 客户端字符集,必须与 Oracle# 安装时设置的字符集保持
一致,如: ZHS16GBK ,否则出现数据导入导出中文乱码问题
1.11 、 mount -B /run/media/birdofprey/CentOS\ 7\ x86_64/ /mnt
1.12 、 cp -r /etc/yum.repos.d/ /etc/yum.repos.d.backup
1.13 、 vi etc/yum.repos.d/CentOS-Base.repo
contents:
[base]
name=CentOS-$releasever - Base
baseurl=file:///mnt
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
enabled=1
1.14 、 yum -y install binutils compat-libstdc++ compat-libstdc++-
33 elfutils-libelf-devel gcc gcc-c++ glibc-devel glibc-headers ksh
libaio-devel libstdc++-devel make sysstat unixODBC-devel
binutils-* compat-libstdc++* elfutils-libelf* glibc* gcc-* libaio*
libgcc* libstdc++* make* sysstat* unixODBC* wget unzip
compat-libcap1.i686 compat-libcap1.x86_64
1.15 、 upload oracle12cinstall.zip
1.16 、 ./runInstaller2、update 12.1
2.1、download zip
p28259833_121020_Linux-x86-64.zip #### Database Patch Set Update 12.1.0.2.181016
p28440711_121020_Linux-x86-64.zip #### OJVM PATCH SET UPDATE 12.1.0.2.181016
p6880880_121010_Linux-x86-64.zip #### OPatch Version: 12.2.0.1.16
2.2、以 oracle 登陆用户,vi .bash_profile :
add row:
export PATH=$PATH:$HOME/bin:$ORACLE_HOME/bin:$ORACLE_HOME/OPatch
2.3、mv $ORACLE_HOME/Opatch $ORACLE_HOME/Opatch.backup
2.4、unzip p6880880_121010_Linux-x86-64.zip
2.5、mv Opatch/ $ORACLE_HOME/
2.6、sqlplus / as sysdba
SQL>SHUTDOWN IMMEDIATE;
2.7、lsnrctl stop
2.8、cd
/28440711 28259833 && opatch apply SQL Server MySQL 查询限制条数 语法： 语法： 创建临时表 表名必须以“#“开头 语法：CREATE TEMPORARY TABLE new_tbl SELECT * FROM orig_tbl LIMIT 0; 摘要：也许你在别的地方听说过Git。也许有人告诉过你,Git只适合软件开发人员。如果你是数据科学家,那么Git其实对你很重要。本文作者希望能够通过经验分享让你了解Git的重要性,以及如何在你的数据科学工作中使用它。 git commit -m 'your message' git push -u origin branch-name 决定要暂存哪些文件。 git commit -m 'your message' git push
一个划时代的知识女性——《杨绛传》读书笔记心得感想4300字：
概述
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>> SELECT * FROM 表名 t WHERE IF (t.年龄>18,t.性别='M',1=1) AND t.性别='F'
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
【围观】麒麟芯片遭打压成绝版,华为亿元投入又砸向了哪里？>>>
.png)
大数据引擎.png)
大数据应用.png)
大数据底层技术.png)
ForeSpider软件
.png)
采集服务.png)
软件学习.png)
智能分析.png)
特征提取.png)
智能计算.png)
数据可视化.png)
数据分析应用.png)
系统集成服务.png)
代码工具.png)
金融方案.png)
制造业&物流.png)
企业数字化.png)
医疗方案.png)
政务方案.png)
实时监测.png)
智能分析.png)
数据智能挖掘.png)
全网自动采集.png)
场景智慧采集.png)
主题识别采集
注册即送：30天知析标讯会员权益
022-2345 2937
185 2247 0110
business@forenose.com
客服微信
订阅号
服务号
022-2345 2937
185 2247 0110（同微信）
business@forenose.com
2779623375
前嗅大数据
津公网安备12010102001008号