美团全链路监控CAT简介及部署

1. 简介

1.1 背景

CAT(Central Application Tracking)是由吴其敏(前大众点评首席架构师,现携程架构负责人)主导设计基于Java开发打造的实时应用监控平台,为大众点评网提供了全面的监控服务和决策支持。AT作为大众点评网基础监控组件,它已经在中间件框架(MVC框架,RPC框架,数据库框架,缓存框架等)中得到广泛应用,为点评各业务线提供系统的性能指标、健康状况、基础告警等。

1.2 吴其敏采访及一些备注

分布式系统已经诞生了很长时间,随着计算能力和存储价格的降低,我们见证了分布式系统大爆炸的时代,现代互联网公司规模都变得异常庞大,系统也变得越来越复杂,给监控工作带来了极大的难度:海量日志数据如何处理,服务如何追踪,如何高效定位故障缩短故障时常……

监控作为运维工作中最重要的环节,一直是运维工作者关注的话题。

吴其敏是平安银行零售网络金融事业部首席架构师,曾在 eBay 工作多年,先后担任过大众点评和携程的架构负责人,同时吴其敏也是开源的实时监控系统 CAT 的作者。

吴其敏老师担任本届 InfoQ 全球运维技术大会 CNUTCon 的联席主席,听说有几个出品人也是吴其敏老师的学生.

吴其敏: 我理解的常用监控手段

按监控层次分:业务监控、应用监控和基础监控等;

按监控日志来源分:基于日志文件监控、基于数据库监控和基于网络监控等;

按监控领域分:前端监控、后端监控、全链路监控、业务间监控等;

按监控目标分:系统故障监控、业务指标监控、应用性能监控、用户行为监控、安全合规监控等。

监控领域非常复杂,像开源实施分布式监控系统 CAT,从监控分层看,它擅长应用监控,有一定的业务监控和基础监控能力;它是基于网络来完成日志数据的传输的,将来会支持日志文件和数据库作为数据源;它已经覆盖前后端监控能力,通过良好的实施可以做到全链路监控和业务间监控,监控的目标更是非常多样化。但 CAT 对监控团队的技术开发和运维能力提出了很高的挑战,一般在大型互联网公司,都设有专门的监控研发团队,基于 CAT 做二次开发,支持业务的多样化需求。

分布式系统的监控难点在哪里?如何解决?

吴其敏: 

太多了!以 CAT 为例,CAT 在美团点评每天新增监控日志量有 400TB 以上(部分系统日志采样),在携程也早就超过 300TB,在这样的数据量压力下,通常情况下的一个小问题都会被放大千倍万倍,成为一个大问题,要么是系统稳定性受到影响,要么系统吞吐量有问题,要么系统出现热点导致资源使用不平衡而浪费,要么存储系统顶不住等,最可拍的是监控出问题导致的业务问题。

CAT 在设计之初就充分认识到监控领域是一个深水区,对每一方面领域问题都非常重视,对每一个新报表都经过长时间多角度的推敲认证,在编码实现时每一行核心代码都经过严格 Review,最极端的情况下一个类每一行代码 Review 后都需要修改。

CAT 具备单机开发条件,也就是说只要一台机器,一下子就可以将 CAT 系统启动起来,进行开发、测试和排障,开发效率极大提升,同时核心系统有大量单元测试覆盖,辅以完善的建模和代码生成工具,研发效率保持很高。

CAT 可以做到监控 CAT(最底层监控除外),即构建起了一个最小的应用场景,同时可以完善 CAT 自身能力,这一点也是非常重要的;轻量而独立的平台,是 CAT 的一个重要特点,很多人经常会问:Spring 是现在最流行的框架,功能强大,CAT 为什么不依赖它?我想说这里面有一个依赖层次问题,一般都是高层依赖低层的,不会底层要反向依赖高层的,否则会出现什么问题呢?其实这就是典型的耦合性问题,底层依赖于高层,底层的应用范围就会收到严重的约束,就像 C# 是一门好语言(除了 PHP 哈),C# 要做.NET CLR 上运行,.NET 有需要跑在 windows 上,就很容易想象.NET 现在所面临的窘境了。当然.NET core 经过改造应该也是可以跑在 Linux 上了,但是功能还是收到很大的限制。

像 CAT 客户端 SDK,我们刚开始的目标就是可以跑在 JDK 1.6 以上,各种不同的平台上,包括 Spring 和其他技术栈。有了这一个假设,就意味着 CAT 要尽可能少的依赖其他运行时组件,如果一定要依赖的话,最好也要避免与上层应用发生任何冲突,比如最基本的 log 和网络通讯组件 netty 等。但是在系统集成方面,CAT 是可以与各种流行的规范、系统和组件做更好的集成的,比如标准的 J2EE Web 项目,只要做 WAR 配置一个 filter 即可,针对 spring 也可以加一个自动注册的 filter 等等,做这些外围的集成,挑战应该不会很大,大家也可以自己完成。

​ 再说说数据量方面的挑战吧,如果每天有 300TB 的数据量,意味着正常情况下平均每秒要处理 6GB 的数据量(高峰时加倍,与网站业务类型有关),至少需要 60 块千兆网卡(1Gb)共同来完成,先不说监控数据怎么采集,就传输这么多数据到 CAT 系统做分析就是一个很大的挑战。有人会说,能不能做客户端先做一些预处理,比如聚合分析,或者灰度采样,或者压缩?可以,但是这可能会牺牲数据处理的多样化(有些报表会没有明细)和时效性,并且增加业务节点的计算和存储负担。传输问题最核心的是如何解决多节点间负载不均衡的问题,这个问题看似是小问题,实际上是一个涉及整个系统架构的机制问题,CAT 在这方面有很多考虑,细节将来有机会再分享。

传输问题之后是就是怎么消费的问题,CAT 在日志消息的序列化 / 反序列化效率,日志消息异步化分发和独立线程内消费,分领域分时段统计等机制(小时报表、日报表、周报表、月报表等)。CAT 有一个很好的机制是可以做到在单一线程内,不强调线程安全,可以大大简化代码编写要求,降低同步问题发生的概率,保持代码良好的可读性,和运行时高效率。但是从长远发展来看,存储问题是大数据量应用永远要面对的挑战。存储不但要解决吞吐问题,不能有堆积,同时还要解决财务成本问题,关注性价比,小企业还好,大企业会特别关注这一块。CAT 的存储引擎已经发展到了第六版本(V6),每一个版本都是重新设计,从头再来。V6 版本从构思到编码、到整合验证上生产,历史半年之多,方方面面的挑战都很大。结果不错,它与 V5 引擎读写效率大幅提升,文件数大大减少(具体数字尤勇在美团点评的 CAT 分享中有提及)。

如果上面说的都是技术实现方面的挑战,那么 CAT 监控实施落地将是另一个挑战。不管是在代码中做侵入式埋点,还是通过字节码技术做无侵入埋点,监控首先要解决的是目标设定,到底要解决什么问题,关注什么指标,不管现存的还是潜在的,如果没有问题就不需要监控。如果目标明确了,第二步就可以指定方案,怎么样通过已有的机制解决,或者使用新的创造性的方法,达到目标。接下来就是方案的落地实施了,数据在哪里,需要通过什么手段拿到,通过 CAT API 传递到后台分析。最后一步,就是等系统上线有结果后,需要去做验证,是不是真的达到了预期,还是目标设定需要调整。这四步可以不断迭代,直到各种监控问题都可以被解决。

国内外有哪些比较好的分布式系统监控项目

吴其敏: 

​  国内外分布式系统监控项目应该有很多,能开源并且愿意开源的不多,最近比较常用的,国外有 ELK、ZipKin 和 Pinpoint,国内的有 CAT、SkyWalking、Open-falcon 等。真正经过大公司的多场景和大流量考验的应该不多,CAT 算一个吧。目前 CAT 在国内数百家公司有自发部署,感兴趣的开发者有上千人。最近美团点评对 CAT 的开源高度重视,大力投入,加上几个大中型互联网公司(如携程,平安银行、猎聘网、陆金所等)的大量应用,相信 CAT 将来会更加广泛应用。ELK 是基于日志文件做监控的,ZipKin 和 Pinpoint 有些功能不错,小公司用的多一点,相对比较简单,功能不是很丰富,公司做大了以后会碰到很多可扩展性方面问题。

分布式监控系统包含哪些模块

吴其敏: 

​ 一个监控系统往往包含日志采集、日志传输、日志分析、日志报表、日志存储和报表展示等关键模块,系统通过每一个模块等分工协作来共同完成。不同的产品应该有不同的侧重点和优势,CAT 架构设计力求简单高效,开发简单,运维简单、高效运行。之前跟一个大厂做过一个对比,它的监控系统机器数与被监控的应用机器数比是 30 左右,而 CAT 是 300。

​ 意思也就是说,跟美团一样的超一线互联网公司,他们服务器是一台监控机对应三十台,而cat监控能做到一台监控三百台.

为什么想做Cat这个项目,cat的优势在那些方面,还有那些地方不怎么完善?

吴其敏:

​  说起来话长,应该说是 7 年前(2011 年末)我刚到大众点评的时候(那时候美团与点评还没有合并),本来是信心满满的,以为在 eBay 十多年学了一身的本领,可以大展身手的。没想到当时大众点评整个网站经常有各种各样的故障,弄得大伙不得安宁,领导们也很着急,出问题总是导亲自在现场指挥,甚至亲自到电脑上排查问题,也不乏有凑热闹者将领导围得里三层外三层,场面非常壮观(可惜当时没有拍照)。一会怀疑网络问题,一会怀疑数据库问题,一会有怀疑缓存有问题,…(此处省略一万字)。但问题终究是问题,不会因为你是领导就卖你个面子,放你一马,所以最后故障解决时长总是很长,就是故障恢复了,根因也是不清不楚的。故障过程中经常会有比较沉重冷静的工程师,突然大叫一声,我在什么机器什么日志中发现有什么样的报错,可能与故障有关。大家一听,不妨一试,做相应处理后,一会故障现象消失,故障结束。然而,怎么缩短故障时长,故障是怎么形成的,根因是怎么定位的,还有大家应该从此次故障中吸取什么样的教训,经常是不明不白的。

在这样的一种情况下,我突然意识到,原来公司最缺的是应用监控,上面的一堆问题只是缺乏好监控而导致的现象。现在大家可能知道,eBay 内部有一套很好的应用监控叫 CAL,据说是 eBay 的一大法宝。我没有参与 CAL 的研发,但是我是资深的用户,时不时也会给兄弟团队分享 CAL 的使用经验。于是我主动请缨要做监控,写下 CAT 第一行代码,刚开始的几个月就是我一个人,从架构师到程序员,从后端到前端,从测试到运维,全部自己搞定。

CAT 的优势应该有很多,分布式集群、丰富的实时报表、全量日志采集、高可靠 / 高可用系统等。监控领域这么大,CAT 不完善的地方肯定也是很多了,比如学习门槛高、定制难、易用性不够、与其他生态的集成度不够、对语言的支持还是不够多(虽然已经有了对 C/C++、Python、golang、Node.js 等语言对支持)、对异步多线程的支持力度不够、后台配置管理有待加强、与 docker 等云集成不够等等。这些都是将来需要与社区一起不断完善的,也欢迎大家加入到 CAT 的社区来。

研发CAT时有哪些印象深刻的事情

吴其敏: 还是讲一讲CAT刚开始研发时的事吧,

​ 当时大众点评已经有一个监控系统 Hawk,它是基于数据库存储日志的(那时候还没有 ELK),已经开发了近一年时间,基本能用,正在全面推广阶段。我加入大众点评后,听完他们介绍以后,就觉得可扩展性很有问题。于是提出要研发一套新的监控系统,画了一个好大的一个脑图(可惜那台电脑坏了,图拿不出来),跟公司相关同事介绍需求的时候,大家听得一愣一愣的,现场连一个问题也没有,我当时的感觉是:他们肯定觉得老吴在吹牛,反正架构师嘛大家都懂得,说说都是容易的。当我要求 Hawk 系统停止推广,一下子很多人来找我,表示各种担忧或者不解。那是时候,我就下定决心,一定要做 CAT,玩意搞砸了就走人呗,反正 eBay 是随时欢迎我回去的。然后我就一个人默默的做设计和开发,现在想想或许这就是我作为一个人程序员最好的时光,每天都很充实。还记得那时我的领导找我吃饭时,问我要什么样的支持,我就跟领导说,给我几个月时间,甭管我做什么,怎么做,请不要打断我,就是对我最大的支持。领导同意了我的要求,后来也做到了。经过 2 个月的奋战,我做出了第一版 CAT 原型,越领导时间给领导做 demo,场景是事先设计好的,也就是在应用正常运行时中做后台随便搞几个错误,看看 CAT 能不能精准抓到,准确告诉我错误在哪里,作为架构师这点小技能还是有的。当时演示很成功,领导当场就高兴地站起来,拍拍我的肩膀,表示支持我继续研发。在得到领导的认可和信任后,后面的进展相对来说就比较顺利了。当然也不是一帆风顺的,出现过几个小波折,也帮人背过黑锅,但总体上还算顺利。

在云原生时代的监控有什么特点

吴其敏:

​ 云原生时代对应用架构提出了全面的挑战,监控方面也不例外。但是本质核心的东西没有变,只是形式有不同。以 docker 为例,云上应用监控它的粒度比物理机和虚拟机 VM 都要小,以前很多系统是以 IP 地址来区分集群节点的,如果一个 docker 实例的 IP 地址不断地变化,会对监控有挑战;在 Kubernetes 的 Pod 中的 docker 实例,可能是内部 IP 地址,对外可见 IP 地址是 Pod 地址,这样可能会导致一些场景串不起来;另一方面,docker 容器应用生命周期可能会比较短,VM 上的应用是重部署,docker 则是销毁重建,对监控系统可能会有一些新的影响。

在监控领域还关注那些方面?

吴其敏:

​ 在监控领域我倒是比较关注 Visibility,我经常打跟人比方,系统是你开发的,就像你养的小孩,并不意味着你就了解它,随时掌握它的情况。这其中有太多的可变因素可以影响系统的各种架构特性。比如环境配置问题、网络连通问题(这也是背锅侠之一)、脏数据问题、服务依赖问题、应用负载问题、机器性能问题、甚至是 JVM 和 OS 问题,这些你都是不知道的,也很难事先预测准确。这就需要将这些问题指标通过一种方式展现出来,让你很清楚它的状态。没有度量就没有改进,没有监控你就是瞎子,无的放矢。然而提升系统的 Visibility 是很难的,因为它是给人看的,人的要求是多变的,现在这个阶段是这样,等过了这个阶段就有更高的需求了,所以伺候好人是很难的。CAT 在易用性方面是有待提高的,但现阶段 CAT 主要还是在打造更多的问题场景,先解决基本的温饱问题,体验好不好可以留给社区解决。

1.3 为什么要使用cat实时监控

# 1.线上发布了服务,怎么知道它一切正常,比如发布5台服务器,如何直观了解是否有请求进来,访问一切正常。
# 2.当年有一次将线上的库配置到了Beta,这么低级的错误,排错花了一个通宵,十几个人。
# 3.某个核心服务挂了,导致大量报错,如何确定到底是哪里出了问题。
# 4.SOA带来的问题,调用XX服务出问题,很慢,是否可以衡量?     
# 5.应用程序有性能瓶颈,如何提供一些有效工具发现?
# 6.如何实时查看线上借口的性能,包括压测,借口太慢如何定位?
# 7.如何统计线上流量以及接口调用量?
# 8.线上接口可用率不到100%,如何进行告警?
# 9.线上服务器缓存,jvm,GC如何进行实时监控?
# 10.程序代码运行情况监控,监控一段代码运行情况,运行时间统计,次数,错误次数等等.
# 11.异常/错误等问题监控.
# 12.SQL执行监控.SQL执行监控可以看到每个DAO方法执行解析的SQL语句,SQL语句执行时长,
# 以及链接到那个数据库(URL)执行;如果SQL执行出现异常,还会记录异常信息,另外还可以过滤出慢SQL.

2. 源码编译部署cat监控

2.1环境清单

* CentOS  7.3
* jdk-8u121-linux-x64.rpm
* apache-tomcat-8.5.45.tar.gz
* apache-maven-3.3.9-bin.tar.gz
* mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar
* cat-2.0.0.tar.gz
* git  1.8.3.1
美团全链路监控CAT简介及部署

2.2注意事项

网络要稳定,必要时开手机热点;

2.3JDK,git安装

curl -o /etc/yum.repos.d/163.repo http://mirrors.163.com/.help/CentOS7-Base-163.repo 
curl -o /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
rpm -ivh jdk-8u121-linux-x64.rpm
yum -y install git

2.4Tomcat安装并启动

# tomcat官方下载地址:    http://tomcat.apache.org/
# 解压部署
tar xvf apache-tomcat-9.0.12.tar.gz -C /usr/local/
mv /usr/local/apache-tomcat-9.0.12/ /usr/local/tomcat
tail -1 /etc/profile
CATALINA_HOME=/usr/local/tomcat
source /etc/profile

# 增加熵池大小,解决Tomcat在CentOS7巨慢的问题,具体原因请看Tomcat章节
yum -y install rng-tools
systemctl start rngd && systemctl enable rngd
# 测试tomcat是否安装成功
/usr/local/tomcat/bin/startup.sh
Using CATALINA_BASE: /usr/local/tomcat
Using CATALINA_HOME: /usr/local/tomcat
Using CATALINA_TMPDIR: /usr/local/tomcat/temp
Using JRE_HOME: /usr/local/jdk
Using CLASSPATH: /usr/local/tomcat/bin/bootstrap.jar:/usr/local/tomcat/bin/tomcat-juli.jar
Tomcat started.
lsof -i:8080
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
java 14054 root 49u IPv4 34484 0t0 TCP *:webcache (LISTEN)

2.5Mven安装

# Maven官方下载地址
# http://mirror.bit.edu.cn/apache/maven/
tar xf /root/apache-maven-3.3.9-bin.tar.gz -C /usr/local/
cd /usr/local/
mv apache-maven-3.3.9/ maven
cat >> /etc/bashrc <<EOF
export M2_HOME=/usr/local/maven
export M2=\$M2_HOME/bin
export PATH=\$M2:\$PATH:\$HOME/bin:/usr/bin/git
EOF
source /etc/bashrc
mvn -version

2.6配置数据库

yum -y install net-tools
rpm -e mariadb-libs --nodeps
tar xvf /root/mysql-5.7.23-1.el7.x86_64.rpm-bundle.tar -C /usr/local/
cd /usr/local/
rpm -ivh mysql-community-server-5.7.23-1.el7.x86_64.rpm mysql-community-client-5.7.23-1.el7.x86_64.rpm mysql-community-common-5.7.23-1.el7.x86_64.rpm mysql-community-libs-5.7.23-1.el7.x86_64.rpm


# 或者使用yum安装mysql
wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm

rpm -ivh mysql57-community-release-el7-10.noarch.rpm
yum install -y mysql-community-server

systemctl start mysqld.service

# 修改Mysql密码下面有三种办法
# 1.刚安装好的mysql,可以从/var/log/mysqld.log获取临时密码
grep "password" /var/log/mysqld.log
[root@mysql ~]# mysql -uroot -p
Enter password:
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'ZHOUjian.22';

# 2.mysqladmin -uroot -p password "ZHOUjian.22"
Enter password:

# 3.实验环境不知道root密码操作方法如下
sed -i '/\[mysqld]/ a skip-grant-tables' /etc/my.cnf
systemctl restart mysqld
mysql <<EOF
update mysql.user set authentication_string='' where user='root' and Host='localhost';
flush privileges;
EOF
sed -i '/skip-grant/d' /etc/my.cnf
systemctl restart mysqld
mysqladmin -uroot -p password "ZHOUjian.20"
Enter password: # 此处回车一下即可

CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci;
GRANT ALL ON sonar.* TO sonar@"%" IDENTIFIED BY "ZHOUjian.20";

flush privileges;

2.7Cat源码包下载

yum -y install wget
wget -O /root/cat-2.0.0.tar.gz https://codeload.github.com/dianping/cat/tar.gz/v2.0.0
tar xvf /root/cat-2.0.0.tar.gz  -C /opt/
cd /opt/cat-2.0.0/
mkdir -p /data/appdatas/cat && mkdir -p /data/applogs/cat
mvn install -Dmaven.test.skip=true		# 我开热点差不多下载了十分钟,很多小jar包文件



# 如果用这种方式maven报错使用下面方法
git clone https://github.com/dianping/cat.git	
cd cat
mvn clean install -DskipTests
# 再用maven构建项目,提示100%
mvn cat:install							# 不到十秒钟,会出现三串提示,输入MysqlIP:Port
		格式:			jdbc:mysql://127.0.0.1:3306
		Mysql用户名:	root
		Mysql密码:	XUANji.19
	
cd /opt/cat-2.0.0/cat-home/
mvn jetty:run							# 稍等一分钟,启动要下载一点jar包;
ss -antp | grep 2281		# 出来端口就可以浏览器访问了


# 如果需要tomcat部署将cat-home/target下有一个cat-alpha的war包,
# 放到tomcat的webapps目录下,重命名为cat.war包启动服务即可

本文转载自请不要假装努力,人生不会陪你演戏, 常见-博客,本文观点不代表数列科技-您身边的IT质量保障专家立场。

发表评论

登录后才能评论
添加【小树】企业微信即可免费申请产品试用!还在等什么?