騰訊云容器服務(wù)日志采集最佳實(shí)踐

概述

本文介紹如何利用騰訊云容器服務(wù)TKE的日志功能對(duì)日志進(jìn)行采集、存儲(chǔ)與查詢，分析各種功能用法與場(chǎng)景，給出一些最佳實(shí)踐建議。

注：本文僅適用于TKE集群。

如何快速上手？

TKE的日志功能入口在集群運(yùn)維-日志規(guī)則，更多關(guān)于如何為TKE集群?jiǎn)⒂萌罩静杉c基礎(chǔ)用法，參考TKE日志采集產(chǎn)品文檔:https://cloud.tencent.com/document/product/457/36771。

技術(shù)架構(gòu)是怎樣的？

TKE集群開啟日志采集后，tke-log-agent作為DaemonSet部署在每個(gè)節(jié)點(diǎn)上，負(fù)責(zé)根據(jù)采集規(guī)則采集節(jié)點(diǎn)上容器的日志，然后上報(bào)到CLS日志服務(wù)，由CLS進(jìn)行統(tǒng)一存儲(chǔ)、檢索與分析：

采集哪里的日志?

在TKE使用日志采集時(shí)，需要在集群運(yùn)維-日志規(guī)則里新建日志采集規(guī)則，首先需要確定采集的目標(biāo)數(shù)據(jù)源是什么，下面介紹支持的3種類型數(shù)據(jù)源及其各自使用場(chǎng)景與建議。

采集標(biāo)準(zhǔn)輸出

最簡(jiǎn)單也是最推薦的方式是將Pod內(nèi)容器的日志輸出到標(biāo)準(zhǔn)輸出，日志內(nèi)容就會(huì)由容器運(yùn)行時(shí)(docker,containerd)來管理，有以下幾點(diǎn)好處:

1.不需要額外掛載volume。

2.可以直接通過kubectl logs查看日志內(nèi)容。

3.業(yè)務(wù)不需要關(guān)心日志輪轉(zhuǎn)，容器運(yùn)行時(shí)會(huì)對(duì)日志進(jìn)行存儲(chǔ)和自動(dòng)輪轉(zhuǎn)，避免因個(gè)別Pod日志量大將磁盤寫滿。

4.不需要關(guān)心日志文件路徑，可以使用比較統(tǒng)一的采集規(guī)則，用更少的采集規(guī)則數(shù)量覆蓋更多的工作負(fù)載，減少運(yùn)維復(fù)雜度。

采集配置示例：

采集容器內(nèi)的文件

很多時(shí)候業(yè)務(wù)通過寫日志文件的方式來記錄日志，使用容器跑業(yè)務(wù)時(shí)，日志文件被寫到容器內(nèi):

1.如果日志文件所在路徑?jīng)]有掛載volume，日志文件會(huì)被寫入容器可寫層，落盤到容器數(shù)據(jù)盤里，通常路徑是/var/lib/docker(建議給此路徑掛盤，避免與系統(tǒng)盤混用)，容器停止后日志會(huì)被清理。

2.如果日志文件所在路徑掛載了volume，日志文件會(huì)落盤到對(duì)應(yīng)volume類型的后端存儲(chǔ)；通常用emptydir，容器停止后日志會(huì)被清理，運(yùn)行期間日志文件會(huì)落盤到宿主機(jī)的/var/lib/kubelet路徑下，此路徑通常沒有單獨(dú)掛盤，也就是會(huì)使用系統(tǒng)盤；由于使用了日志采集，有統(tǒng)一存儲(chǔ)的能力，不推薦再掛載其它持久化存儲(chǔ)來存日志文件(如云硬盤CBS,對(duì)象存儲(chǔ)COS,共享存儲(chǔ)CFS)。

許多開源日志采集器需要給Pod日志文件路徑掛載volume才能采集，使用TKE的日志采集則不需要，所以如果將日志輸出到容器內(nèi)的文件里，不需要關(guān)心是否掛載volume。

采集配置示例：

采集宿主機(jī)上的文件

如果業(yè)務(wù)將日志寫入日志文件，但又想容器停止之后還能保留原始日志文件，好有個(gè)備份，避免采集異常時(shí)導(dǎo)致日志完全丟失，這時(shí)可以給日志文件路徑掛載hostPath，日志文件會(huì)落盤到宿主機(jī)指定目錄，并且容器停止后不會(huì)清理日志文件。

由于不會(huì)自動(dòng)清理日志文件，有同學(xué)就可能會(huì)擔(dān)心日志會(huì)被重復(fù)采集，比如Pod調(diào)度走又調(diào)度回來，日志文件被寫在之前相同路徑。是否會(huì)重復(fù)采集，這里分兩種情況:

1.文件名相同，比如固定文件路徑/data/log/nginx/access.log。此時(shí)不會(huì)重復(fù)采集，因?yàn)椴杉鲿?huì)記住之前采集過的日志文件的位點(diǎn)，只采集增量部分。

2.文件名不同，通常是業(yè)務(wù)用的日志框架會(huì)按照一定時(shí)間周期自動(dòng)進(jìn)行日志輪轉(zhuǎn)，一般是按天輪轉(zhuǎn)，自動(dòng)為舊日志文件進(jìn)行重命名，加上時(shí)間戳后綴。如果采集規(guī)則里使用了"*"作為通配符匹配日志文件名，可能就會(huì)重復(fù)采集，因?yàn)槿罩究蚣軐?duì)日志文件重命名后，采集器就會(huì)認(rèn)為匹配到了新寫入的日志文件，就又對(duì)其進(jìn)行采集一次。

所以，一般不會(huì)重復(fù)采集，如果日志框架會(huì)對(duì)日志進(jìn)行自動(dòng)輪轉(zhuǎn)，建議采集規(guī)則不要使用通配符"*"來匹配日志文件。

采集配置示例：

日志吐到哪里?

知道了采集哪里的數(shù)據(jù)之后，我們還需要知道采集到的日志往哪里存。根據(jù)前面講的技術(shù)架構(gòu)可以知道，TKE日志采集與云上的CLS日志服務(wù)集成，日志數(shù)據(jù)也將統(tǒng)一上報(bào)到日志服務(wù)。日志服務(wù)通過日志集和日志主題來對(duì)日志進(jìn)行管理，日志集是CLS的項(xiàng)目管理單元，可以包含多個(gè)日志主題；一般將同一個(gè)業(yè)務(wù)的日志放在一個(gè)同一日志集，同一業(yè)務(wù)中的同一類的應(yīng)用或服務(wù)使用相同日志主題，在TKE中，日志采集規(guī)則與日志主題是一一對(duì)應(yīng)的；TKE創(chuàng)建日志采集規(guī)則時(shí)選擇消費(fèi)端，就需要指定日志集與日志主題，日志集通常提前創(chuàng)建好，日志主題通常選擇自動(dòng)創(chuàng)建：

創(chuàng)建好后可以根據(jù)情況對(duì)自動(dòng)創(chuàng)建的日志主題進(jìn)行重命名，方便后續(xù)檢索時(shí)找到日志所在的日志主題：

如何配置日志格式解析？

有了日志的原始數(shù)據(jù)，我們還需要告訴日志服務(wù)如何去解析日志，以方便后續(xù)對(duì)其進(jìn)行檢索。在創(chuàng)建日志采集規(guī)則時(shí)，需要配置日志的解析格式，下面針對(duì)各項(xiàng)配置給出分析與建議。

使用哪種抓取模式？

首先，我們需要確定日志的抓取模式，支持5種：?jiǎn)涡形谋?、JSON、分隔符、多行文本和完全正則。

推薦使用JSON，因?yàn)镴SON格式本身就將日志給結(jié)構(gòu)化了，日志服務(wù)可以提取JSON的key作為字段名，value作為對(duì)應(yīng)的字段值，不再需要根據(jù)業(yè)務(wù)日志輸出格式配置復(fù)雜的匹配規(guī)則，日志示例:

{"remote_ip":"10.135.46.111","time_local":"22/Jan/2019:19:19:34+0800","body_sent":23,"responsetime":0.232,"upstreamtime":"0.232","upstreamhost":"unix:/tmp/php-cgi.sock","http_host":"127.0.0.1","method":"POST","url":"/event/dispatch","request":"POST/event/dispatch HTTP/1.1","xff":"-","referer":"http://127.0.0.1/my/course/4","agent":"Mozilla/5.0(Windows NT 10.0;WOW64;rv:64.0)Gecko/20100101 Firefox/64.0","response_code":"200"}

使用JSON抓取模式的前提是業(yè)務(wù)的日志本身是以JSON格式輸出的，如果不是JSON格式，但切換到使用JSON格式輸出成本不大，就建議進(jìn)行切換，如果實(shí)在不好切換，再考慮其它抓取模式。

如果日志內(nèi)容是以固定格式輸出的單行文本，考慮使用"分隔符"或"完全正則"抓取模式。"分隔符"適用簡(jiǎn)單格式，日志中每個(gè)字段值都以固定的字符串分隔開，比如用":::"隔開，某一條日志內(nèi)容是:

10.20.20.10:::[Tue Jan 22 14:49:45 CST 2019+0800]:::GET/online/sample HTTP/1.1:::127.0.0.1:::200:::647:::35:::http://127.0.0.1/

可以配置":::"自定義分隔符，并且為每個(gè)字段按順序配置字段名，示例：

"完全正則"適用復(fù)雜格式，使用正則表達(dá)式來匹配日志的格式。如日志內(nèi)容為：

10.135.46.111--[22/Jan/2019:19:19:30+0800]"GET/my/course/1 HTTP/1.1"127.0.0.1 200 782 9703"http://127.0.0.1/course/explore?filter%5Btype%5D=all&filter%5Bprice%5D=all&filter%5BcurrentLevelId%5D=all&orderBy=studentNum""Mozilla/5.0(Windows NT 10.0;WOW64;rv:64.0)Gecko/20100101 Firefox/64.0"0.354 0.354

正則表達(dá)式就可以設(shè)置為:

(S+)[^[]+([[^:]+:d+:d+:d+sS+)s"(w+)s(S+)s([^"]+)"s(S+)s(d+)s(d+)s(d+)s"([^"]+)"s"([^"]+)"s+(S+)s(S+).*

日志服務(wù)會(huì)使用()捕獲組來區(qū)分每個(gè)字段，我們還需要為每個(gè)字段設(shè)置字段名，配置示例：

如果日志沒有固定的輸出格式，則考慮使用"單行文本"或"多行文本"的抓取模式。使用這兩種模式，不會(huì)對(duì)日志內(nèi)容本身進(jìn)行結(jié)構(gòu)化處理，不會(huì)提取日志字段，每條日志的時(shí)間戳也固定由日志采集的時(shí)間決定，檢索的時(shí)候也只能進(jìn)行簡(jiǎn)單的模糊查詢。這兩種模式的區(qū)別在于日志內(nèi)容是單行還是多行，如果是單行最簡(jiǎn)單，不需要設(shè)置任何匹配條件，每行都是一條單獨(dú)的日志；如果是多行則需要設(shè)置首行正則表達(dá)式，也就是匹配每條日志第一行的正則，當(dāng)某行日志匹配上預(yù)先設(shè)置的首行正則表達(dá)式，就認(rèn)為是一條日志的開頭，而下一個(gè)行首出現(xiàn)作為該條日志的結(jié)束標(biāo)識(shí)符。假如多行日志內(nèi)容是:

10.20.20.10--[Tue Jan 22 14:24:03 CST 2019+0800]GET/online/sample HTTP/1.1 127.0.0.1 200 628 35 http://127.0.0.1/group/1

Mozilla/5.0(Windows NT 10.0;WOW64;rv:64.0)Gecko/20100101 Firefox/64.0 0.310 0.310

那么首行正則表達(dá)式就可以設(shè)置為:d+.d+.d+.d+s-s.*

如何過濾掉不需要的內(nèi)容?

有些不重要或不關(guān)心的日志可以選擇將其過濾掉，降低成本。

如果使用"JSON"、"分隔符"或"完全正則"的抓取模式，日志內(nèi)容會(huì)進(jìn)行結(jié)構(gòu)化處理，可以通過指定字段來對(duì)要保留的日志進(jìn)行正則匹配:

對(duì)于"單行文本"和"多行文本"抓取模式，由于日志內(nèi)容沒有進(jìn)行結(jié)構(gòu)化處理，無法指定字段來過濾，通常直接使用正則來對(duì)要保留的完整日志內(nèi)容進(jìn)行模糊匹配:

需要注意的是，匹配內(nèi)容一定記住是用正則而不是完整匹配，比如想只保留a.test.com域名的日志，匹配的表達(dá)式應(yīng)該寫a.test.com而不是a.test.com。

日志時(shí)間戳如何自定義?

每條日志都需要有個(gè)時(shí)間戳，這個(gè)時(shí)間戳主要用于檢索，在檢索的時(shí)候可以選擇時(shí)間范圍。默認(rèn)情況下，日志的時(shí)間戳由采集的時(shí)間決定，也可以進(jìn)行自定義，選擇某個(gè)字段作為時(shí)間戳，這樣在某些情況下可能更精確些，比如在創(chuàng)建采集規(guī)則之前，服務(wù)已經(jīng)運(yùn)行了一段時(shí)間，如果不設(shè)置自定義時(shí)間格式，采集時(shí)會(huì)將之前的舊日志的時(shí)間戳設(shè)置為當(dāng)前的時(shí)間，導(dǎo)致時(shí)間不準(zhǔn)確。

如何進(jìn)行自定義呢？由于"單行文本"和"多行文本"抓取模式不會(huì)對(duì)日志內(nèi)容進(jìn)行結(jié)構(gòu)化處理，也就沒有字段可以指定為時(shí)間戳，無法自定義時(shí)間格式解析。其它的抓取模式都可以支持，具體做法是關(guān)閉"使用采集時(shí)間"，然后選取要作為時(shí)間戳的字段名稱，并配置時(shí)間格式。

假如使用日志的time字段作為時(shí)間戳，其中一條日志time的值為2020-09-22 18:18:18，時(shí)間格式就可以設(shè)置為%Y-%m-%d%H:%M:%S，示例:

更多時(shí)間格式配置參考日志服務(wù)官方文檔配置時(shí)間格式：https://cloud.tencent.com/document/product/614/38614。

需要注意的是，日志服務(wù)時(shí)間戳?xí)簳r(shí)只支持精確到秒，也就是如果業(yè)務(wù)日志的時(shí)間戳字段精確到了毫秒，將無法使用自定義時(shí)間戳，只能使用默認(rèn)的采集時(shí)間作為時(shí)間戳，不過時(shí)間戳精確到毫秒后續(xù)將會(huì)得到支持。

如何查詢?nèi)罩?

日志采集規(guī)則配好了，采集器就會(huì)自動(dòng)開始采集日志并上報(bào)到日志服務(wù)，然后就可以在日志服務(wù)-檢索分析中查詢?nèi)罩玖耍С諰ucene語法，但前提是需要開啟索引，有以下3類索引:

1.全文索引。用于模糊搜索，不用指定字段。

2.鍵值索引。索引結(jié)構(gòu)化處理過的日志內(nèi)容，可以指定日志字段進(jìn)行檢索。

3.元字段索引。上報(bào)日志時(shí)額外自動(dòng)附加的一些字段，比如pod名稱、namespace等，方便檢索時(shí)指定這些字段進(jìn)行檢索。

查詢示例:

如何將日志投遞到其它地方?

日志服務(wù)支持將日志投遞到COS對(duì)象存儲(chǔ)和Ckafka(騰訊云托管的Kafka)，可以在日志主題里設(shè)置投遞:

可以用在以下場(chǎng)景:

1.對(duì)日志數(shù)據(jù)進(jìn)行長(zhǎng)期歸檔存儲(chǔ)。日志集默認(rèn)存儲(chǔ)7天的日志數(shù)據(jù)，可以調(diào)整時(shí)長(zhǎng)，但數(shù)據(jù)量越大，成本就越高，通常只保留幾天的數(shù)據(jù)，如果需要將日志存更長(zhǎng)時(shí)間，可以投遞到COS進(jìn)行低成本存儲(chǔ)。

2.需要對(duì)日志進(jìn)行進(jìn)一步處理(如離線計(jì)算)，可以投遞到COS或Ckafka，由其它程序消費(fèi)來處理。

參考資料

TKE日志采集用法指引:https://cloud.tencent.com/document/product/457/36771

日志服務(wù)配置時(shí)間格式:https://cloud.tencent.com/document/product/614/38614

日志服務(wù)投遞COS:https://cloud.tencent.com/document/product/614/37908

日志服務(wù)投遞Ckafka:https://cloud.tencent.com/document/product/614/33342