為什么需要超時(shí)控制？

很多連鎖故障的場景下的一個(gè)常見問題是服務(wù)器正在消耗大量資源處理那些早已經(jīng)超過客戶端截止時(shí)間的請求，這樣的結(jié)果是，服務(wù)器消耗大量資源沒有做任何有價(jià)值的工作，回復(fù)已經(jīng)超時(shí)的請求是沒有任何意義的。

超時(shí)控制可以說是保證服務(wù)穩(wěn)定性的一道重要的防線，它的本質(zhì)是快速失敗(fail fast)，良好的超時(shí)控制策略可以盡快清空高延遲的請求，盡快釋放資源避免請求的堆積。

服務(wù)間超時(shí)傳遞

如果一個(gè)請求有多個(gè)階段，比如由一系列 RPC 調(diào)用組成，那么我們的服務(wù)應(yīng)該在每個(gè)階段開始前檢查截止時(shí)間以避免做無用功，也就是要檢查是否還有足夠的剩余時(shí)間處理請求。

一個(gè)常見的錯(cuò)誤實(shí)現(xiàn)方式是在每個(gè) RPC 服務(wù)設(shè)置一個(gè)固定的超時(shí)時(shí)間，我們應(yīng)該在每個(gè)服務(wù)間傳遞超時(shí)時(shí)間，超時(shí)時(shí)間可以在服務(wù)調(diào)用的最上層設(shè)置，由初始請求觸發(fā)的整個(gè) RPC 樹會設(shè)置同樣的絕對截止時(shí)間。例如，在服務(wù)請求的最上層設(shè)置超時(shí)時(shí)間為3s，服務(wù)A請求服務(wù)B，服務(wù)B執(zhí)行耗時(shí)為1s，服務(wù)B再請求服務(wù)C這時(shí)超時(shí)時(shí)間剩余2s，服務(wù)C執(zhí)行耗時(shí)為1s，這時(shí)服務(wù)C再請求服務(wù)D，服務(wù)D執(zhí)行耗時(shí)為500ms，以此類推，理想情況下在整個(gè)調(diào)用鏈里都采用相同的超時(shí)傳遞機(jī)制。

如果不采用超時(shí)傳遞機(jī)制，那么就會出現(xiàn)如下情況：

1. 服務(wù)A給服務(wù)B發(fā)送一個(gè)請求，設(shè)置的超時(shí)時(shí)間為3s
2. 服務(wù)B處理請求耗時(shí)為2s，并且繼續(xù)請求服務(wù)C
3. 如果使用了超時(shí)傳遞那么服務(wù)C的超時(shí)時(shí)間應(yīng)該為1s，但這里沒有采用超時(shí)傳遞所以超時(shí)時(shí)間為在配置中寫死的3s
4. 服務(wù)C繼續(xù)執(zhí)行耗時(shí)為2s，其實(shí)這時(shí)候最上層設(shè)置的超時(shí)時(shí)間已截止，如下的請求無意義
5. 繼續(xù)請求服務(wù)D

如果服務(wù)B采用了超時(shí)傳遞機(jī)制，那么在服務(wù)C就應(yīng)該立刻放棄該請求，因?yàn)橐呀?jīng)到了截止時(shí)間，客戶端可能已經(jīng)報(bào)錯(cuò)。我們在設(shè)置超時(shí)傳遞的時(shí)候一般會將傳遞出去的截止時(shí)間減少一點(diǎn)，比如100毫秒，以便將網(wǎng)絡(luò)傳輸時(shí)間和客戶端收到回復(fù)之后的處理時(shí)間考慮在內(nèi)。

進(jìn)程內(nèi)超時(shí)傳遞

不光服務(wù)間需要超時(shí)傳遞進(jìn)程內(nèi)同樣需要進(jìn)行超時(shí)傳遞，比如在一個(gè)進(jìn)程內(nèi)串行的調(diào)用了Mysql、Redis和服務(wù)B，設(shè)置總的請求時(shí)間為3s，請求Mysql耗時(shí)1s后再次請求Redis這時(shí)的超時(shí)時(shí)間為2s，Redis執(zhí)行耗時(shí)500ms再請求服務(wù)B這時(shí)候超時(shí)時(shí)間為1.5s，因?yàn)槲覀兊拿總€(gè)中間件或者服務(wù)都會在配置文件中設(shè)置一個(gè)固定的超時(shí)時(shí)間，我們需要取剩余時(shí)間和設(shè)置時(shí)間中的最小值。

context實(shí)現(xiàn)超時(shí)傳遞

context原理非常簡單，但功能卻非常強(qiáng)大，go的標(biāo)準(zhǔn)庫也都已實(shí)現(xiàn)了對context的支持，各種開源的框架也實(shí)現(xiàn)了對context的支持，context已然成為了標(biāo)準(zhǔn)，超時(shí)傳遞也依賴context來實(shí)現(xiàn)。

我們一般在服務(wù)的最上層通過設(shè)置初始context進(jìn)行超時(shí)控制傳遞，比如設(shè)置超時(shí)時(shí)間為3s

ctx, cancel := context.WithTimeout(context.Background(), time.Second*3)defer cancel()

當(dāng)進(jìn)行context傳遞的時(shí)候，比如上圖中請求Redis，那么通過如下方式獲取剩余時(shí)間，然后對比Redis設(shè)置的超時(shí)時(shí)間取較小的時(shí)間

dl, ok := ctx.Deadline()

timeout := time.Now().Add(time.Second * 3)if ok := dl.Before(timeout); ok {     timeout = dl}

服務(wù)間超時(shí)傳遞主要是指 RPC 調(diào)用時(shí)候的超時(shí)傳遞，對于 gRPC 來說并不需要要我們做額外的處理，gRPC 本身就支持超時(shí)傳遞，原理和上面差不多，是通過 metadata 進(jìn)行傳遞，最終會被轉(zhuǎn)化為 grpc-timeout 的值，如下代碼所示 grpc-go/internal/transport/handler_server.go:79

if v := r.Header.Get("grpc-timeout"); v != "" {         to, err := decodeTimeout(v)         if err != nil {             return nil, status.Errorf(codes.Internal, "malformed time-out: %v", err)         }         st.timeoutSet = true         st.timeout = to}

超時(shí)傳遞是保證服務(wù)穩(wěn)定性的一道重要防線，原理和實(shí)現(xiàn)都非常簡單，你們的框架中實(shí)現(xiàn)了超時(shí)傳遞了嗎？如果沒有的話就趕緊動起手來吧。

go-zero 中的超時(shí)傳遞

go-zero 中可以通過配置文件中的 Timeout 配置 api gateway 和 rpc 服務(wù)的超時(shí)，并且會在服務(wù)間自動傳遞。

之前的 一文搞懂如何實(shí)現(xiàn) Go 超時(shí)控制 里面有講解超時(shí)控制如何使用。

參考

《SRE：Google運(yùn)維解密》

項(xiàng)目地址

github.com/zeromicro/go-zero

歡迎使用 go-zero 并 star/fork 支持我們！

推薦：《golang教程》