99re热这里只有精品视频,7777色鬼xxxx欧美色妇,国产成人精品一区二三区在线观看,内射爽无广熟女亚洲,精品人妻av一区二区三区

配置”也有架構演進?看完深有痛感

2018-09-06 15:41 更新

一、緣起

隨著互聯網業(yè)務的越來越復雜,用戶量與流量越來越大,“服務化分層”是架構演進的必由之路
服務化分層
如上圖:站點應用會調用服務,上游服務調用底層服務,依賴關系會變得非常復雜。

對于同一個服務,它有多個上游調用。為了保證高可用,一個底層服務往往是若干個節(jié)點形成一個集群提供服務。
服務集群
如上圖:用戶中心服務user-service有三個節(jié)點,ip1/ip2/ip3對上游提供服務,任何一個節(jié)點當機,都不影響服務的可用性。

那么問題來了,當服務集群增減節(jié)點的時候,是否存在“反向依賴”,是否“耦合”,是否上游調用方需要修改配置重啟,是否能做到上游無感知,即“配置的架構變遷”,是今天需要討論的問題。

二、配置私藏

“配置私藏”是配置文件架構的最初級階段,上游調用下游,每個上游都有一個專屬的私有配置文件,記錄被調用下游的每個節(jié)點配置信息。
配置私藏
如上圖:
1)用戶中心user-service有ip1/ip2/ip3三個節(jié)點
2)service1調用了用戶中心,它有一個專屬配置文件s1.conf,里面配置了us的集群是ip1/ip2/ip3
3)service2也調用了用戶中心,同理有個配置文件s2.conf,記錄了us集群是ip1/ip2/ip3
4)web2也調用了用戶中心,同理w2.conf,配置了us集群是ip1/ip2/ip3

是不是很熟悉?
沒錯,絕大部分公司,初期都是這么玩的。

配置私藏架構的缺點是什么呢?
配置私藏缺點
來看一個容量變化的需求:
1)運維檢測出ip1節(jié)點的硬盤性能下降,通知研發(fā)未來要將ip1節(jié)點下線
2)由于5月8日要做大促運營活動,未來流量會激增,研發(fā)準備增加兩個節(jié)點ip4和ip5

此時要怎么做呢?
配置私藏調整
需要用戶中心的負責人通知所有上游調用者,修改“私藏”的配置,并重啟上游,連接到新的集群上去。在ip1上沒有流量之后,通知運維將ip1節(jié)點下線,以完成整個縮容擴容過程。

大伙是這么做的么?當業(yè)務復雜度較高,研發(fā)人數較多,服務依賴關系較復雜的時候,就沒這么簡單了。

問題一調用方很痛容量變化的是你,憑啥修改配置重啟的是我?這是一個典型的“反向依賴”架構設計,上下游通過配置耦合,值得優(yōu)化(特別是上層服務,ta依賴的服務很多的時候,可能每周都有類似的配合重啟需求)。

問題二服務方很痛,ta不知道有多少個上游調用了自己(特別是底層基礎服務,像用戶中心這種,調用ta的上游很多),往往只能通過以下方式來定位上游:
         a)群里吼
         b)發(fā)郵件詢問
         c)通過連接找到ip,通過ip問運維,找到機器負責人,再通過機器負責人找到對應調用服務
(似曾相識的請轉發(fā)=_=)
不管哪種方式,都很有可能遺漏,導致ip1一直有流量難以下線,ip4/ip5的流量難以均勻遷移過來。該如何優(yōu)化呢?

三、全局配置

架構的升級并不是一步到位的,先來用最低的成本來解決上述“修改配置重啟”的問題一。
全局配置
“全局配置”法:對于通用的服務,建立全局配置文件,消除配置私藏
1)運維層面制定規(guī)范新建全局配置文件,例如/opt/globalconf/global.conf,如果配置較多,注意做好配置的垂直拆分
2)對于服務方,如果是通用的服務,集群信息配置在global.conf里
3)對于調用方,調用方禁止配置私藏,必須從global.conf里讀取通用下游配置

這么做的好處
1)如果下游容量變化只需要修改一處配置global.conf,而不需要各個上游修改
2)調用方下一次重啟的時候自動遷移到擴容后的集群上來了
3)修改成本非常小,讀取配置文件目錄變了

不足
如果調用方一直不重啟,就沒有辦法將流量遷移到新集群上去了

有沒有方法實現自動流量遷移呢?
自動流量遷移
答案是肯定的,只需要實現兩個并不復雜的組件,就能實現調用方的流量自動遷移:
1)文件監(jiān)控組件FileMonitor
作用是監(jiān)控文件的變化,起一個timer,定期監(jiān)控文件的ModifyTime或者md5就能輕松實現,當文件變化后,實施回調。
2)動態(tài)連接池組件DynamicConnectionPool
“連接池組件”是RPC-client中的一個子組件,用來維護與多個RPC-server節(jié)點之間的連接。所謂“動態(tài)連接池”,是指連接池中的連接可以動態(tài)增加和減少(用鎖來互斥或者線程安全的數據結構很容易實現)。

這兩個組件完成后:
1)一旦全局配置文件變化,文件監(jiān)控組件實施回調
2)如果動態(tài)連接池組件發(fā)現配置中減少了一些節(jié)點,就動態(tài)的將對應連接銷毀,如果增加了一些節(jié)點,就動態(tài)建立連接,自動完成下游節(jié)點的增容與縮容。

四、配置中心

全局配置文件是一個能夠快速落地的,解決“修改配置重啟”問題的方案,但它仍然解決不了,服務提供方“不知道有多少個上游調用了自己”這個問題。

如果不知道多少上游調用了自己,
“按照調用方限流”
“繪制全局架構依賴圖”

等需求便難以實現,怎么辦,可以采用“配置中心”來解決
配置中心
對比“全局配置”與“配置中心”的架構圖,會發(fā)現配置由靜態(tài)的文件 升級為 動態(tài)的服務
1)整個配置中心子系統由zk、conf-center服務,DB配置存儲與,conf-web配置后臺組成
2)所有下游服務的配置,通過后臺設置在配置中心里
3)所有上游需要拉取配置,需要去配置中心注冊,拉取下游服務配置信息(ip1/ip2/ip3)
配置中心2
當下游服務需要擴容縮容時
4)conf-web配置后臺進行設置,新增ip4/ip5,減少ip1
5)conf-center服務將變更的配置推送給已經注冊關注相關配置的調用方
6)結合動態(tài)連接池組件,完成自動的擴容與縮容

配置中心的好處
1)調用方不需要再重啟
2)服務方從配置中心中很清楚的知道上游依賴關系,從而實施按照調用方限流
3)很容易從配置中心得到全局架構依賴關系
痛點一、痛點二同時解決

不足:系統復雜度相對較高,對配置中心的可靠性要求較高,一處掛全局掛。

五、總結

解決什么問題?
配置導致系統耦合,架構反向依賴。

什么痛點?
上游痛:
擴容的是下游,改配置重啟的是上游
下游痛:不知道誰依賴于自己

配置架構如何演進?
一、配置私藏
二、全局配置文件
三、配置中心

大伙的配置架構進化到第幾個步驟啦?歡迎留言。
以上內容是否對您有幫助:
在線筆記
App下載
App下載

掃描二維碼

下載編程獅App

公眾號
微信公眾號

編程獅公眾號