久久亚洲中文字幕精_精品国产一区二区三区不卡_99久久久无码国产精品免费手机_国产亚洲精品久久久久动漫

智慧消防物聯(lián)網(wǎng)平臺層根據(jù)功能可以分為5個子系統(tǒng)，分別為：數(shù)據(jù)接入子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、數(shù)據(jù)處理子系統(tǒng)、平臺服務(wù)子系統(tǒng)、監(jiān)控報警子系統(tǒng)，其技術(shù)特點為：
1.3.1 數(shù)據(jù)接入子系統(tǒng)

負(fù)載均衡
負(fù)載均衡是一種擴展服務(wù)器帶寬、增加吞吐量、加強網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性的技術(shù)。它將大量并發(fā)訪問分擔(dān)到多臺設(shè)備上進行分別處理，降低處理時延和單臺服務(wù)器負(fù)載。
網(wǎng)關(guān)
數(shù)據(jù)網(wǎng)關(guān)主要負(fù)責(zé)接收終端上報的數(shù)據(jù)、指令下發(fā)和數(shù)據(jù)路由。
消息中間件
消息隊列是設(shè)計大規(guī)模分布式系統(tǒng)時經(jīng)常使用的中間件產(chǎn)品。分布式系統(tǒng)構(gòu)件之間通過傳遞消息可以解除相互之間的功能耦合，這樣可以減輕子系統(tǒng)之間的依賴，使得各個子系統(tǒng)或者構(gòu)件可以獨立演進、維護或重用。
1.3.2 數(shù)據(jù)存儲子系統(tǒng)
HDFS
HDFS是Hadoop最核心的設(shè)計之一。它是高度容錯的分布式文件系統(tǒng)，設(shè)計用在低成本的硬件上運行。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。
HBASE
HBase 是一個面向列的分布式數(shù)據(jù)庫，其設(shè)計目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的理論和實現(xiàn)上的局限性，支持Terabyte到Petabyte級別的海量數(shù)據(jù)存儲和高速讀寫，這些數(shù)據(jù)被分布在數(shù)千臺普通服務(wù)器上，并且能夠被大量并發(fā)用戶高速訪問。
RDBMS
HBase雖然支持大數(shù)據(jù)量的存儲，但是不支持復(fù)雜的查詢。TStar中業(yè)務(wù)數(shù)據(jù)在進行展示時需要支持復(fù)雜查詢，這部分?jǐn)?shù)據(jù)主要存儲在關(guān)系型數(shù)據(jù)庫。90%以上的存儲已經(jīng)被Hadoop和HBase承擔(dān)，RDBMS在TStar中負(fù)荷較低，性能比較高。
Redis
Redis是一款開源的、高性能支持持久化的鍵-值存儲系統(tǒng)，其性能極高，能支持超過10萬每秒的讀寫頻率。
TStar主要使用Redis來存儲讀寫頻率較高，數(shù)據(jù)量較恒定的數(shù)據(jù)。例如，終端當(dāng)前狀態(tài)。
1.3.3數(shù)據(jù)處理子系統(tǒng)
數(shù)據(jù)處理子系統(tǒng)，主要包括實時處理和批量處理。實時處理主要針對終端定時上報數(shù)據(jù)進行解析、報警判斷等時效性要求高的任務(wù)。批量處理主要針對報表分析、BI等對時效性要求不高的任務(wù)。
實時處理
在TStar中，對大數(shù)據(jù)處理的計算時效性要求很高，要求計算能在非常短的時延內(nèi)完成。因此采用了Storm框架，它能提供很好的可擴展性和容錯性，并且對消息的處理可以達到毫秒級的延遲。
離線計算
TStar離線分析模塊使用MapReduce計算框架，是Hadoop最核心的設(shè)計之一，適合離線處理超大規(guī)模數(shù)據(jù)集，如日報表分析、月報表分析、年度報表分析等。
1.3.4平臺服務(wù)子系統(tǒng)
數(shù)據(jù)導(dǎo)入
網(wǎng)關(guān)接收到的終端原始數(shù)據(jù)和實時計算產(chǎn)生的部分?jǐn)?shù)據(jù)分別存放在HDFS和Hbase里面，使用Kafka進行解耦，網(wǎng)關(guān)把原始數(shù)據(jù)寫入Kafka中，實時計算把解析數(shù)據(jù)寫入Kafka中 ,HDFS數(shù)據(jù)導(dǎo)入模塊和Hbase數(shù)據(jù)導(dǎo)入模塊異步的將Kafka中的數(shù)據(jù)導(dǎo)入到相應(yīng)的存儲中。
數(shù)據(jù)交換接口
TStar提供三種數(shù)據(jù)交換接口：跨語言的Thrift RPC接口、JAVA API接口和REST API接口。
跨語言的Thrift RPC接口
TStar提供跨語言（目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）的數(shù)據(jù)交換接口，旨在提供業(yè)務(wù)層和平臺層的數(shù)據(jù)交互服務(wù)，包括實時數(shù)據(jù)獲取，歷史數(shù)據(jù)獲取，終端指令下發(fā)及應(yīng)答檢查。
JAVA API
TStar提供與TStar各模塊直接交互的JAVA API，為業(yè)務(wù)層提供了高性能的數(shù)據(jù)交互服務(wù)，包括實時數(shù)據(jù)獲取，歷史數(shù)據(jù)獲取，終端指令下發(fā)及應(yīng)答檢查。
REST API
TStar為第三方平臺提供了統(tǒng)一的REST API接口，您可以使用幾乎任何客戶端在任何編程語言與REST API進行交互，以及編寫和測試應(yīng)用程序。接口支持設(shè)備的管理，實時數(shù)據(jù)、歷史數(shù)據(jù)的獲取，終端的指令下發(fā)。

1.3.5監(jiān)控報警子系統(tǒng)
系統(tǒng)監(jiān)控
TStar使用Ganglia來監(jiān)控每個節(jié)點的工作狀態(tài)，通過長期監(jiān)測系統(tǒng)運行狀況可以對合理調(diào)整、分配系統(tǒng)資源提供參考。系統(tǒng)運行初期可以依據(jù)系統(tǒng)監(jiān)控數(shù)據(jù)對平臺進行優(yōu)化。
系統(tǒng)告警
TStar平臺使用Nagios提供三個層面的監(jiān)控和告警：
系統(tǒng)層面：使用插件來監(jiān)控服務(wù)器的CPU、內(nèi)存、硬盤使用率、I/O負(fù)載
軟件層面：TStar的所有進程在啟動后把自己的PID寫入指定目錄的文件內(nèi)，文件名為進程名。Nagios根據(jù)PID定時檢查進程的狀態(tài)，對掛掉的進程顯示報警。
業(yè)務(wù)層面：TStar中的各個模塊可以自定義告警，例如當(dāng)網(wǎng)關(guān)中的鏈接數(shù)超過閾值，數(shù)據(jù)導(dǎo)入模塊在一定時間內(nèi)沒有接收到數(shù)據(jù)都可以產(chǎn)生告警
TStar平臺提供多種告警通知方式，包含郵件或短信或APP等。智慧消防物聯(lián)網(wǎng)平臺層根據(jù)功能可以分為5個子系統(tǒng)，分別為：數(shù)據(jù)接入子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、數(shù)據(jù)處理子系統(tǒng)、平臺服務(wù)子系統(tǒng)、監(jiān)控報警子系統(tǒng)，其技術(shù)特點為：
1.3.1 數(shù)據(jù)接入子系統(tǒng)

負(fù)載均衡
 負(fù)載均衡是一種擴展服務(wù)器帶寬、增加吞吐量、加強網(wǎng)絡(luò)數(shù)據(jù)處理能力、提高網(wǎng)絡(luò)的靈活性和可用性的技術(shù)。它將大量并發(fā)訪問分擔(dān)到多臺設(shè)備上進行分別處理，降低處理時延和單臺服務(wù)器負(fù)載。
 網(wǎng)關(guān)
 數(shù)據(jù)網(wǎng)關(guān)主要負(fù)責(zé)接收終端上報的數(shù)據(jù)、指令下發(fā)和數(shù)據(jù)路由。
 消息中間件
 消息隊列是設(shè)計大規(guī)模分布式系統(tǒng)時經(jīng)常使用的中間件產(chǎn)品。分布式系統(tǒng)構(gòu)件之間通過傳遞消息可以解除相互之間的功能耦合，這樣可以減輕子系統(tǒng)之間的依賴，使得各個子系統(tǒng)或者構(gòu)件可以獨立演進、維護或重用。
1.3.2 數(shù)據(jù)存儲子系統(tǒng)
HDFS
 HDFS是Hadoop最核心的設(shè)計之一。它是高度容錯的分布式文件系統(tǒng)，設(shè)計用在低成本的硬件上運行。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。
HBASE
 HBase 是一個面向列的分布式數(shù)據(jù)庫，其設(shè)計目標(biāo)是用來解決關(guān)系型數(shù)據(jù)庫在處理海量數(shù)據(jù)時的理論和實現(xiàn)上的局限性，支持Terabyte到Petabyte級別的海量數(shù)據(jù)存儲和高速讀寫，這些數(shù)據(jù)被分布在數(shù)千臺普通服務(wù)器上，并且能夠被大量并發(fā)用戶高速訪問。
RDBMS
 HBase雖然支持大數(shù)據(jù)量的存儲，但是不支持復(fù)雜的查詢。TStar中業(yè)務(wù)數(shù)據(jù)在進行展示時需要支持復(fù)雜查詢，這部分?jǐn)?shù)據(jù)主要存儲在關(guān)系型數(shù)據(jù)庫。90%以上的存儲已經(jīng)被Hadoop和HBase承擔(dān)，RDBMS在TStar中負(fù)荷較低，性能比較高。
Redis
 Redis是一款開源的、高性能支持持久化的鍵-值存儲系統(tǒng)，其性能極高，能支持超過10萬每秒的讀寫頻率。
TStar主要使用Redis來存儲讀寫頻率較高，數(shù)據(jù)量較恒定的數(shù)據(jù)。例如，終端當(dāng)前狀態(tài)。
1.3.3數(shù)據(jù)處理子系統(tǒng)
 數(shù)據(jù)處理子系統(tǒng)，主要包括實時處理和批量處理。實時處理主要針對終端定時上報數(shù)據(jù)進行解析、報警判斷等時效性要求高的任務(wù)。批量處理主要針對報表分析、BI等對時效性要求不高的任務(wù)。
 實時處理
 在TStar中，對大數(shù)據(jù)處理的計算時效性要求很高，要求計算能在非常短的時延內(nèi)完成。因此采用了Storm框架，它能提供很好的可擴展性和容錯性，并且對消息的處理可以達到毫秒級的延遲。
 離線計算
TStar離線分析模塊使用MapReduce計算框架，是Hadoop最核心的設(shè)計之一，適合離線處理超大規(guī)模數(shù)據(jù)集，如日報表分析、月報表分析、年度報表分析等。
1.3.4平臺服務(wù)子系統(tǒng)
 數(shù)據(jù)導(dǎo)入
 網(wǎng)關(guān)接收到的終端原始數(shù)據(jù)和實時計算產(chǎn)生的部分?jǐn)?shù)據(jù)分別存放在HDFS和Hbase里面，使用Kafka進行解耦，網(wǎng)關(guān)把原始數(shù)據(jù)寫入Kafka中，實時計算把解析數(shù)據(jù)寫入Kafka中 ,HDFS數(shù)據(jù)導(dǎo)入模塊和Hbase數(shù)據(jù)導(dǎo)入模塊異步的將Kafka中的數(shù)據(jù)導(dǎo)入到相應(yīng)的存儲中。
 數(shù)據(jù)交換接口
TStar提供三種數(shù)據(jù)交換接口：跨語言的Thrift RPC接口、JAVA API接口和REST API接口。
 跨語言的Thrift RPC接口
TStar提供跨語言（目前支持C++,Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk和OCaml）的數(shù)據(jù)交換接口，旨在提供業(yè)務(wù)層和平臺層的數(shù)據(jù)交互服務(wù)，包括實時數(shù)據(jù)獲取，歷史數(shù)據(jù)獲取，終端指令下發(fā)及應(yīng)答檢查。
JAVA API
 TStar提供與TStar各模塊直接交互的JAVA API，為業(yè)務(wù)層提供了高性能的數(shù)據(jù)交互服務(wù)，包括實時數(shù)據(jù)獲取，歷史數(shù)據(jù)獲取，終端指令下發(fā)及應(yīng)答檢查。
REST API
 TStar為第三方平臺提供了統(tǒng)一的REST API接口，您可以使用幾乎任何客戶端在任何編程語言與REST API進行交互，以及編寫和測試應(yīng)用程序。接口支持設(shè)備的管理，實時數(shù)據(jù)、歷史數(shù)據(jù)的獲取，終端的指令下發(fā)。

1.3.5監(jiān)控報警子系統(tǒng)
 系統(tǒng)監(jiān)控
TStar使用Ganglia來監(jiān)控每個節(jié)點的工作狀態(tài)，通過長期監(jiān)測系統(tǒng)運行狀況可以對合理調(diào)整、分配系統(tǒng)資源提供參考。系統(tǒng)運行初期可以依據(jù)系統(tǒng)監(jiān)控數(shù)據(jù)對平臺進行優(yōu)化。
 系統(tǒng)告警
TStar平臺使用Nagios提供三個層面的監(jiān)控和告警：
 系統(tǒng)層面：使用插件來監(jiān)控服務(wù)器的CPU、內(nèi)存、硬盤使用率、I/O負(fù)載
 軟件層面：TStar的所有進程在啟動后把自己的PID寫入指定目錄的文件內(nèi)，文件名為進程名。Nagios根據(jù)PID定時檢查進程的狀態(tài)，對掛掉的進程顯示報警。
 業(yè)務(wù)層面：TStar中的各個模塊可以自定義告警，例如當(dāng)網(wǎng)關(guān)中的鏈接數(shù)超過閾值，數(shù)據(jù)導(dǎo)入模塊在一定時間內(nèi)沒有接收到數(shù)據(jù)都可以產(chǎn)生告警
TStar平臺提供多種告警通知方式，包含郵件或短信或APP等。