欧美激情在线观看/欧美日韩精品一区三区/长泽锌/日韩大乳视频中文字幕

TSDB的數據如何利用Hadoop/spark集群做數據分析?

來源:凡高網絡

時間:2018-03-13

閱讀次數:0

 物聯網場景已經成為各行業巨頭和各互聯網公司的兵家必爭之地,百度云天工TSDB對物聯網場景下時序數據表現除了優秀的存儲和查詢能力,已經成為物聯網應用的標配,支撐著智能制造、工業能源、智能車聯網、智能家居、智慧城市等多個行業應用。TSDB正在助力企業擁抱物聯網時代的到來。

    眾所周知,百度云TSDB在讀取、寫入和查詢數據上的性能一直表現優異。

支持每秒百萬級數據點的寫入,可線性擴展

查詢1億個數據點聚合值的響應時間小于1秒

提供優于傳統數據庫的壓縮能力,大大節約存儲空間

彈性、按需的海量數據存儲能力,成本更低。

 

我們都清楚,僅有提供海量的數據存儲、極速的查詢能力還不足以支撐不停發展的物聯網行業應用。存儲的海量數據如何產生價值為業主所用,是TSDB要解決的新問題。

 

物聯網場景下,設備都是7*24小時工作以一定的頻率上報數據的,數據量十分巨大。比如一輛無人車,以10Hz的頻率上傳數據,每次上傳20個維度的數據點,每輛車每天就要存儲1700萬數據點;一個傳感類監測設備比如溫度傳感器,通常每10秒鐘上傳一次數據,一個樓宇建筑中如果部署200個監測點,那一天下來需要170萬個數據點。隨著業務的發展,數據只會越來越多。這么多數據都是挖掘行業應用的金礦。

 

我們都不甘心數據只做存儲躺在服務器里,那怎么把TSDB中的數據發揮價值呢。不用擔心,TSDB目前已經可以作為Hadoop和spark集群的數據源,進行數據分析計算啦。

 

先來看最常使用的大數據分析工具Hadoop。Hadoop作為大數據分析的領軍代表,提供可靠存儲HDFS以及MapReduce編程范式以便大規模并行處理數據。TSDB作為存儲海量數據的數據源,自然更需要Hadoop的幫助來做數據分析啦。我們都知道,Hadoop提供了基于廉價硬件實現大規模并行處理的能力,不過,簡單的查詢都要寫MapReduce代碼,對于商業用戶實在不怎么友好。所以TSDB采用了更友好的方式,直接提供基于TSDB的Hive SQL。Hive是一個關系數據倉庫,用戶可以方便的利用類似SQL語言查詢數據,而Hive會自動把SQL語言轉換成MapReduce代碼交給Hadoop處理。

上新案例

用作品證明實力,網站建設行業排名前列

查看更多內容
您可以撥打電話與技術經理取得聯系

029-88661315    159-299-75930

您也可以掃一掃在線咨詢

為您免費定制專屬方案

您想咨詢哪些服務

高端網站設計
初創企業網站制作
小程序開發
安全運維
攝影服務