Storm入門教程 第一章 前言
原文作者: 張中，澄蒼
1 Storm介紹
1.1 即時流計算 (Realtime
Stream Computing)
互聯網從誕生的第一時間起，對世界的最大的改變就是讓資訊能夠即時交換，從而大大加速了各個環節的效率。正因為大家對資訊即時回應、即時交換的需求，軟體行業除了個人作業系統之外，資料庫（更精確的說是關係型資料庫Rational Database）應該是軟體行業發展最快、收益最為豐厚的產品了。記得十年前，很多銀行別說即時轉帳，連即時查詢都做不到，但是資料庫和高速網路改變了這個情況。
隨著互聯網的更進一步發展，從Portal資訊流覽型到Search資訊搜索型到SNS關係交互傳遞型，以及電子商務、互聯網旅遊生活產品等將生活中的流通環節線上化。對效率的要求讓大家對於即時性的要求進一步提升，而資訊的交換和溝通正在從點對點往資訊鏈甚至資訊網的方向發展，這樣必然帶來資料在各個維度的交叉關聯，資料爆炸已不可避免。因此流式處理加NoSQL產品應運而生，分別解決即時框架和資料大規模存儲計算的問題。
早在7、8年前諸如UC伯克利、斯坦福等大學就開始了對流式資料處理的研究，但是由於更多的關注于金融行業的業務場景或者互聯網流量監控的業務場景，以及當時互聯網資料場景的限制，造成了研究多是基於對傳統資料庫處理的流式化，對流式框架本身的研究偏少。目前這樣的研究逐漸沒有了聲音，工業界更多的精力轉向了即時資料庫。
2010年Yahoo！對S4的開源，2011年twitter對Storm的開源，改變了這個情況。以前互聯網的開發人員在做一個即時應用的時候，除了要關注應用邏輯計算處理本身，還要為了資料的即時流轉、交換、分佈大傷腦筋。但是現在情況卻大為不同，以Storm為例，開發人員可以快速的搭建一套健壯、易用的即時流處理框架，配合SQL產品或者NoSQL產品或者MapReduce計算平臺，就可以低成本的做出很多以前很難想像的即時產品：比如淘資料部的量子恒道品牌旗下的多個產品就是構建在即時流處理平臺上的。
本教程是一本對storm的基礎介紹手冊，但是我們也希望它不僅僅是一本storm的使用手冊，我們會在其中加入更多我們在實際資料生產過程的經驗和應用的架構，最後的目的是説明所有願意使用即時流處理框架的技術同仁，同時也默默的改變這個世界。
1.2 Storm特點
Storm是一個開源的分散式即時計算系統，可以簡單、可靠的處理大量的資料流程。Storm有很多使用場景：如實時分析，線上機器學習，持續計算，分散式RPC，ETL等等。Storm支援水平擴展，具有高容錯性，保證每個消息都會得到處理，而且處理速度很快（在一個小集群中，每個結點每秒可以處理數以百萬計的消息）。Storm的部署和運維都很便捷，而且更為重要的是可以使用任意程式設計語言來開發應用。
Storm有如下特點：
- 程式設計模型簡單
在大資料處理方面相信大家對hadoop已經耳熟能詳，基於Google Map/Reduce來實現的Hadoop為開發者提供了map、reduce原語，使並行批次程式變得非常地簡單和優美。同樣，Storm也為大資料的即時計算提供了一些簡單優美的原語，這大大降低了開發並行即時處理的任務的複雜性，幫助你快速、高效的開發應用。
- 可擴展
在Storm集群中真正運行topology的主要有三個實體：工作進程、執行緒和任務。Storm集群中的每台機器上都可以運行多個工作進程，每個工作進程又可創建多個執行緒，每個執行緒可以執行多個任務，任務是真正進行資料處理的實體，我們開發的spout、bolt就是作為一個或者多個任務的方式執行的。
因此，計算任務在多個執行緒、進程和伺服器之間並行進行，支持靈活的水準擴展。
- 高可靠性
Storm可以保證spout發出的每條消息都能被“完全處理”，這也是直接區別於其他即時系統的地方，如S4。
請注意，spout發出的消息後續可能會觸發產生成千上萬條消息，可以抽象的理解為一棵消息樹，其中spout發出的消息為樹根，Storm會跟蹤這棵消息樹的處理情況，只有當這棵消息樹中的所有消息都被處理了，Storm才會認為spout發出的這個消息已經被“完全處理”。如果這棵消息樹中的任何一個消息處理失敗了，或者整棵消息樹在限定的時間內沒有“完全處理”，那麼spout發出的消息就會重發。
考慮到盡可能減少對記憶體的消耗，Storm並不會跟蹤消息樹中的每個消息，而是採用了一些特殊的策略，它把消息樹當作一個整體來跟蹤，對消息樹中所有消息的唯一id (MessageId)進行XOR計算，通過是否為零來判定spout發出的消息是否被“完全處理”，這極大的節約了記憶體和簡化了判定邏輯，後面會對這種機制進行詳細介紹。
在這種模式下，bolt每發送一個消息，都會同步發送一個ack/fail的訊號給spout，對於網路的頻寬會有一定的消耗，如果對於可靠性要求不高，可通過使用不同的emit介面關閉該模式。
上面所說的，Storm保證了每個消息至少被處理一次，但是對於有些計算場合，會嚴格要求每個消息只被處理一次，幸而Storm自0.7.0版本引入了事務性拓撲元件(Transaction Topology)，解決了這個問題，後面會有詳述。
- 高容錯性
如果在消息處理過程中出了一些異常，Storm會重新安排這個出問題的處理單元。Storm保證一個處理單元永遠運行（除非你特別下指令去終結這個處理單元）。
當然，如果處理單元中存儲了中間狀態，那麼當處理單元重新被Storm啟動的時候，需要應用自己處理中間狀態的恢復。
- 支援多種程式設計語言
除了用java實現spout和bolt，你還可以使用任何你熟悉的程式設計語言來完成這項工作，這一切得益於Storm所謂的多語言協定。多語言協定是Storm內部的一種特殊協定，允許spout或者bolt使用標準輸入和標準輸出來進行消息傳遞，傳遞的消息為單行文本或者是json編碼的多行。
Storm支援多語言程式設計主要是通過ShellBolt,
ShellSpout和ShellProcess這些類別來實現的，這些類別都實現了IBolt 和 ISpout介面，以及讓shell通過java的ProcessBuilder類別來執行腳本或者程式的協定。
可以看到，採用這種方式，每個tuple在處理的時候都需要進行json的編解碼，因此在輸送量上會有較大影響。
- 支援本地模式
Storm有一種“本地模式”，也就是在進程中模擬一個Storm集群的所有功能，以本地模式運行topology跟在集群上運行topology類似，這對於我們開發和測試來說非常有用。
- 高效
Storm使用ZeroMQ作為底層訊息傳遞的元件, 保證消息(Message)不需要透過其它訊息中間件就能能快速且有效率地被處理。
沒有留言:
張貼留言