<address id="xpn9n"></address>
<p id="xpn9n"></p>
      <dfn id="xpn9n"><nobr id="xpn9n"><menuitem id="xpn9n"></menuitem></nobr></dfn>

        <form id="xpn9n"></form>

        <address id="xpn9n"></address>

        <address id="xpn9n"><listing id="xpn9n"><meter id="xpn9n"></meter></listing></address>

            <dfn id="xpn9n"><listing id="xpn9n"><menuitem id="xpn9n"></menuitem></listing></dfn>

                教育行業A股IPO第一股(股票代碼 003032)

                全國咨詢/投訴熱線:400-618-4000

                Spark有幾種部署方式?

                更新時間:2022年04月22日15時50分 來源:傳智教育 瀏覽次數:

                Spark部署模式分為Local模式(本地單機模式)和集群模式,在Local模式下,常用于本地開發程序與測試,而集群模式又分為Standalone模式(集群單機模式)、Yarn模式和Mesos模式,關于這三種集群模式的相關介紹具體如下:

                1.Standalone模式

                Standalone模式被稱為集群單機模式。Spark框架與Hadoop1.0版本框架類似,本身都自帶了完整的資源調度管理服務,可以獨立部署到一個集群中,無需依賴任何其他的資源管理系統,在該模式下,Spark集群架構為主從模式,即一臺Master節點與多臺Slave節點,Slave節點啟動的進程名稱為Worker,此時集群會存在單點故障問題,后續將在Spark HA集群部署小節講解利用Zookeeper解決單點問題的方案。

                2.Yarn模式

                Yarn模式被稱為Spark on Yarn模式,即把Spark作為一個客戶端,將作業提交給Yarn服務,由于在生產環境中,很多時候都要與Hadoop使用同一個集群,因此采用Yarn來管理資源調度,可以有效提高資源利用率,Yarn模式又分為Yarn Cluster模式和Yarn Client模式,具體介紹如下:

                lYarn Cluster:用于生產環境,所有的資源調度和計算都在集群上運行。

                lYarn Client:用于交互、調試環境。

                3.Mesos模式

                Mesos模式被稱為Spark on Mesos模式,Mesos與Yarn同樣是一款資源調度管理系統,可以為Spark提供服務,由于Spark與Mesos存在密切的關系,因此在設計Spark框架時充分考慮到了對Mesos的集成,但如果你同時運行Hadoop和Spark,從 兼 容 性 的 角 度 來 看 ,Spark on Yarn是更好的選擇。

                上述三種分布式部署方案各有利弊,通常需要根據實際情況決定采用哪種方案。由于學習階段我們是在虛擬機環境下模擬小規模集群,因此可以考慮選擇Standalone模式。

                猜你喜歡:

                怎樣使用Spark方法完成RDD的創建?

                怎樣使用Spark Shell來讀取HDFS文件?

                Spark的應用場景有哪些?

                Spark的框架模塊和運行模式是什么?

                傳智教育pthon+大數據開發工程師培訓課程

                0 分享到:
                你有多久没被C过了

                <address id="xpn9n"></address>
                <p id="xpn9n"></p>
                    <dfn id="xpn9n"><nobr id="xpn9n"><menuitem id="xpn9n"></menuitem></nobr></dfn>

                      <form id="xpn9n"></form>

                      <address id="xpn9n"></address>

                      <address id="xpn9n"><listing id="xpn9n"><meter id="xpn9n"></meter></listing></address>

                          <dfn id="xpn9n"><listing id="xpn9n"><menuitem id="xpn9n"></menuitem></listing></dfn>