在 YARN 群集上運行 Samza 作業(yè)時，您可能需要在啟動前下載一些資源（例如，下載作業(yè)二進制文件，獲取證書文件等）。此步驟稱為資源本地化。

資源本地化過程

對于在 YARN 上運行的 Samza 工作，資源本地化利用了 YARN 節(jié)點管理器的本地化服務。這是一個關于如何本地化在 YARN 中的工作的深入研究。

根據資源的來源與方式，獲取資源與路徑相關的的方案（如http，https，hdfs，ftp，file等）。該方案映射到 FileSystem 處理本地化的相應實現。

FileSystem 在 Hadoop 和 Samza 中有一些預定義的實現，如果您在 YARN 上運行 Samza 工作，則會提供它們：

• org.apache.samza.util.hadoop.HttpFileSystem：用于在沒有客戶端認證的情況下基于 http 或 https 獲取資源。
• org.apache.hadoop.hdfs.DistributedFileSystem：用于從 Hadoop 上的 DFS 系統(tǒng)中獲取資源。
• org.apache.hadoop.fs.LocalFileSystem：用于將資源從本地文件系統(tǒng)復制到作業(yè)目錄。
• org.apache.hadoop.fs.ftp.FTPFileSystem用于基于 ftp 獲取資源。

您可以創(chuàng)建自己的文件系統(tǒng)實現，方法是創(chuàng)建一個擴展的類 org.apache.hadoop.fs.FileSystem。

資源配置

您可以通過以下配置指定要本地化的資源。

必需配置

1. yarn.resources.<resourceName>.path 用于獲取本地化資源的路徑，例如 http://hostname.com/packages/myResource

可選配置

1. yarn.resources.<resourceName>.local.name 用于本地化資源的本地名稱。如果沒有設置，默認值將被 <resourceName> 指定 yarn.resources.<resourceName>.path
2. yarn.resources.<resourceName>.local.type 該類型與有效值的資源來自：ARCHIVE，FILE，PATTERN。存檔：本地化資源將是存檔目錄;文件：本地化的資源將是一個文件;模式：本地化的資源將是從存檔模式中提取的條目。如果未設置，默認值為 FILE。
3. yarn.resources.<resourceName>.local.visibility 能見度與來自有效值的資源 PUBLIC，PRIVATE，APPLICATIONPUBLIC：所有人都可以看到 PRIVATE：只能運行該作業(yè)的帳戶可見應用程序：僅對具有資源配置的特定應用程序作業(yè)可見如果未設置，默認值為 APPLICATION

YARN 配置

確保 yarn.resources.<resourceName>.path 在 YARN core-site.xml 中配置了相應的 FileSystem 實現。

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
      <name>fs.http.impl</name>
      <value>org.apache.samza.util.hadoop.HttpFileSystem</value>
    </property>
</configuration>

如果您正在使用自己的方案（例如 yarn.resources.myResource.path = myScheme://host.com/test），則可以如下鏈接FileSystem實現。

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
      <name>fs.myScheme.impl</name>
      <value>com.myCompany.MySchemeFileSystem</value>
    </property>
</configuration>

Yarn 安全?