hadoop3.0扩展Yarn资源模型详解2：资源Profiles说明

问题导读

1.Resource profiles解决了什么问题?
2.使用profile的好处是什么?
3.配置文件的简洁模式如何配置?

由于YARN添加了对其他资源类型的支持，指定和配置Container的资源分配变得越来越麻烦。 我们建议resource-profiles作为一个解决方案，允许用户提交作业，以方便地指定他们所需要的资源。

对于每种资源类型，管理员必须在yarn-site.xml中指定最小和最大分配，最终导致yarn-site.xml中的许多最小和最大分配属性。

在memory和vcores的情况下，最小分配也作为分配计算的步骤。 虽然这适用于memory 和 vcores，但未来可能不适用于资源类型。

另外，最小分配也起着默认分配的作用可能适合memory和vcores，但可能不适合其他资源类型。

从最终用户的角度来看，当前模型意味着指定调度程序知道的每个资源，特别是如果最小分配不满足可能导致请求超额资源的需求(在用户不知道其确切数量的情况下)。 如果调度器添加新的资源类型(例如，打开cpu调度的内存调度集群)，现在用户必须为他的job找出vCore的正确值，而这个job目前运行良好，这将变得特别麻烦。Resource profiles解决此问题

从本质上讲，我们允许集群管理员设置一个配置文件(“resource-profiles.xml“)，可以让他们创建特定资源配置文件的简写。 再次，像这些配置文件“resource-types.xml”和“node-resources.xml”可以指定为“yarn-site.xml”的一部分。 这样的文件的一个例子:

<configuration>
<property>
<name>yarn.scheduler.profiles</name>
<value>pf1,pf2,pf3,pf4,pf5,pf6</value>
</property>
<property>
<name>yarn.scheduler.profile.pf1.name</name>
<value>minimum</value>
</property>
<!set value for memory >
<property>
<name>yarn.scheduler.profile.pf1.yarn.io/memory</name>
<value>1024</value>
</property>
<!set value for cpu >
<property>
<name>yarn.scheduler.profile.pf1.yarn.io/cpu</name>
<value>1</value>
</property>
<property>
<name>yarn.scheduler.profile.pf2.name</name>
<value>maximum</value>
</property>
<!set value for memory >
<property>
<name>yarn.scheduler.profile.pf2.yarn.io/memory</name>
<value>8192</value>
</property>
<!set value for cpu >
<property>
<name>yarn.scheduler.profile.pf2.yarn.io/cpu</name>
<value>8</value>
</property>
<property>
<name>yarn.scheduler.profile.pf3.name</name>
<value>default</value>
</property>
<!set value for memory >
<property>
<name>yarn.scheduler.profile.pf3.yarn.io/memory</name>
<value>2048</value>
</property>
<!set value for cpu >
<property>
<name>yarn.scheduler.profile.pf3.yarn.io/cpu</name>
<value>2</value>
</property>
<property>
<name>yarn.scheduler.profile.pf4.name</name>
<value>small</value>
</property>
<!set value for memory >
<property>
<name>yarn.scheduler.profile.pf4.yarn.io/memory</name>
<value>1024</value>
</property>
<!set value for cpu >
<property>
<name>yarn.scheduler.profile.pf4.yarn.io/cpu</name>
<value>1</value>
</property>
<property>
<name>yarn.scheduler.profile.pf5.name</name>
<value>medium</value>
</property>
<!set value for memory >
<property>
<name>yarn.scheduler.profile.pf5.yarn.io/memory</name>
<value>3072</value>
</property>
<!set value for cpu >
<property>
<name>yarn.scheduler.profile.pf5.yarn.io/cpu</name>
<value>3</value>
</property>
<property>
<name>yarn.scheduler.profile.pf6.name</name>
<value>large</value>
</property>
<!set value for memory >
<property>
<name>yarn.scheduler.profile.pf6.yarn.io/memory</name>
<value>8192</value>
</property>
<!set value for cpu >
<property>
<name>yarn.scheduler.profile.pf6.yarn.io/cpu</name>
<value>8</value>
</property>
</configuration>

上面的文件格式有点繁琐。 这主要是由于YarnConfiguration类限制。 下面在“配置文件格式”一节中讨论了更易于理解的备用文件格式。

这个例子设置了3profiles “small”, “medium”, 和“large”.“minimum”，“maximum”和“default”是由YARN保留的配置文件，允许管理员为每个资源类型指定最小【minimum】，最大【maximum】和默认【default】的分配。

当用户提交作业时，他可以指定一个配置文件【profile】名称，而不是指定每个资源类型。 如果没有提到【profile】配置文件，则使用“默认”profile。

这种模式的好处是，如果管理员决定启用新的资源类型，用户将不需要更新他们所有的job，管理员应该能够配置更好的profile.。 它还使得用户更容易请求资源;他们(希望)最终将在分配上做出更好的决定，因为在各种云平台上部署实例时，它们用于指定profile名称。 当我们添加对网络和磁盘作为资源类型的支持时，这变得特别有用，用户可能难以指定确切的需求。

该模型最终将所有资源分配相关配置收集到单个文件中，从而更易于管理。

如果用户除了profile,之外还为内存和/或CPU指定分配，那么这被看作是覆盖。 在以上详述的配置文件示例的情况下，并且使用分布式shell作为示例应用程序时，“—container_memory 3072 —container_profile small”表示您希望分配具有3072MB和1个vCore的container。 这也意味着指定memory和/或vcores的现有作业在memory和/或vcores的分配中应该看不到变化。 这种重写行为将只允许memory和CPU来保存现有的行为。 具体来说，我们建议如果一个应用程序执行以下操作：

ResourceRequest remoteRequest = ResourceRequest.newInstance(priority,hostname, capability, numContainers);
Map<URI, ResourceMapEntry> overrides = new HashMap<>();
ResourceMapEntry value =ResourceMapEntry.newInstance(“yarn.io/memory”, 16 * 1024, “MB”,ResourceType.COUNTABLE);
overrides.put(new URI(“yarn.io/memory”, entry));
Resource profileCapabilitiesOverrides =Resource.newInstance(overrides);
// targetProfile is the name of the profileProfileCapability capability =ProfileCapability.newInstance(targetProfile,
profileCapabilitiesOverrides);
remoteRequest.setProfileCapability(capability);

那么RM分配的最终能力将是配置文件中指定的资源，除了分配的内存将是16GB。 但是，如果应用程序不能同时使用capabilities和配置文件模型。 如上所述，覆盖将只允许内存和CPU。 我们还提出了一个配置标志来启用/禁用【enable/disable】覆盖(默认设置为启用覆盖)，使用管理员可以关闭覆盖行为。

YARN的变化主要是ResourceRequestProto

message ProfileCapabilityProto {
string profile = 1;
ResourceProto profileCapabilityOverride = 2;
}
message ResourceRequestProto {
optional PriorityProto priority = 1;
optional string resource_name = 2;
optional ResourceProto capability = 3;
optional int32 num_containers = 4;
optional bool relax_locality = 5 [default = true];
optional string node_label_expression = 6;
ProfileCapabilityProto string profile = 7;

}

还建议更改RegisterApplicationMasterResponse：

message RegisterApplicationMasterResponseProto {
optional ResourceProto maximumCapability = 1;
optional bytes client_to_am_token_master_key = 2;
repeated ApplicationACLMapProto application_ACLs = 3;
repeated ContainerProto containers_from_previous_attempts = 4;
optional string queue = 5;
repeated NMTokenProto nm_tokens_from_previous_attempts = 6;
repeated SchedulerResourceTypes scheduler_resource_types = 7;
optional ResourceProfilesProto resource_profiles = 8;
}

resourceprofilesproto定义在“Resource profiles API”部分。

当一个新的请求进入时，ApplicationMasterService查找注册profiles,，并使用profile中的设置来设置最终请求值。 这是在allocate(AllocateRequest request)函数本身完成的。 在进行完整性检查之前，在ResourceRequest中设置capability以考虑指定的配置文件【profiles】。 因此，我们不会预见对调度程序代码的其他方面的更改。

ClientRMService中必须执行类似的更改，以允许启动ApplicationMasters时使用配置文件【profiles】

Resource profiles API

为了让YARN客户端和应用程序masters知道可用配置文件列表，我们需要在RM中提供一个API。 建议添加以下APIProtocol Buffers
message ResourceProfileEntry {
string name = 1;
repeated ResourceProto resources = 2;
}
message ResourceProfilesProto {
repeated ResourceProfileEntry resource_profiles_map = 3;
}
RPC
class GetResourceProfilesRequest {
// empty class
}
class GetResourceProfilesResponse {
public Map<String, Map<URI, Long>> getAllResourceProfiles();
public Map<URI, Long> getResourceProfile(String profile);
}
GetProfilesResponse getResourceProfiles(GetProfilesRequest request)
REST
GET /resourceprofiles

配置文件格式

上述示例文件采用YarnConfiguration类当前使用的格式。 但是，所有的文件都可以用更简洁的方式来表达。 简明的形式如下。

“resource-types.xml”

<configuration>
<resource>
<name>yarn.io/memory</name>
<units>MB</units>
<type>countable</type>
<enabled>true</enabled>
</resource>
<resource>
<name>yarn.io/cpu</name>
<units>vcores</units>
<type>countable</type>
<enabled>true</enabled>
</resource>
<configuration>

“node-resources.xml”

<configuration>
<resource>
<name>yarn.io/memory</name>
<value>8192</value>
<units>MB</units>
<type>countable</type>
</resource>
<resource>
<name>yarn.io/cpu</name>
<units>vcores</units>
<type>countable</type>
<value>8</value>
</resource>
<configuration>

“resource-profiles.xml”

<configuration>
<profiles>
<profile>
<name>minimum</name>
<resource>
<name>yarn.io/memory</name>
<value>1024</value>
</resource>
<resource>
<name>yarn.io/cpu</name>
<value>1</value>
</resource>
</profile>
<profile>
<name>maximum</name>
<resource>
<name>yarn.io/memory</name>
<value>8192</value>
</resource>
<resource>
<name>yarn.io/cpu</name>
<value>8</value>
</resource>
</profile>
<profile>
<name>default</name>
<resource>
<name>yarn.io/memory</name>
<value>2048</value>
</resource>
<resource>
<name>yarn.io/cpu</name>
<value>2</value>
</resource>
</profile>
<profile>
<name>small</name>
<resource>
<name>yarn.io/memory</name>
<value>1024</value>
</resource>
<resource>
<name>yarn.io/cpu</name>
<value>1</value>
</resource>
</profile>
<profile>
<name>medium</name>
<resource>
<name>yarn.io/memory</name>
<value>3072</value>
</resource>
<resource>
<name>yarn.io/cpu</name>
<value>3</value>
</resource>
</profile>
<profile>
<name>large</name>
<resource>
<name>yarn.io/memory</name>
<value>8192</value>
</resource>
<resource>
<name>yarn.io/cpu</name>
<value>8</value>

</resource>
</profile>
</profiles>
<configuration>

“resource-profiles.json”

{
“minimum”: {
“yarn.io/memory”: 1024,
“yarn.io/cpu”: 1
},
“maximum”: {
“yarn.io/memory”: 8192,
“yarn.io/cpu”: 8
},
“default”: {
“yarn.io/memory”: 2048,
“yarn.io/cpu”: 2
},
“small”: {
“yarn.io/memory”: 1024,
“yarn.io/cpu”: 1
},
“medium”: {
“yarn.io/memory”: 3072,
“yarn.io/cpu”: 3
},
“large”: {
“yarn.io/memory”: 8192,
“yarn.io/cpu”: 8
}
}