昇腾社区首页
中文
注册
开发者
下载
支持
积分兑换 NEW

安装MindIO前配置

批量安装MindIO前需要参考以下操作完成配置。

  1. 登录ascend-deployer所在服务器。
  2. 在ascend-deployer所在服务器上修改MindIO配置文件。

    进入ascend-deployer/ascend_deployer/playbooks/roles/mindx.dl/templates目录，编辑memfs.conf文件，配置文件中参数说明如下所示，根据实际情况修改，添加完成后执行:wq保存退出。

    表1 参数说明

    参数

    说明

    取值范围

    缺省值

    memfs.mount_path

    MindIO文件系统挂载路径，用户可以自定义挂载路径，方便用户查看MindIO内存缓存系统内文件。需确保此参数所指向的目录为空，MindIO安装时会重新创建该目录。

    -

    /mnt/memfs

    memfs.data_block_pool_capacity_in_gb

    MindIO文件系统内存分配大小，单位：GB，根据服务器内存大小来配置，建议不超过系统总内存的25%。

    1～1024

    128

    memfs.data_block_size_in_mb

    文件数据块分配最小粒度，单位：MB，根据使用场景中大多数文件的size决定配置，建议平均每个文件的数据块大小不超过128MB。

    1～1024

    128

    memfs.max_open_files

    最大打开文件数。

    1024～65536

    4096

    memfs.fuse_path

    本节点上FUSE动态链接库的地址，在安装时自动填入，非必填。

    -

    -

    memfs.write.parallel.enabled

    MindIO并发写性能优化开关配置，用户需结合业务数据模型特征决定是否打开本配置。
    • false：关闭
    • true：开启

    false

    memfs.write.parallel.thread_num

    MindIO并发写性能优化并发数。

    2～96

    32

    memfs.write.parallel.slice_in_mb

    MindIO并发写性能优化数据切分粒度，单位：MB。

    1～1024

    16

    underfs.count

    对接后端存储实例数量，每个存储实例对应一个挂载好的本地目录。

    1～32

    1

    underfs.default

    后端存储默认使用ID。

    1～underfs.count

    1

    underfs.<ID>.type

    指定第<ID>个后端存储的类型，目前只支持pacific。<ID>的取值范围：1～underfs.default。

    -

    pacific

    underfs.<ID>.name

    第<ID>个后端存储的名称，每个后端存储名称要唯一。<ID>的取值范围：1～underfs.default。

    -

    pacific01

    underfs.<ID>.mount_path

    第<ID>个后端存储的挂载目录，需要用户完成Pacific后端存储对接并完成挂载。<ID>的取值范围：1～underfs.default。

    -

    /mnt/dpc<ID>

    underfs.<ID>.docker_map_path

    第<ID>个后端存储的挂载目录在Docker内的映射目录，<ID>的取值范围：1～underfs.default。

    后端存储在主机侧，用户在Docker中运行业务，且后端存储的挂载目录在Docker内的映射目录二者不相同时，用户需要设置本配置项。

    -

    -

    background.backup.enabled

    是否开启备份。
    • false：关闭
    • true：开启

    true

    background.backup.thread_num

    备份线程数量。

    1～256

    32

    background.backup.ufs_name

    备份指定后端存储名称。

    -

    pacific01

    background.backup.failed_retry_times

    失败重试次数。

    10～60

    10

    background.backup.failed_retry_max_interval_sec

    失败重试间隔，单位：秒。

    10～60

    10

    background.backup.failed_max_cnt_for_unserviceable

    备份失败次数达到该值后，触发停MindIO服务。

    10～60

    10

    background.backup.failed_auto_evict_file

    备份文件到underfs失败后，是否要自动取消后台备份任务。
    • false：不取消后台备份
    • true：取消后台备份

    false

    ipc.max_message_size_in_kb

    最大消息长度，单位：KB。

    4～1024

    16

    ipc.permit_super_user_access

    是否允许root用户通过MindIO SDK访问MindIO文件系统内的文件。

    须知：

    默认禁止root用户访问，若客户需要开启root访问权限，可能存在安全风险，请谨慎使用。
    • false：不允许
    • true：允许

    false

    ipc.author.enabled

    是否开启白名单校验。

    须知：

    关闭白名单校验可能存在风险，请谨慎使用。
    • false：关闭
    • true：开启

    true

    ipc.author.encrypted

    是否开启白名单加密。

    须知：

    关闭白名单加密可能存在风险，请谨慎使用。
    • false：关闭
    • true：开启

    true

    ipc.author.file_path

    白名单保存地址。

    -

    /opt/mindio/security/authorization/whitelist

    ipc.kmc.ksf.master

    白名单主加密文件地址。

    -

    /opt/mindio/tools/pmt/master/ksfa

    ipc.kmc.ksf.standby

    白名单备加密文件地址。

    -

    /opt/mindio/tools/pmt/standby/ksfb
  3. 在ascend-deployer所在服务器上配置待安装的其他计算节点的IP地址、用户名。

    进入ascend-deployer/ascend_deployer目录，编辑inventory_file文件，在[worker]下面需注释或删除“localhost ansible_connection='local'”内容，新增执行设备和待安装设备的IP地址、用户名，添加完成后执行:wq保存退出。格式参考如下：

    [worker]
ip_address_1 ansible_ssh_user="root"# root用户
ip_address_2 ansible_ssh_user="root"# root用户
ip_address_3 ansible_ssh_user="username" # 非root用户
    • 非单机部署场景下，在inventory_file文件中请勿将localhost和IP地址混用，建议执行设备和待安装设备均配置为IP地址信息。
    • ip_address支持配置IPv4和IPv6两种类型的IP地址，用户使用PuTTY等SSH客户端连接执行机的IP地址和inventory_file文件中配置的IP地址类型需要保持统一，均为IPv4或IPv6。
    • inventory_file文件中支持指定ansible_ssh_pass字段配置其他待安装设备的密码进行SSH密码认证，若已使用SSH密钥认证方式连接，则无需再配置。其中待安装设备的操作系统为openEuler_20.03LTS、openEuler_22.03LTS和CentOS 7.6时，不支持通过ansible_ssh_pass字段进行配置。
  4. （可选）批量部署时默认并发数为50，最高并发数为350。如果待部署环境的数量大于50，可以进入ascend-deployer/ascend_deployer目录，在ansible.cfg文件中修改forks值，改成待部署的节点总数以加快部署速度。
    [defaults]
forks=50
父主题： 配置批量安装