Basic-Tutorials/handson202402-vcp/OpenOnDemand/030-ジョブ実行環境の設定.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# ジョブ実行環境の設定"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 前提\n",
    "\n",
    "このnotebookでは、Open OnDemandとSlurmの結合のための設定を行います。設定にあたっては、以下を前提とします。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* [020-フロントエンドのセットアップ](020-フロントエンドのセットアップ.ipynb)のnotebookでのセットアップが完了していること。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## 準備"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### group_varsの読み込み"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "group_varsの読み込みに先立ち、ユニットグループ名をチェックします。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "!ls -1 group_vars/*.yml | sed -e 's/^group_vars\\///' -e 's/\\.yml//' | sort"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`ugroup_name`にユニットグループ名を設定します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "ugroup_name = 'OpenHPC'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "group_varsを読み込みます。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "%run scripts/group.py\n",
    "gvars = load_group_vars(ugroup_name)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "### ansibleの動作確認"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "ansibleでSlurmクラスタにアクセスできることを確認します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "!ansible -m ping {ugroup_name}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "ansibleで指定するノード集合を設定します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "target_master = f'{ugroup_name}_master'\n",
    "target_compute = f'{ugroup_name}_compute'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "heading_collapsed": true
   },
   "source": [
    "## クラスタ設定ファイルの作成\n",
    "\n",
    "クラスタ設定ファイルを作成し、マスターノードの`/etc/ood/config/cluster.d/`の下に配置します。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "クラスタの説明を、`ood_clst_desc`に設定します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "ood_cluster_desc = f'casual {ugroup_name} cluster'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "Web UIからシェルでログインする先のホスト(アドレス)を設定します。以下では、シェルでのログインホストがマスターノードとなるよう設定しています。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "ood_shell_host = gvars['master_ipaddress']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "クラスタ設定ファイルのmetadata部分のデータ構造を作成します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "ood_clst_metadata = {\n",
    "    'title': ood_cluster_desc\n",
    "}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "シェルアクセスのための設定のデータ構造を作成します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "ood_clst_login = {\n",
    "    'host': ood_shell_host\n",
    "}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "Slurmとの関連付け部分の設定を作成します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "ood_clst_job = {\n",
    "    'adapter': 'slurm',\n",
    "    'bin':  '/usr/bin',\n",
    "    'bin_overrides': {\n",
    "        'sbatch': '/usr/local/bin/sbatch-wrapper'\n",
    "    }\n",
    "}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "以上の設定をまとめ、クラスタ設定データの全体を作成します。`bin_overrides`で指定している`sbatch-wrapper`については後述します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "import os\n",
    "import yaml\n",
    "\n",
    "ood_clst_file = f'{ugroup_name}_cluster.yml'\n",
    "\n",
    "if os.path.exists(ood_clst_file):\n",
    "    with open(ood_clst_file) as f:\n",
    "        ood_clst_conf = yaml.safe_load(f)\n",
    "else:\n",
    "    ood_clst_conf = {}\n",
    "\n",
    "if not 'v2' in ood_clst_conf.keys():\n",
    "    ood_clst_conf['v2'] = {}\n",
    "\n",
    "ood_clst_conf['v2']['metadata'] = ood_clst_metadata\n",
    "ood_clst_conf['v2']['login'] = ood_clst_login\n",
    "ood_clst_conf['v2']['job'] = ood_clst_job\n",
    "\n",
    "with open(ood_clst_file, 'w') as f:\n",
    "    print(f'# /etc/ood/config/clusters.d/{ood_clst_file}', file=f)\n",
    "    print('---', file=f)\n",
    "    yaml.safe_dump(ood_clst_conf, f)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "ファイルの内容を確認します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "!cat {ood_clst_file}"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "ファイルをマスターノードに転送します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "!ansible {target_master} -b -m file -a 'path=/etc/ood/config/clusters.d state=directory'\n",
    "!ansible {target_master} -b -m copy -a 'src={ood_clst_file} dest=/etc/ood/config/clusters.d/{ood_clst_file} \\\n",
    "    backup=true'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "`sbatch-wrapper`スクリプトをマスターノードに転送します。このスクリプトでは、`${HOME}/.bashrc`を読み込んでから`/usr/bin/batch`コマンドを起動します。\n",
    "\n",
    "このような処理をする理由について説明します。OpenHPCのジョブ実行環境は、正しく動作するための環境変数などの設定を`/etc/profile.d/`以下のスクリプトに依存しています。このため、ユーザのシェルから起動される場合には正しく動作するものの、Open OnDemandなどのような、ユーザのシェルを介さずにジョブ投入した場合には、OpenHPCに合わせた状態で`PATH`や`LD_LIBRARY_PATH`などの環境変数が設定されないため、正しく動作しません。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "hidden": true
   },
   "outputs": [],
   "source": [
    "!ansible {target_master} -b -m copy -a \\\n",
    "    'src=scripts/sbatch-wrapper dest=/usr/local/bin/sbatch-wrapper mode=0755'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "hidden": true
   },
   "source": [
    "Open OnDemandにHTTPSでアクセスするよう設定した場合には、以上でOpen OnDemandからのジョブ実行ができるようになります。"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.6"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": true,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": true
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}