この記事では、SUSE Linux Enterprise Server for SAP アプリケーションを使用して、複数の SAP NetWeaver または S/4HANA 高可用性システム (マルチ SID) を Azure VM 上の 2 ノード クラスターにデプロイする方法について説明します。 マルチ SID クラスタリングを使用すると、同じ Pacemaker クラスター上で異なるシステム識別子を持つ複数の SAP インスタンスを実行でき、高可用性を維持しながらリソース使用率を最適化できます。
構成例、インストール コマンドなどでは、3 つの SAP NetWeaver 7.50 システムが 1 つの 2 ノードの高可用性クラスターにデプロイされています。 SAP システムの SID は次のとおりです:
NW1: ASCS インスタンス番号 00 および仮想ホスト名 msnw1ascs; ERS インスタンス番号 02 および仮想ホスト名 msnw1ers。
NW2: ASCS インスタンス番号 10 および仮想ホスト名 msnw2ascs; ERS インスタンス番号 12 および仮想ホスト名 msnw2ers。
NW3: ASCS インスタンス番号 20 および仮想ホスト名 msnw3ascs; ERS インスタンス番号 22 と仮想ホスト名 msnw3ers。
この記事では、データベース層および SAP NFS 共有のデプロイについては説明しません。 この記事の例では、NFS クラスターがデプロイされたと仮定して、NW2 NFS 共有に仮想名 nw2-nfs、NW3 NFS 共有に nw3-nfs を使用しています。
始める前に、次の SAP のノートとホワイトペーパーを参照してください:
- SAP Note 1928533: 次の情報が含まれています。
- SAP ソフトウェアのデプロイでサポートされているAzure VM サイズの一覧
- Azure VM サイズの重要な容量情報
- サポートされている SAP ソフトウェア、オペレーティング システム (OS)、およびデータベースの組み合わせ
- Microsoft Azure 上の Windows および Linux に必要な SAP カーネル バージョン
- SAP Note 2015553 には、Azureでの SAP でサポートされる SAP ソフトウェアデプロイの前提条件があります。
- SAP Note 2205917 には、SUSE Linux Enterprise Server for SAP Applications に推奨される OS 設定があります。
- SAP Note 1944799 には、SUSE Linux Enterprise Server for SAP Applications のSAP HANAガイドラインがあります。
- SAP Note 2178632 には、Azureで SAP について報告されたすべての監視メトリックに関する詳細情報が含まれています。
- SAP Note 2191498 には、Azureの Linux に必要な SAP ホスト エージェントのバージョンがあります。
- SAP Note 2243692 には、Azureの Linux での SAP ライセンスに関する情報が含まれます。
- SAP Note 1984787: SUSE Linux Enterprise Server 12 に関する一般情報が記載されています。
- SAP Note 1999351 には、AZURE Enhanced Monitoring Extension for SAP に関するその他のトラブルシューティング情報があります。
- SAP Community WIKI: Linux に必要なすべての SAP Note を参照できます。
- Azure Virtual Machines Linux 上の SAP の計画と実装。
- Azure Virtual Machines Linux 上の SAP のデプロイ。
- Azure Virtual Machines Linux 上の SAP の DBMS デプロイ。
- SUSE SAP HA のベスト プラクティス ガイド - このガイドには、Netweaver HA と SAP HANA システム レプリケーションをオンプレミスで構成するために必要なすべての情報が含まれています。 一般的なベースラインとしてこのガイドを使用してください。 このガイドには詳細な情報が提供されています。
- SUSE 高可用性拡張機能 12 SP3 リリース ノート。
- SLES 12 および SLES 15 の SUSE マルチ SID クラスター ガイド。
- NetApp SAP Applications on Microsoft Azure using Azure NetApp Files。
概要
クラスターに参加している仮想マシンは、フェールオーバーが発生したときのために、すべてのリソースを実行できるサイズになっている必要があります。 マルチ SID 高可用性クラスターでは、各 SAP SID は、相互に独立してフェールオーバーできます。 SBD フェンスを使用している場合は、複数のクラスター間で SBD デバイスを共有できます。
高可用性を実現するには、SAP NetWeaver に高可用性の NFS 共有が必要です。 この例では、SAP NFS 共有が、複数の SAP システムで使用できる高可用性 NFS ファイル サーバーでホストされていることを前提としています。 または、共有が Azure NetApp Files NFS ボリュームにデプロイされます。
重要
AZURE VM のゲスト オペレーティング システムとしての SUSE Linux を使用した SAP ASCS/ERS のマルチ SID クラスタリングのサポートは、同じクラスター上の SAP SID five (5) に制限されます。 新しい SID が追加されるたびに、複雑さが増します。 同じクラスター上の SAP エンキュー レプリケーション サーバー 1 とエンキュー レプリケーション サーバー 2 の組み合わせ はサポートされていません。 マルチ SID クラスタリングとは、1 つの Pacemaker クラスター内での異なる SID を持つ複数の SAP ASCS/ERS インスタンスのインストールを指します。 現在、マルチ SID クラスタリングは ASCS/ERS に対してのみサポートされています。
ヒント
SAP ASCS/ERS のマルチ SID クラスタリングは、さらに複雑なソリューションです。 実装が複雑になります。 また、メンテナンス作業 (OS の修正プログラムの適用など) を行うときの管理労力も増加します。 実際の実装を開始する前に、デプロイと、VM、NFS マウント、VIP、ロード バランサーの構成など、関連するすべてのコンポーネントを慎重に計画してください。
NFS サーバー、SAP NetWeaver ASCS、SAP NetWeaver SCS、SAP NetWeaver ERS、および SAP HANA データベースは、仮想ホスト名と仮想 IP アドレスを使用します。 Azureでは、仮想 IP アドレスを使用するためにロード バランサーが必要です。 Standard Load Balancer の使用をお勧めします。
3 つの SAP システムから成るこのマルチ SID クラスターの例で表示されている構成は、次のものを含むロード バランサーを示しています。
- ASCS のフロントエンド IP アドレス: 10.3.1.14 (NW1)、10.3.1.16 (NW2)、10.3.1.13 (NW3)
- ERS のフロントエンド IP アドレス: 10.3.1.15 (NW1)、10.3.1.17 (NW2)、10.3.1.19 (NW3)
- プローブ ポート 62000 (NW1 ASCS)、62010 (NW2 ASCS)、62020 (NW3 ASCS)
- プローブ ポート 62102 (NW1 ASCS)、62112 (NW2 ASCS)、62122 (NW3 ASCS)
注
パブリック IP アドレスのない VM が内部 Standard Azure Load Balancerのバックエンド プールに追加されると、送信インターネット接続がありません。 パブリック エンドポイントへのルーティングを有効にするには、さらに構成する必要があります。 送信接続を実現する方法の詳細については、SAP の高可用性シナリオでAzure Standard Load Balancerを使用する仮想マシンの Public エンドポイント接続に関するページを参照してください。
重要
- Azure Load Balancerの背後に配置Azure VM で TCP タイム スタンプを有効にしないでください。 TCP タイムスタンプを有効にすると、ヘルスプローブが失敗します。
net.ipv4.tcp_timestampsパラメーターを0に設定します。 詳細については、Load Balancer正常性プローブを参照してください。 - 手動で設定
saptunenet.ipv4.tcp_timestamps値を0から1に変更できないようにするには、saptuneバージョンを 3.1.1 以降に更新する必要があります。 詳細については、「 Saptune 3.1.1 – 更新する必要がありますか?」を参照してください。
SAP NFS 共有
SAP NetWeaver では、転送、プロファイル ディレクトリなどに対する共有ストレージが必要です。 高可用性の SAP システムの場合、高可用性 NFS 共有を使用することが重要です。 SAP NFS 共有のアーキテクチャを決定する必要があります。 1 つのオプションは、SUSE Linux Enterprise Server 上の Azure VM 上に高可用性 NFS クラスターを構築することです。これは、複数の SAP システム間で共有できます。
もう 1 つのオプションは、共有を Azure NetApp Files NFS ボリュームにデプロイすることです。 Azure NetApp Filesでは、SAP NFS 共有の組み込みの高可用性が得られます。
最初の SAP システムをクラスターにデプロイする
SAP NFS 共有のアーキテクチャに基づき、対応するドキュメントに従って、クラスターに最初の SAP システムをデプロイします。
- 高可用性 NFS サーバーを使用する場合は、SUSE Linux Enterprise Server for SAP アプリケーション上の Azure VM での SAP NetWeaver の高可用性 に従ってください>。
- AZURE NETAPP FILES NFS ボリュームを使用する場合は、SUSE Linux Enterprise Server 上の AZURE VM での SAP NetWeaver の高可用性と SAP アプリケーションのAzure NetApp Filesに従ってください。
参照されている記事では、必要なインフラストラクチャを準備し、クラスターを構築し、SAP アプリケーションを実行するための OS を準備する手順について説明します。
ヒント
最初のシステムがデプロイされた後、クラスターに SAP SID を追加する前に、必ずクラスターのフェールオーバー機能をテストしてください。 クラスターに追加の SAP システムの複雑さを追加する前に、クラスターの機能が機能することを知るために、テストは非常に重要です。
クラスターに複数の SAP システムをデプロイする
この例では、システム NW1 がクラスターに既にデプロイされているものとします。 また、クラスターに SAP システム NW2 と NW3 をデプロイする方法についても説明します。
以下の項目には、次のいずれかのプレフィックスが付いています。
- [A] - すべてのノードに適用
- [1] - ノード 1 にのみ適用
- [2] - ノード 2 にのみ適用されます
前提条件
重要
クラスターに複数の SAP システムをデプロイする手順に従う前に、最初のシステムのデプロイ時にのみ必要な手順があるため、指示に従ってクラスターに最初の SAP システムをデプロイします。
このドキュメントでは次のことを前提としています。
- Pacemaker クラスターが既に構成され、実行されています。
- 少なくとも 1 つの SAP システム (ASCS/ERS インスタンス) が既にデプロイされており、クラスターで実行されています。
- クラスター フェールオーバー機能がテストされます。
- すべての SAP システムの NFS 共有がデプロイされています。
SAP NetWeaver のインストールを準備する
新しくデプロイされたシステム (NW2 および NW3) の構成を、既存のAzure Load Balancerに追加してください。手動でAzureポータルを通じてAzure Load Balancerを構成する方法についての指示に従ってください。 構成の IP アドレス、正常性プローブ ポート、負荷分散規則を調整します。
[A] 他の SAP システムの名前解決を構成します。 DNS サーバーを使用するか、すべてのノードで
/etc/hostsを変更することができます。 この例では、/etc/hostsファイルを使用する方法を示します。 IP アドレスとホスト名を環境に合わせて調整します。sudo vi /etc/hosts # IP address of the load balancer frontend configuration for NW2 ASCS 10.3.1.16 msnw2ascs # IP address of the load balancer frontend configuration for NW3 ASCS 10.3.1.13 msnw3ascs # IP address of the load balancer frontend configuration for NW2 ERS 10.3.1.17 msnw2ers # IP address of the load balancer frontend configuration for NW3 ERS 10.3.1.19 msnw3ers # IP address for virtual host name for the NFS server for NW2 10.3.1.31 nw2-nfs # IP address for virtual host name for the NFS server for NW3 10.3.1.32 nw3-nfs[A] クラスターにデプロイする SAP システム NW2 と NW3 の共有ディレクトリを作成します。
sudo mkdir -p /sapmnt/NW2 sudo mkdir -p /usr/sap/NW2/SYS sudo mkdir -p /usr/sap/NW2/ASCS10 sudo mkdir -p /usr/sap/NW2/ERS12 sudo mkdir -p /sapmnt/NW3 sudo mkdir -p /usr/sap/NW3/SYS sudo mkdir -p /usr/sap/NW3/ASCS20 sudo mkdir -p /usr/sap/NW3/ERS22 sudo chattr +i /sapmnt/NW2 sudo chattr +i /usr/sap/NW2/SYS sudo chattr +i /usr/sap/NW2/ASCS10 sudo chattr +i /usr/sap/NW2/ERS12 sudo chattr +i /sapmnt/NW3 sudo chattr +i /usr/sap/NW3/SYS sudo chattr +i /usr/sap/NW3/ASCS20 sudo chattr +i /usr/sap/NW3/ERS22[A] クラスターにデプロイする他の SAP システムの
autofsと/sapmnt/SIDファイル システムをマウントするように/usr/sap/SID/SYSを構成します。 この例では、NW2 と NW3 です。クラスターにデプロイする他のSAP システム用のファイル システムで、ファイル
/etc/auto.directを更新します。- NFS ファイル サーバーを使用している場合は、SLES 上の SAP NetWeaver の Azure VM の高可用性 ページの手順に従ってください>
- Azure NetApp Files を使用する場合は、Azure NetApp Files を使用した SLES での SAP NW の高可用性のページに記載された Azure VM の高可用性に関する手順に従ってください。
新しく追加した共有をマウントするには、
autofsサービスを再起動する必要があります。
ASCS/ERS をインストールする
クラスターにデプロイしている他の SAP システムの ASCS インスタンスの仮想 IP および正常性プローブ クラスター リソースを作成します。 次に示す例は、高可用性 NFS サーバーを使用する NW2 および NW3 ASCS です。
重要
最近のテストでは、バックログと 1 つの接続のみを処理するという制限により、
netcatが要求への応答を停止する状況が明らかになります。netcatリソースは、Azureロード バランサー要求のリッスンを停止し、フローティング IP が使用できなくなります。 既存の Pacemaker クラスターでは、以前はnetcatをsocatに置き換えることをお勧めします。 現在、パッケージ リソース エージェントの一部であるazure-lbリソース エージェントを使用し、次のパッケージ バージョンの要件を満たすことをお勧めします。- SLES 12 SP4/SP5 の場合、バージョンは resource-agents-4.3.018.a7fb5035-3.30.1 以上である必要があります。
- SLES 15/15 SP1 の場合、バージョンは resource-agents-4.3.0184.6ee15eb2-4.13.1 以上である必要があります。
この変更には、短時間のダウンタイムが必要です。 既存の Pacemaker クラスターの場合、
socatで説明されているように を使用するように構成が既に変更されている場合は、すぐにazure-lbリソース エージェントに切り替える必要はありません。sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \ op start timeout=60s interval=0 \ op stop timeout=60s interval=0 \ op monitor interval=20s timeout=40s sudo crm configure primitive vip_NW2_ASCS IPaddr2 \ params ip=10.3.1.16 \ op monitor interval=10 timeout=20 sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010 \ op monitor timeout=20s interval=10 sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \ meta resource-stickiness=3000 sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \ op start timeout=60s interval=0 \ op stop timeout=60s interval=0 \ op monitor interval=20s timeout=40s sudo crm configure primitive vip_NW3_ASCS IPaddr2 \ params ip=10.3.1.13 \ op monitor interval=10 timeout=20 sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020 \ op monitor timeout=20s interval=10 sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \ meta resource-stickiness=3000リソースを作成するとき、それらが異なるクラスター リソースに割り当てられている場合があります。 グループ化すると、クラスター ノードのいずれかに移行されます。 クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。 リソースがどのノードで実行されているかは重要ではありません。
[1] SAP NetWeaver ASCS をインストールします
root として SAP NetWeaver ASCS をインストールします。そのとき、ASCS に対するロード バランサー フロントエンド構成の IP アドレスに対応する仮想ホスト名を使用します。 たとえば、システム NW2 の場合、仮想ホスト名は msnw2ascs、10.3.1.16、およびロード バランサーのプローブに使用したインスタンス番号 (たとえば 10) になります。 システム NW3 の場合、仮想ホスト名は msnw3ascs、10.3.1.13、およびロード バランサーのプローブに使用したインスタンス番号 (たとえば 20) になります。
sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。 仮想ホスト名を使用して SAP をインストールするには、パラメーター SAPINST_USE_HOSTNAME を使用します。
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostnameインストールで /usr/sap/SID/ASCSInstance# へのサブフォルダーの作成が失敗する場合は、所有者を sidadm に設定し、グループを ASCSInstance# の sapsys に設定して、もう一度試してください。
[1] クラスターにデプロイする他の SAP システムの ERS インスタンス用に、仮想 IP と正常性プローブのクラスター リソースを作成します。 次に示す例は、高可用性 NFS サーバーを使用する NW2 および NW3 ERS です。
sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \ op start timeout=60s interval=0 \ op stop timeout=60s interval=0 \ op monitor interval=20s timeout=40s sudo crm configure primitive vip_NW2_ERS IPaddr2 \ params ip=10.3.1.17 \ op monitor interval=10 timeout=20 sudo crm configure primitive nc_NW2_ERS azure-lb port=62112 \ op monitor timeout=20s interval=10 sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \ op start timeout=60s interval=0 \ op stop timeout=60s interval=0 \ op monitor interval=20s timeout=40s sudo crm configure primitive vip_NW3_ERS IPaddr2 \ params ip=10.3.1.19 \ op monitor interval=10 timeout=20 sudo crm configure primitive nc_NW3_ERS azure-lb port=62122 \ op monitor timeout=20s interval=10 sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERSリソースを作成するとき、それらが異なるクラスター ノードに割り当てられている場合があります。 グループ化すると、クラスター ノードのいずれかに移行されます。 クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。
次に、新しく作成した ERS グループのリソースが、同じ SAP システムの ASCS インスタンスをインストールしたクラスター ノードとは逆のクラスター ノードで実行されていることを確認します。 たとえば、NW2 ASCS が
slesmsscl1にインストールされている場合は、NW2 ERS グループがslesmsscl2で実行されていることを確認します。 次のコマンドを実行して、NW2 ERS グループをslesmsscl2に移行できます:crm resource migrate g-NW2_ERS slesmsscl2 force[2] SAP NetWeaver ERS をインストールします
root として SAP NetWeaver ERS を他のノードにインストールします。そのとき、ERS に対するロード バランサー フロントエンド構成の IP アドレスに対応する仮想ホスト名を使用します。 たとえば、システム NW2 の場合、仮想ホスト名は msnw2ers、10.3.1.17、ロード バランサーのプローブに使用したインスタンス番号 (たとえば 12) になります。 システム NW3 の場合は、仮想ホスト名は msnw3ers、10.3.1.19、およびロード バランサーのプローブに使用したインスタンス番号 (たとえば 22) になります。
sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。 仮想ホスト名を使用して SAP をインストールするには、パラメーター SAPINST_USE_HOSTNAME を使用します。
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname注
SWPM SP 20 PL 05 以降を使用します。 バージョンが小さいと、インストールが失敗する原因となるアクセス許可が正しく設定されません。
インストールで /usr/sap/NW2/ERSInstance# へのサブフォルダーの作成が失敗する場合は、所有者を sidadm に設定し、グループを ERSInstance# フォルダーの sapsys に設定して、もう一度試してください。
新しくデプロイした SAP システムの ERS グループを別のクラスター ノードに移行する必要があった場合は、ERS グループに対する場所の制約を忘れずに削除してください。 制約を削除するには、次のコマンドを実行します (この例は、SAP システム NW2 と NW3 に対するものです)。
crm resource unmigrate g-NW2_ERS crm resource unmigrate g-NW3_ERS[1] 新しくインストールされた 1 つ以上の SAP システムに対して ASCS/SCS および ERS インスタンス プロファイルを調整する。 次に示す例は NW2 です。 クラスターに追加したすべての SAP インスタンスの ASCS/SCS および ERS のプロファイルを調整する必要があります。
- ASCS/SCS プロファイル
sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs # Change the restart command to a start command #Restart_Program_01 = local $(_EN) pf=$(_PF) Start_Program_01 = local $(_EN) pf=$(_PF) # Add the following lines service/halib = $(DIR_EXECUTABLE)/saphascriptco.so service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector # Add the keep alive parameter, if using ENSA1 enque/encni/set_so_keepalive = TRUEENSA1 と ENSA2 の両方について、
keepaliveOS パラメーターが SAP ノートkeepaliveの説明に従って設定されていることを確認します。- ERS プロファイル
sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers # Change the restart command to a start command #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID) Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID) # Add the following lines service/halib = $(DIR_EXECUTABLE)/saphascriptco.so service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector # remove Autostart from ERS profile # Autostart = 1[A] 新しくデプロイした SAP システムの SAP ユーザーを構成します (この例では、NW2 と NW3)。
# Add sidadm to the haclient group sudo usermod -aG haclient nw2adm sudo usermod -aG haclient nw3adm新しくインストールした SAP システムに対する ASCS および ERS SAP サービスを、
sapserviceファイルに追加します。 次に示す例は、SAP システム NW2 と NW3 です。ASCS サービス エントリを 2 番目のノードに追加し、ERS サービス エントリを最初のノードにコピーします。 SAP システムの ASCS インスタンスをインストールしたノード上の各 SAP システムに対してコマンドを実行します。
# Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1 cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices" sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices # Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2 cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices" sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices[A] ASCS および ERS SAP インスタンスの
systemdサービスの無効化。 この手順は、SAP Note 3115048に従って SAP スタートアップ フレームワークを systemd が管理する場合にのみ適用 されます。注
SLES クラスター構成を使用して SAP ASCS や SAP ERS などの SAP インスタンスを管理する場合は、メンテナンス手順によってクラスターの安定性が損なわれないように、クラスターをネイティブ systemd ベースの SAP 開始フレームワークと統合するために、他の変更を行う必要があります。 インストール後、または SAP Note 3115048 に従って SAP スタートアップ フレームワークを systemd 対応セットアップに切り替えた後、ASCS および ERS SAP インスタンスの
systemdサービスを無効にする必要があります。# Stop all ASCS and ERS instances using <sid>adm sapcontrol -nr 10 -function Stop sapcontrol -nr 10 -function StopService sapcontrol -nr 12 -function Stop sapcontrol -nr 12 -function StopService # Execute below command on VM where you have performed ASCS instance installation for each SAP system (e.g. slesmsscl1) sudo systemctl disable SAPNW2_10 sudo systemctl disable SAPNW3_20 # Execute below command on VM where you have performed ERS instance installation for each SAP system (e.g. slesmsscl2) sudo systemctl disable SAPNW2_12 sudo systemctl disable SAPNW2_22[1] 新しくインストールした SAP システム用の SAP クラスター リソースを作成します。
ENSA1 システムと ENSA2 システムのどちらを実行しているかに応じて、それぞれのタブを選択して NW2 および NW3 システムのリソースを定義します。 SAP では、SAP NetWeaver 7.52 で、レプリケーションを含む ENSA2 のサポートを導入しました。 ABAP プラットフォーム 1809 以降では、ENSA2 が既定でインストールされます。 ENSA2 のサポートについては、SAP Note 2630416 を参照してください。
sudo crm configure property maintenance-mode="true" sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \ operations \$id=rsc_sap_NW2_ASCS10-operations \ op monitor interval=11 timeout=60 on-fail=restart \ params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \ AUTOMATIC_RECOVER=false \ meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10 sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \ operations \$id=rsc_sap_NW2_ERS12-operations \ op monitor interval=11 timeout=60 on-fail=restart \ params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \ meta priority=1000 sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10 sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12 sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1 sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \ operations \$id=rsc_sap_NW3_ASCS20-operations \ op monitor interval=11 timeout=60 on-fail=restart \ params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \ AUTOMATIC_RECOVER=false \ meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10 sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \ operations \$id=rsc_sap_NW3_ERS22-operations \ op monitor interval=11 timeout=60 on-fail=restart \ params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \ meta priority=1000 sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20 sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22 sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1 sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false sudo crm configure property maintenance-mode="false"
古いバージョンからアップグレードし、エンキュー サーバー 2 に切り替える場合は、SAP Note 2641019を参照してください。
クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。 リソースがどのノードで実行されているかは重要ではありません。
次の例では、SAP システム NW2 と NW3 をクラスターに追加した後の、クラスター リソースの状態を示します。
sudo crm_mon -r
# Online: [ slesmsscl1 slesmsscl2 ]
#Full list of resources:
#stonith-sbd (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
# fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2
# nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2
# vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2
# rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl2
# Resource Group: g-NW1_ERS
# fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1
# nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1
# vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1
# rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl1
# Resource Group: g-NW2_ASCS
# fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1
# nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1
# vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1
# rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl1
# Resource Group: g-NW2_ERS
# fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2
# nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2
# vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2
# rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl2
# Resource Group: g-NW3_ASCS
# fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1
# nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1
# vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1
# rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl1
# Resource Group: g-NW3_ERS
# fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2
# nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2
# vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2
# rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl2
次の図は、SAP システム NW2 のリソースが拡張された、高可用性 Web Konsole (HAWK) のリソースがどのように表示されるかを示しています。
SAP のインストールを続ける
次のようにして、SAP のインストールを完了します。
- SAP NetWeaver アプリケーションサーバーを準備します
- DBMS インスタンスをインストールします
- プライマリ SAP アプリケーション サーバーをインストールします
- 追加の SAP アプリケーション インスタンスのインストール
マルチ SID クラスターのセットアップをテストする
次のテストは、SUSE のベスト プラクティス ガイドに記載されているテスト ケースのサブセットです。 作業を容易にするためにここに含めてあります。 クラスター テストの完全な一覧については、次のドキュメントを参照してください:
- 高可用性 NFS サーバーを使用する場合は、SUSE Linux Enterprise Server for SAP アプリケーション上の Azure VM での SAP NetWeaver の高可用性 に従ってください>。
- Azure NetApp Files NFS ボリュームを使用する場合は、SUSE Linux Enterprise Server を使用した Azure VM 上の SAP アプリケーション向け Azure NetApp Files での SAP NetWeaver の高可用性を参照してください
SUSE のベスト プラクティス ガイドを常に読み、必要に応じてすべてのテストを実行します。 表示されるテストは、3 つの SAP システムがインストールされた 2 ノードのマルチ SID クラスターにあります。
HAGetFailoverConfig と HACheckFailoverConfig をテストします
ASCS インスタンスが現在実行されているノードで、次のコマンドを <sapsid>adm として実行します。 ホスト名にダッシュがある場合、 コマンドは FAIL: Insufficient memory (既知の問題) で失敗する可能性があります。 SUSE は、sap-suse-cluster-connector パッケージで修正する予定です。
slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig # 10.12.2019 21:33:08 # HAGetFailoverConfig # OK # HAActive: TRUE # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0) # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/ # HAActiveNode: slesmsscl1 # HANodes: slesmsscl1, slesmsscl2 slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig # 19.12.2019 21:19:58 # HACheckFailoverConfig # OK # state, category, description, comment # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig # 10.12.2019 21:37:09 # HAGetFailoverConfig # OK # HAActive: TRUE # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0) # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/ # HAActiveNode: slesmsscl2 # HANodes: slesmsscl2, slesmsscl1 slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig # 19.12.2019 21:17:39 # HACheckFailoverConfig # OK # state, category, description, comment # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig # 10.12.2019 23:35:36 # HAGetFailoverConfig # OK # HAActive: TRUE # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0) # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/ # HAActiveNode: slesmsscl1 # HANodes: slesmsscl1, slesmsscl2 slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig # 19.12.2019 21:10:42 # HACheckFailoverConfig # OK # state, category, description, comment # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patchASCS インスタンスを手動で移行します。 この例では、SAP システム NW2 の ASCS インスタンスの移行を示します。
テスト開始前のリソースの状態:
Full list of resources: stonith-sbd (stonith:external/sbd): Started slesmsscl1 Resource Group: g-NW1_ASCS fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW1_ERS fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ASCS fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW2_ERS fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ASCS fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ERS fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl1次のコマンドを root として実行して、NW2 ASCS インスタンスを移行します。
crm resource migrate rsc_sap_NW2_ASCS10 force # INFO: Move constraint created for rsc_sap_NW2_ASCS10 crm resource unmigrate rsc_sap_NW2_ASCS10 # INFO: Removed migration constraints for rsc_sap_NW2_ASCS10 # Remove failed actions for the ERS that occurred as part of the migration crm resource cleanup rsc_sap_NW2_ERS12テスト後のリソースの状態:
Full list of resources: stonith-sbd (stonith:external/sbd): Started slesmsscl1 Resource Group: g-NW1_ASCS fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW1_ERS fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ASCS fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ERS fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW3_ASCS fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ERS fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl1HAFailoverToNode をテストします。 このテストでは、SAP システム NW2 の ASCS インスタンスの移行を示します。
テスト開始前のリソースの状態:
Full list of resources: stonith-sbd (stonith:external/sbd): Started slesmsscl1 Resource Group: g-NW1_ASCS fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW1_ERS fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ASCS fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ERS fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW3_ASCS fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ERS fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl1次のコマンドを nw2adm として実行して、NW2 ASCS インスタンスを移行します。
slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode "" # run as root # Remove failed actions for the ERS that occurred as part of the migration crm resource cleanup rsc_sap_NW2_ERS12 # Remove migration constraints crm resource clear rsc_sap_NW2_ASCS10 #INFO: Removed migration constraints for rsc_sap_NW2_ASCS10テスト後のリソースの状態:
Full list of resources: stonith-sbd (stonith:external/sbd): Started slesmsscl1 Resource Group: g-NW1_ASCS fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW1_ERS fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ASCS fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW2_ERS fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ASCS fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ERS fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl1ノードのクラッシュをシミュレートする
テスト開始前のリソースの状態:
Full list of resources: stonith-sbd (stonith:external/sbd): Started slesmsscl1 Resource Group: g-NW1_ASCS fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW1_ERS fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW2_ASCS fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ERS fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW3_ASCS fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ERS fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl1少なくとも 1 つの ASCS インスタンスが実行されているノードで、次のコマンドを root として実行します。 この例では、NW1 と NW3 の ASCS インスタンスが実行されている
slesmsscl2でコマンドを実行しました。slesmsscl2:~ # echo b > /proc/sysrq-triggerSBD を使用すると、Pacemaker は、強制終了されたノード上では自動的に起動しません。 ノードの起動後の状態は、再び次のようになります。
Online: [ slesmsscl1 ] OFFLINE: [ slesmsscl2 ] Full list of resources: stonith-sbd (stonith:external/sbd): Started slesmsscl1 Resource Group: g-NW1_ASCS fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW1_ERS fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW2_ASCS fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW2_ERS fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW3_ASCS fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW3_ERS fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Failed Resource Actions: * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='', last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='', last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='', last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms次のコマンドを使用して、強制終了されたノードで Pacemaker を起動し、SBD メッセージをクリーンアップし、失敗したリソースを除去します。
# run as root # list the SBD device(s) cat /etc/sysconfig/sbd | grep SBD_DEVICE= # output is like: # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3" sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear systemctl start pacemaker crm resource cleanup rsc_sap_NW1_ERS02 crm resource cleanup rsc_sap_NW2_ERS12 crm resource cleanup rsc_sap_NW3_ERS22テスト後のリソースの状態:
Full list of resources: stonith-sbd (stonith:external/sbd): Started slesmsscl1 Resource Group: g-NW1_ASCS fs_NW1_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW1_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW1_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW1_ERS fs_NW1_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW1_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW1_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW1_ERS02 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW2_ASCS fs_NW2_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW2_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW2_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW2_ERS fs_NW2_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW2_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW2_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW2_ERS12 (ocf::heartbeat:SAPInstance): Started slesmsscl2 Resource Group: g-NW3_ASCS fs_NW3_ASCS (ocf::heartbeat:Filesystem): Started slesmsscl1 nc_NW3_ASCS (ocf::heartbeat:azure-lb): Started slesmsscl1 vip_NW3_ASCS (ocf::heartbeat:IPaddr2): Started slesmsscl1 rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance): Started slesmsscl1 Resource Group: g-NW3_ERS fs_NW3_ERS (ocf::heartbeat:Filesystem): Started slesmsscl2 nc_NW3_ERS (ocf::heartbeat:azure-lb): Started slesmsscl2 vip_NW3_ERS (ocf::heartbeat:IPaddr2): Started slesmsscl2 rsc_sap_NW3_ERS22 (ocf::heartbeat:SAPInstance): Started slesmsscl2
次のステップ
- Azure Virtual Machines における SAP の計画と導入
- SAP 向け Azure Virtual Machines のデプロイ
- Azure Virtual Machines SAP の DBMS デプロイ
- 高可用性を確立し、Azure VM でのSAP HANAのディザスター リカバリーを計画する方法については、「
Azure Virtual Machines (VM)