SAP CCMSの情報をAWS Lambdaコンテナイメージ+PyRFCで取得してみる

大友(@yomon8)です。

過去に以下の記事でLambdaからSAPへの接続を書きました。このときにはSAP JCoを使ってJavaで開発しています。

SAP JCoとAWS Lambdaを利用したSAP ABAPとAWSサービス間の連携

お客様でもPythonを使われているところも増えているように感じます。実はPythonでもPyRFCというライブラリを使うことでSAPに接続することができます。

実際にSAPのデータをPythonでデータを扱うのに便利なPandasに読み込む方法なども試したことがあります。

SAP ERPのデータをBigQueryに簡易ETLする(Pandas利用)

今回は更に進めてServerless FrameworkでデプロイしたAWS LambdaからSAPに接続して、SAP CCMSの情報を取得することを試してみます。

構成

構成は以下の図の通りです。

※1 本記事ではSAP CALでインストールしたIDESマシンを利用しています。CALについてはこの辺り（AWS、Azure、Google Cloud）を参考にしてください。

ソースコード

コードは以下のリポジトリに公開しています。

https://github.com/beex-inc/serverless-sap-ccms

使ってみる

前提条件

使ってみるまでの前提条件は以下になります。

• SAP ABAPインスタンスがAWS EC2上で起動している
• CCMS読み込み権限を持つSAPユーザが準備できている
• LambdaからSAP ABAPインスタンスにRFC接続がアクセス可能
• LambdaをデプロイするSubnetからAWS SecretsManager・ECRにアクセス可能
• SAP Netweaver SDKをダウンロードできるSユーザを持っている
• 適切な権限のAWS IAMユーザを持っていて
• AWS CLIがインストールされている（aws configure済み)
• 作業マシンにDockerがインストールされている（本手順ではLinux上で作業を行います）

リポジトリをクローン

上記に記載したGithubリポジトリからソースコードをクローンします。

$ git clone https://github.com/beex-inc/serverless-sap-ccms.git

SAP NetWeaver RFC SDK取得・配置

以下の情報を参照してダウンロードしてきます。Sユーザが必要になります。

SAP NetWeaver Remote Function Call (RFC) Software Development Kit (SDK)

2573790 - Installation, Support and Availability of the SAP NetWeaver RFC Library 7.50

今回ダウンロードしたのは「nwrfc750P_10-70002752.zip」 というファイルです。参考までにダウンロード画面を貼っておきます。

以下のように resources/フォルダ以下に解凍します。

 $ ls -1 resources/
nwrfc750P_10-70002752.zip
nwrfcsdk

$ cd resources/
$ unzip nwrfc750P_10-70002752.zip
Archive:  nwrfc750P_10-70002752.zip
   creating: nwrfcsdk/bin/
# 省略
  inflating: nwrfcsdk/lib/libsapnwrfc.so  
  inflating: nwrfcsdk/lib/libsapucum.so  
  inflating: SIGNATURE.SMF

これでSAP NetWeaver RFC SDKの準備が完了しました。

このタイミングでresoruces/ディレクトリにいるので、元のディレクトリに戻っておきます。

cd ..

認証情報をSecretsManagerに保管

SAPに接続するための認証情報等をSecretsManagerに登録します。まずはSecretsManagerに設定する値をJSON形式で準備します。(値はダミー値です） 

cat  <<EOF > ./sap_creds.json
{
    "sid": "ABA",
    "ashost": "192.0.2.1",
    "sysnr": "00",
    "client": "800",
    "user": "sapuser",
    "passwd": "password"
}
EOF

これを以下のコマンドでSecretsMangerに登録します。このサンプルではSecretIDは「serverless/sap/ccms」としています。

AWS_REGION=ap-northeast-1
SECRET_NAME=serverless/sap/ccms
aws secretsmanager create-secret --region ${AWS_REGION} --name ${SECRET_NAME}
aws secretsmanager put-secret-value  --region ${AWS_REGION} --secret-id ${SECRET_NAME} --secret-string file://sap_creds.json

SecretsManagerの画面から確認すると、SAPへの接続情報が登録されているのが確認できます。(値はダミー値です）

Serverless Framework準備

インストール

本構成ではServerless Frameworkをデプロイ利用します。インストールされてない場合はインストールします。

 npm install -g serverless

手元の環境は以下のServerlessのバージョンを利用しています。

$ sls --version
Framework Core: 3.21.0
Plugin: 6.2.2
SDK: 4.3.2

設定ファイル準備

リポジトリのルートディレクトリに移動して以下のようにconifg.ymlを準備します。値はダミー値です。regionとSecurity GroupとSubnetIDだけ設定すれば動きます。

cat <<EOF > config.yml
region: ap-northeast-1
securityGroupIds:
  - sg-xxxxxx
subnetIds:
  - subnet-xxxxx
secretName: serverless/sap/ccms
lambdaEnv:
  extCompany: DUMMY
  extProduct: DUMMY
  externalUserName: DUMMY
  traceLevel: 0
EOF

デプロイ

ここまで準備したら以下のようにsls deployコマンドで環境をデプロイできます。最初はECR等も作るので少し時間がかかります。

 $ sls deploy
Deploying serverless-sap-ccms to stage dev (ap-northeast-1)
✔ Service deployed to stack serverless-sap-ccms-dev (456s)
functions:
  ccms: serverless-sap-ccms-dev-ccms

Cloudformationを見るとスタックが作成されています。

Lambdaも作成されいますので、こちらを実行してみます。

動作確認

SAP CCMSの画面です、動作確認として以下にあるResponseTimeDialog のメトリクスを取得してみます。246msecですね。

本Lambdaの実行方法ですが、MTEを特定するのに必要なContextとObjectとMTEの情報をLambdaのイベント情報をとして渡すことで、CCMS情報を取得するように書いています。

具体的には上記のResponseTimeDialogを取得する場合は以下のようなイベントを渡します。context_nameは環境によって変わる値になります。

 {
  "context_name": "vhcalabaci_ABA_00",
  "object_name": "Dialog",
  "mte_name": "ResponseTimeDialog"
}

まずはAWSのマネジメントコンソールから実行してみます。

246msecが無事に取得できているようです。

Serverless Frameworkから以下のように直接実行することも可能です。

$ sls invoke --function ccms --data '{ "context_name": "vhcalabaci_ABA_00", "object_name": "Dialog",  "mte_name": "ResponseTimeDialog"}'
{
    "mte": {
        "context_name": "vhcalabaci_ABA_00",
        "object_name": "Dialog",
        "mte_name": "ResponseTimeDialog"
    },
    "current_value": 246
}

片付け

まずはLambdaやECRの片付けから。ルートディレクトリで以下のコマンドを実行します。

 sls remove

SecretsManagerも片付けておきます。

$ aws secretsmanager delete-secret --region ap-northeast-1 --secret-id serverless/sap/ccms

SecretsManagerは削除しても実体が消えるまで猶予期間があります。その間もう一度手順を試してみたくなったらrestore-secretコマンドで復旧することも可能です。

$ aws secretsmanager restore-secret --region ap-northeast-1 --secret-id serverless/sap/ccms

引っかかったポイント

最後に引っかかったポイントを書いておきます。

PyRFCの前提条件

Dockerfileを見ると書いてあります。

まずはOSのパッケージとして以下が必要になります。ネイティブライブラリのビルドに必要なパッケージとなります。

 # Install OS dependencies
RUN yum update -y \
    && yum install -y \
    gcc \
    gcc-c++

内部的にCythonを利用しており、pipでpyrfcをインストールする場合にCythonが前提で必要です。以下のようにPoetry管理から外して明示的に事前にインストールすることで無事pyrfcをインストールできました。

 # Install the function's dependencies using poetry
RUN pip install poetry cython
RUN poetry config virtualenvs.create false
COPY pyproject.toml ${LAMBDA_TASK_ROOT}
COPY poetry.lock ${LAMBDA_TASK_ROOT}
RUN poetry install

dev_rfc.logの出力制御

SAP Netweaver RFC SDKはdev_rfc.logという名前のログファイルを出力します。このログの出力をそのものを抑制するのは調べた感じではできなそうでした。

Lambda用のベースイメージである「public.ecr.aws/lambda/python」では、ホームディレクトリは「${LAMBDA_TASK_ROOT}」で指定される/var/taskというディレクトリです。Lambda実行時の/var/task は書き込み不可なので、ここにdev_rfc.log を出力しようとしてエラーメッセージが表示されます。（エラーメッセージだけで実際のエラーにはなりませんが、気持ち悪い）

以下のようにRFC_TRACE_DIR をLambdaで書き込み可能な/tmpに吐き出すことで、このエラーを回避できます。

 # Set location for dev_rfc.log
ENV RFC_TRACE_DIR /tmp