AIX パフォーマンス分析...AIX...

49
AIX パフォーマンス分析 日本アイ・ビー・エム 株式会社 日本アイ・ビー・エム システムズ・エンジニアリング 株式会社 Power Systems 2017年9月1日 rev 1.0 nmon / nmon Analyser による CPU パフォーマンスの分析方法 ~

Transcript of AIX パフォーマンス分析...AIX...

Page 1: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

AIX パフォーマンス分析

日本アイ・ビー・エム株式会社

日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

Power Systems

2017年9月1日rev 1.0

~ nmon / nmon Analyser による CPU パフォーマンスの分析方法 ~

Page 2: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

© IBM Corporation 2017. All Rights Reserved.

ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供の目的のみで提供されており、いかなる参加者に対しても法律的またはその他の指導や助言を意図したものではなく、またそのような結果を生むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示または暗示にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使用によって、あるいはその他の関連によって、いかなる損害が生じた場合も、IBMは責任を負わないものとします。 本講演資料に含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図したものでもなく、またそのような結果を生むものでもありません。

本講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を行っているすべての国でそれらが使用可能であることを暗示するものではありません。本講演資料で言及している製品リリース日付や製品機能は、市場機会またはその他の要因に基づいてIBM独自の決定権をもっていつでも変更できるものとし、いかなる方法においても将来の製品または機能が使用可能になると確約することを意図したものではありません。本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上高の向上、またはその他の結果が生じると述べる、または暗示することを意図したものでも、またそのような結果を生むものでもありません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプログラミングの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られると確約するものではありません。

記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに異なる場合があります。

IBM、IBM ロゴ、ibm.com、[当該情報に関連し商標リスト中に掲載されたIBMブランド、製品名称があれば追加する]は、世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。

Adobe, Adobeロゴ, PostScript, PostScriptロゴは、Adobe Systems Incorporatedの米国およびその他の国における登録商標または商標です。IT Infrastructure Libraryは英国Office of Government Commerceの一部であるthe Central Computer and Telecommunications Agencyの登録商標です。インテル, Intel, Intelロゴ, Intel Inside, Intel Insideロゴ, Intel Centrino, Intel Centrinoロゴ, Celeron, Intel Xeon, Intel SpeedStep, Itanium, およびPentium は Intel Corporationまたは子会社の米国およびその他の国における商標または登録商標です。Linuxは、Linus Torvaldsの米国およびその他の国における登録商標です。Microsoft, Windows, Windows NT および Windowsロゴは Microsoft Corporationの米国およびその他の国における商標です。ITILは英国The Minister for the Cabinet Officeの登録商標および共同体登録商標であって、米国特許商標庁にて登録されています。UNIXはThe Open Groupの米国およびその他の国における登録商標です。Cell Broadband Engineは、Sony Computer Entertainment, Inc.の米国およびその他の国における商標であり、同社の許諾を受けて使用しています。JavaおよびすべてのJava関連の商標およびロゴは Oracleやその関連会社の米国およびその他の国における商標または登録商標です。Linear Tape-Open, LTO, LTOロゴ, UltriumおよびUltriumロゴは、HP, IBM Corp.およびQuantumの米国およびその他の国における商標です。

Page 3: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

当資料の目的とお断り

■ 当資料は、AIX パフォーマンスに関わる技術者を対象としています

■ 当資料は、nmon と nmon Analyser を使用した CPU パフォーマンスの分析方法を紹介しています

■ nmon の基本的な機能の説明は割愛しています

■ nmon Analyser の基本的な機能の説明は割愛しています

■ 当資料の内容は、以下の環境で検証を行っています

• nmon 実行環境

−ハードウェア– Power System S824 ( 8286-42A )

– HMC V8R8.6.0.1

−ソフトウェア– AIX 7.2 7200-00 Service Pack 1 ( 7200-00-01-1543 )

– VIOS 2.2.4.10

• nmon Analyser 実行環境

− nmon Analyser v51.2

−Microsoft Windows 7 Professional 64bit

−Microsoft Excel 2016 64bit

3

Page 4: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

サンプル表記について

■ 当資料では、以下のようなサンプル表記をしています

• コマンドライン出力等は、黒色枠で表記

• nmon Analyser 出力の Excel シート中のデータは、緑色枠で表記

• nmon Analyser 出力の Excel グラフ等は、緑色枠で表記

4

表記サンプル

表記サンプル

Page 5: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

5

更新履歴

2017年9月1日 rev. 1.0 初版発行

Page 6: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

目次

1. nmon / nmon Analyser1-1 nmon

1-2 nmon データのフォーマット

1-3 nmon と DLPAR

1-4 nmon Analyser

2. CPU パフォーマンスの分析2-1 CPU パフォーマンスの分析

2-2 使用する nmon データ

2-3 使用する nmon Analyser シート

2-4 共用モードの分析

2-4-1 共用モード Capped の分析

・Physical CPU vs Entitlement

・RunQueue

2-4-2 共用モード Uncapped の分析

・Physical CPU vs Entitlement

・Shared Pool Utilization

・RunQueue

2-5 専用モードの分析

・CPU_ALL

・RunQueue

2-6 VP Folding

2-7 論理 CPU 単位の情報(CPU / PCPU / SCPU)

3. nmon その他のセクション情報

4. 参考資料

Page 7: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

1. nmon / nmon Analyser

7

Page 8: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

1-1 nmon

■ nmon は AIX および VIOS 標準で提供される パフォーマンス情報収集コマンドです

■ nmon には 対話モード( Interactive mode )と記録モード( Recording mode )がありますが、当資料では記録モードを使用した分析方法を紹介します

• nmon の起動方法

− AIX の場合は、コマンドラインまたは SMIT から起動します– コマンドラインからの起動方法

https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.cmds4/nmon.htm

– SMIT からの起動方法https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.performance/start_new_recordings.htm

− VIOS の場合は、コマンドラインまたは cfgassist から起動します– コマンドラインからの起動方法

AIX と同じ要領で起動します

– cfgassist の使用方法https://www.ibm.com/support/knowledgecenter/ja/POWER8/p8hcg/p8hcg_cfgassist.htm

• nmon の停止方法

−起動時に指定した –s (取得インターバル) と –c (スナップショット数) 分の情報収集完了後に自動停止します

−手動で停止する場合は、以下の方法で行います– AIX の場合は、SMIT または コマンドライン ( # kill -USR2 <nmonのPID> ) から停止します

– VIOS の場合は、cfgassist または コマンドライン ( oem_setup_env 実行後に、# kill -USR2 <nmonのPID> ) から停止します

• 出力ファイル

− nmon 記録モードでは、統計情報を出力ファイルに取得します

−データの種類によって、nmon 起動時や停止時に一回のみ取得するもの、稼働中に定期的に取得するものがあります

−注意点– 取得タイミングについて、Knowledge Center 等に記載のないデータがあるため、取得対象環境での確認が必要な場合があります

– 取得タイミング毎に出力先への Disk I/O が発生するため、取得対象環境への影響確認が必要な場合があります

– 出力先の Disk I/O に問題がある場合は、以下のような対応が可能です

・取得インターバルを長くしたり取得範囲を限定することで、出力データ量を削減する

・出力先を変更する事で、Disk I/O の負荷を分散する

8

Page 9: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

1-2 nmon データのフォーマット

■ nmon 記録モードでは、統計情報を出力ファイルに取得します

■ 出力ファイルに記録されるデータのフォーマットの説明は、以下に記載されています

• AIX Knowledge Center

− The nmon recording toolhttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/nmon_tool.htm

• nmon Analyser User Guide

− nmon Analyser をダウンロードした ZIP に含まれているファイルnmon Analyser v51.2 の User Guide は NA_UserGuide v51_2.docx

• 注意点

−当資料作成時点において、全てのデータの情報が記載されているわけではありません

− AIX Knowledge Center と nmon Analyser User Guide で説明が重複しているデータがあります

■ AIX Knowledge Center では、データをセクションとして説明しています以下は CPU_ALL セクションの例です

• AIX Knowledge Center の説明

− https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htmCPU_ALLRecords the overall LPAR processor utilization based on the Processor Utilization Resource register (PURR) entries. This section is recorded by default.

• サンプル

−最初のレコード– 先頭のフィールド ( CPU_ALL ) : セクション名

– 以降のフィールド : フィールド名の凡例等

−以降のレコード– 先頭のフィールド ( CPU_ALL ) : セクション名

– 次のフィールド ( Tnnnn ) : スナップショット番号

– 以降のフィールド : 統計データ

9

CPU_ALL,CPU Total testlpar,User%,Sys%,Wait%,Idle%,Busy,PhysicalCPUsCPU_ALL,T0001,0.0,0.2,0.0,99.8,0.2,8CPU_ALL,T0002,0.0,0.2,0.2,99.6,0.2,8::CPU_ALL,T2567,91.0,0.1,0.0,8.9,91.1,12

Page 10: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

1-3 nmon と DLPAR

■ Power Systems では DLPAR による動的再構成をサポートしています

■ nmon は BBBR セクションに動的再構成の情報を取得します

■ 動的再構成時も nmon を継続して実行できますが、BBBL や BBBP 等の nmon 起動時のみ情報取得するセクションは、再構成された状況を反映していない点に注意が必要です

■ 取得する統計情報の中には、動的再構成前後の解釈の違いに注意が必要なものがあります

■ このような理由から、以下のような対応が必要になる場合があります

• 動的再構成のタイミングに合わせて nmon を再実行する

−動的再構成の前後で、別々の nmon 情報を取得する

• nmon Analyser のオプションを使用して nmon 情報の一部を分析する

−取得済みの nmon 情報から、動的再構成前または後の情報のみを対象として分析する

10

Page 11: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

1-4 nmon Analyser

■ nmon Analyser は nmon 出力を視認性の高い Microsoft Excel 形式に変換するツールです

■ nmon Analyser は IBM の正式サポートのない ツールですが、多くのお客様で幅広く利用されています

■ nmon Analyser 使用時の注意事項は、 nmon Analyser 添付の User Guide を参照して下さい

■ nmon Analyser は home page からダウンロードして、Microsoft Excel で使用します

• nmon Analyser home page https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/nmon_analyser

• User Forumhttps://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000749&ps=25

■ nmon Analyser は、nmon で取得した情報を以下のような要領で Microsoft Excel 形式に変換します

• nmon のセクション単位でシートを作成します

−例: nmon の CPU_ALL セクションから CPU_ALL シートを作成

• 情報の一部について、視認性の高いグラフを作成します

−例: LPAR シートの Physical CPU vs Entitlement グラフ

• mon Analyser が独自に作成するシートがあります

−例: CPU_SUMM シート

11

Page 12: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2. CPU パフォーマンスの分析

12

Page 13: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-1 CPU パフォーマンスの分析

■ CPU パフォーマンスの分析におけるポイントは、以下のとおりです

• LPAR の CPU 構成確認

− BBBL シートや BBBP シートを参照して CPU 構成を確認します

• 処理モードが共用 (Shared) の場合は LPAR シートを使用

−共用モードでは LPAR に割り当てられる物理 CPU (Physical CPU) 量が動的に変化するため、CPU_ALL シートではCPU 使用状況の理解を誤る可能性があります

• 処理モードが専用 (Dedicated) の場合は CPU_ALLを使用

−専用モードでは LPAR に割り当てられる物理 CPU (Physical CPU) 量が動的に変化することはないため、CPU_ALL シートを使用します(現在の nmon の仕様では、専用モードでは LPAR セクションの情報を収集しません)

• 参考資料第8回 「必見!パフォーマンスの新常識~Power Systems/AIX 最大のパフォーマンスを引き出すために~」https://www.ibm.com/partnerworld/wps/servlet/mem/ContentHandler/POO03391JPJA/lc=ja_JP

■ CPU_SUMM シートについて

• CPU_SUMM シートは 論理 CPU 単位の状況を把握することに役立ちますが、CPU が全体としてどの程度使用されているか、どの Process/Thread が使用しているかについて確認できない点に注意が必要です

• CPU_SUMM シートでは、論理 CPU の使用状況に偏りが見える事が多くありますが、これは全く問題ではありません

• CPU_SUMM シートは nmon Analyser が独自に作成するもので、元データは nmon の CPUnnn セクションです

13

nmon Analyser User Guide より抜粋

Page 14: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-1 CPU パフォーマンスの分析(続き)

■ Process/Thread の分析

• 分析の次のステップとして、Process/Thread の動作状況の確認が必要な場合があります

• nmon の TOP セクション等に Process/Thread の情報が記録されますが、詳細な確認が必要な場合は tprof コマンドなどを使用する必要があります

• Process/Thread の動作状況は、その Process/Thread のコーディングに依存する場合がありますこのような場合、AIX が提供するコマンドでは十分な分析ができない場合が多いため、Process/Thread の開発担当者(ミドルウェア等の場合はソフトウェアベンダ)が提供する ロギング機能やトレース機能等を使用する必要があります

• 当資料では、Process/Thread の分析方法の記載は割愛します

14

Page 15: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-2 使用する nmon データ

■ 当資料では、以下の要領で取得した nmon データを使用して、分析方法を紹介します

■ データの取得環境

• 共用モード Capped

− PU 1.5 / VP 3 / SMT 4 / 上限あり ( Capped )

• 共用モード Uncapped

− PU 1.5 / VP 3 / SMT 4 / 上限なし ( Uncapped )

• 専用モード

− 3 core / SMT 4

■ データの Case 設定

• ncpu (CPU に負荷をかけるコマンド)を使用して、以下の4つの Case を実行※ Case 1,2,3,4 の順に、CPU 負荷が高くなっていくように設定

− Case 1– ncpu を 1 プロセス同時実行

− Case 2– ncpu を 3 プロセス同時実行

− Case 3– ncpu を 10 プロセス同時実行

− Case 4– ncpu を 30 プロセス同時実行

• 以降のページで使用する nmon Analyser シートのグラフ中に、対象 Case 実行時の範囲を記載します

15

Page 16: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-3 使用する nmon Analyser シート

■ 当資料では、以下の nmon Analyser シートを使用します

16

シート名 概要 AIX Knowledge Center のリンク

LPAR ・CPU に関する統計情報・共用プロセッサプールに関する統計情報も含まれる・専用モードでは収集されない

https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

CPU_ALL ・CPU 使用率に関する統計情報・共用モードの分析では使用しない

https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

POOLS ・共用プロセッサプールに関する統計情報・専用モードの分析では使用しない

https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

PROC ・AIX Kernel に関する統計情報 https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/kernel_stat.htm

Page 17: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4 共用モードの分析

■ 共用モードの場合は、LPAR シートから分析します

• 共用モードでは LPAR に割り当てられる物理 CPU (Physical CPU) 量が動的に変化するため、CPU_ALL シートでは CPU 使用状況の理解を誤る可能性があります

■ 各フィールドの詳細は、以下に記載されています

• Processor statisticshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

■ nmon Analyser は、一部のフィールドについて以下のようなグラフを作成します

17

PhysicalCPU virtualCPUs logicalCPUs poolCPUs entitled weight PoolIdle usedAllCPU% usedPoolCPU% SharedCPU Capped14:45:50 1.005 3 12 12 1.5 0 7.62 8.37 8.37 1 1 14:46:20 1.005 3 12 12 1.5 0 7.72 8.38 8.38 1 1

LPAR シート

EC_User% EC_Sys% EC_Wait% EC_Idle% VP_User% VP_Sys% VP_Wait% VP_Idle% Folded Pool_id Unfolded VPs OtherLPARs39.34 0.19 0 27.47 19.67 0.09 0 13.74 0 0 3.0 3.439.35 0.17 0 27.49 19.67 0.09 0 13.75 0 0 3.0 3.3

LPAR シート

Page 18: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4-1 共用モード Capped の分析

■ 共用モード Capped の分析方法を紹介します

■ システムの状況によって様々な分析方法が考えられますが、当資料では以下の順序で行います

• Physical CPU の割り当て量と余力の確認

− LPAR シート– Physical CPU vs Entitlement

• CPU の使用率と プロセス数の関係の確認

− PROC シート– RunQueue

18

Page 19: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4-1 共用モード Capped の分析: Physical CPU vs Entitlement

■ LPAR シートの Physical CPU vs Entitlement グラフで CPU の割り当て量を確認します

• LPARに割り当てられている Physical CPU の量が表示されます

• グラフの Entitled は、Entitled Capacity (EC) の値を示しています

• Entitled に対する Physical CPU の割合によって、割り当て可能な CPU の余力を確認することができます

• このグラフが示しているのは、LPAR に対する Physical CPU の割り当て量であり、割り当てられた CPU の使用状況ではないことに注意が必要です

■ Capped の場合は、Physical CPU の上限は Entitled になります

• 以下の例では、Case 1 の Physical CPU は Entitled に対して余裕がありますが、Case 2,3,4 は Physical CPU が上限である Entitled に達しているため、これ以上のCPU割り当てができない状態です

19

Case 1 Case 2 Case 3 Case 4

LPAR シート

Page 20: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4-1 共用モード Capped の分析: RunQueue

■ PROC シートで、RunQueue の状況を確認します

• RunQueue は sar コマンドの runq-sz と同じ情報で、値が大きいほどスケジューリング待ちが多いことを示していますhttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/kernel_stat.htm

• nmon Analyser User Guide には、論理 CPU 数の3倍を越える場合は、CPU の制約 (CPU constraint) によるパフォーマンス影響が考えられるとありますが、どのような影響があるかは nmon から判断できないため、Thread 側の状況について、別の方法で確認をする必要があります

• 以下の例は、PU 1.5 / VP 3 / SMT 4 / Capped のもので、論理 CPU 数は 12 です

• Case 1,2,3,4 と CPU 負荷が増えるにしたがって RunQueue の値も増えています

• Case 4 は論理 CPU 数を大きく超えて最大 60 近くになっているため、パフォーマンス影響を確認すべき状態です

20Case 4Case 1 Case 2 Case 3

論理 CPU 数のライン ↓

論理 CPU 数の3倍のライン ↓

nmon Analyser User Guide より抜粋

PROC シート

Page 21: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4-2 共用モード Uncapped の分析

■ 共用モード Uncapped の分析方法を紹介します

■ システムの状況によって様々な分析方法が考えられますが、当資料では以下の順序で行います

• Physical CPU の割り当て量と余力の確認

− LPAR シート– Physical CPU vs Entitlement

• プロセッサプールの状況確認

− LPAR シート– Shared Pool Utilization

• CPU の使用率と プロセス数の関係の確認

− PROC シート– RunQueue

21

Page 22: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4-2 共用モード Uncapped の分析: Physical CPU vs Entitlement

■ LPAR シートの Physical CPU vs Entitlement グラフで CPU の割り当て量を確認します

• 共用モード Capped と同じように、割り当て可能な CPU の余力を確認することができます

• Uncapped の場合は、割り当て可能な CPU の上限は Entitled を超えて VP までになりますが、Entitled 以上の割り当てについてが保証されているわけではない事に注意が必要です

■ Uncapped の場合は、Physical CPU の上限は VP になります

• 以下の例では、Case 1 の Physical CPU は Entitled (1.5) に対して余裕がありますが、Case 2,3,4 は Physical CPU が上限である Entitled を超えて、Uncapped の上限である VP (3) に達しています

22

Case 1 Case 2 Case 3 Case 4

LPAR シート

Page 23: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4-2 共用モード Uncapped の分析: Shared Pool Utilization

■ LPAR シートの Shared Pool Utilization で共用プロセッサプールの状況を確認します

• 情報の取得には、HMC で LPAR 属性の 「パフォーマンス情報の収集を許可する」 をオンにする必要があります

• Uncapped の場合、Entitled を超えた CPU リソースを獲得することができますが、リソースの獲得が保証されているわけではないため、プロセッサプールに空きが無ければ、リソースが獲得できない可能性があります

■ 各フィールドの詳細は、以下に記載されています

• Processor statisticshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

■ Uncapped の場合は、Entitled を超えた CPU リソースの獲得は、プロセッサプールの状況に依存します

• 以下の例は、PU 1.5 / VP 3 / SMT 4 / Uncapped のものです

• この例では、プロセッサプールにかなりの余裕があることが分かります

23

Case 1 Case 2 Case 3 Case 4

LPAR シート

Page 24: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

参考:共用モード Uncapped の分析: POOLS シート

■ 共用プロセッサプールの状況は、POOLS シートでも確認をすることができます

• 情報の取得には、HMC で LPAR 属性の 「パフォーマンス情報の収集を許可する」 をオンにする必要があります

■ 各フィールドの詳細は、以下に記載されています

• Processor statisticshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

■ nmon Analyser は、一部のフィールドについて以下のようなグラフを作成します

24

Case 1 Case 2 Case 3 Case 4

shcpus_in_sys max_pool_capacity entitled_pool_capacity pool_max_time pool_busy_time shcpu_tot_time shcpu_busy_time Pool_id entitled15:26:02 12 12 10.4 12 3.44 12 3.44 0 1.515:26:32 12 12 10.4 12 4.23 12 4.23 0 1.5

POOLS シート

POOLS シート

Page 25: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-4-2 共用モード Uncapped の分析: RunQueue

■ PROC シートで、RunQueue の状況を確認します

• 以下の例は、PU 1.5 / VP 3 / SMT 4 / Unapped のものです

• 論理 CPU 数は 12 です

• Case 1,2,3,4 と CPU 負荷が増えるにしたがって RunQueue の値も増えています

• Case 4 は論理 CPU 数を大きく超えて最大 45 近くになっているため、パフォーマンス影響を確認すべき状態です

25

論理 CPU 数のライン ↓

論理 CPU 数の3倍のライン ↓

Case 1 Case 2 Case 3 Case 4

PROC シート

Page 26: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-5 専用モードの分析

■ 専用モードの場合は、CPU_ALL シートから分析します

■ 各フィールドの詳細は、以下に記載されています

• Processor statisticshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

■ nmon Analyser は、一部のフィールドについて以下のようなグラフを作成します

26

User% Sys% Wait% Idle% Busy PhysicalCPUs CPU%16:34:42 98.5 0.1 0 1.5 98.5 12 98.616:35:12 98.6 0.1 0 1.4 98.6 12 98.7

CPU_ALL シート

CPU_ALL シート

Page 27: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-5 専用モードの分析(続き)

■ 専用モードの分析方法を紹介します

■ システムの状況によって様々な分析方法が考えられますが、当資料では以下の順序で行います

• CPU 使用率の確認

− CPU_ALL シート

• CPU の使用率と プロセス数の関係の確認

− PROC シート– RunQueue

27

Page 28: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-5 専用モードの分析: CPU_ALL

■ CPU_ALL シートの CPU Total グラフ

• 全ての論理 CPU の使用率の単位時間当たりの平均が表示されます

• 専用モードでは、LPAR に割り当てられる Physical CPU は設定したコア数で固定のため、CPU_ALLによる使用率の確認ができます

• 以下の例では、Case 1,2 の CPU 使用率は余裕がありますが、Case 3,4 は ほぼ 100% になっています

28

Case 1 Case 2 Case 3 Case 4

CPU_ALL シート

Page 29: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-5 専用モードの分析 : RunQueue

■ PROC シートで、RunQueue の状況を確認します

• 以下の例は、3 core / SMT 4 のものです

• 論理 CPU 数は 12 です

• Case 1,2,3,4 と CPU 負荷が増えるにしたがって RunQueue の値も増えています

• Case 4 は論理 CPU 数を大きく超えて最大 80 近くになっているため、パフォーマンス影響を確認すべき状態です

29

論理 CPU 数のライン ↓

論理 CPU 数の3倍のライン ↓

Case 1 Case 2 Case 3 Case 4

PROC シート

Page 30: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-6 VP Folding

■ LPAR に割り当てられた 仮想プロセッサ(VP)数をワークロードの状況に応じて動的に増減する機能がVirtual Processor Folding ( VP Folding ) です

■ 定常的に一定数の VP が Folding されている場合は、 LPAR に割り当てる VP の削減を検討すると、不要なスケジューリングがなくなることで、パフォーマンスの向上が期待できます

■ VP Folding の動作は schedo コマンドの vpm_xvcpus チューナブルで調整できます

• パーティション内での仮想プロセッサー管理https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.performance/virtual_proc_mngmnt_part.htm

• schedo コマンドhttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.cmds5/schedo.htm

■ LPAR シート の Unfolded VPs で状況を確認することができます

30

↓ Unfolded VPs : ワークロードの状況に応じて VP 数が 1 ~ 3 の間で増減

Page 31: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-6 VP Folding(続き)

■ VP Folding の状況は BBBR に記録されませんが、さまざまなコマンドで確認する事ができます

■ nmon 対話モードでの確認

• 通常(VP 3)

• VP Folding (VP 3→1)

31

lqtopas_nmonqqP=PagingSpaceqqqqqqHost=testlparqqqqqqqRefresh=2 secsqqq15:51.40qqqx CPU-Utilisation-Small-View qqqqqqqqqqqEntitledCPU= 1.50 UsedCPU= 1.497qqqqqqqxLogical CPUs 0----------25-----------50----------75----------100 xCPU User% Sys% Wait% Idle%| | | | | x 0 69.5 1.5 0.0 29.0|UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU > x 1 100.0 0.0 0.0 0.0|UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU> x 2 46.0 0.0 0.0 54.0|UUUUUUUUUUUUUUUUUUUUUUU > x 3 0.0 0.0 0.0 100.0| > x 4 99.0 1.0 0.0 0.0|UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU> x 5 71.1 0.0 0.0 28.9|UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU > x 6 0.0 0.0 0.0 100.0| > x 7 0.0 0.0 0.0 100.0| > x 8 82.2 0.5 0.0 17.3|UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUU > x 9 29.7 0.5 0.0 69.8|UUUUUUUUUUUUUU > x 10 47.5 0.5 0.0 52.0|UUUUUUUUUUUUUUUUUUUUUUU > x 11 0.0 4.8 0.0 95.2|ss > xEntitleCapacity/VirtualCPU +-----------|------------|-----------|------------+ x EC 71.9 0.3 0.0 27.6|UUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUUiiiiiiiiiiiii-| x VP 35.9 0.1 0.0 13.8|UUUUUUUUUUUUUUUUUiiiiii--------------------------| xEC= 99.8% VP= 49.9% +--Capped---|------------|-----------100% VP=3 CPU+

lqtopas_nmonqqN=NFSqqqqqqqqqqqqqqHost=testlparqqqqqqqRefresh=2 secsqqq15:49.13qx CPU-Utilisation-Small-View qqqqqqqqqqqEntitledCPU= 1.50 UsedCPU= 0.009qqqqqxLogical CPUs 0----------25-----------50----------75----------100xCPU User% Sys% Wait% Idle%| | | | |x 0 0.0 0.0 0.0 100.0|UUUU >|x 1 0.0 0.0 0.0 100.0|U > |x 2 0.0 0.0 0.0 100.0|> |x 3 0.0 0.0 0.0 100.0|> |xEntitleCapacity/VirtualCPU +-----------|------------|-----------|------------+x EC 0.0 0.2 0.0 0.4|-------------------------------------------------|x VP 0.0 0.1 0.0 0.2|-------------------------------------------------|xEC= 0.6% VP= 0.3% +--Capped---|--Folded=2--|-----------100% VP=3 CPU+xqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqqq

← VP 3 / SMT 4 = 論理 CPU 数 12

← VP 1 のため 論理 CPU 数 4

← VP3 のうち Folded=2 よって、使用中の VP 数は 1

← VP 3

Page 32: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-6 VP Folding(続き)

■ mpstat コマンドでの確認

• 通常 VP 3 / VP Folding VP 1

32

# mpstat -vt 1

ALL 2.62 32.60 0.00 64.77 0.00[ 35.2%] 0.01[ 0.4%] 6 15:30:53------------------------------------------------------------------------------------------vcpu lcpu us sy wa id pbusy pc VTB(ms) Time---- ---- ---- ---- ----- ----- ----- ----- ------- ---0 2.82 33.46 0.00 63.71 0.00[ 36.3%] 0.01[ 0.4%] 7 15:30:54

0 2.82 29.77 0.00 13.62 0.00[ 32.6%] 0.00[ 46.2%] - 15:30:541 0.00 1.87 0.00 15.92 0.00[ 1.9%] 0.00[ 17.8%] - 15:30:542 0.00 0.97 0.00 16.85 0.00[ 1.0%] 0.00[ 17.8%] - 15:30:543 0.00 0.85 0.00 17.32 0.00[ 0.9%] 0.00[ 18.2%] - 15:30:54

4 0.00 28.70 0.00 71.30 0.00[ 28.7%] 0.00[ 0.0%] 0 15:30:544 0.00 7.17 0.00 26.12 0.00[ 7.2%] 0.00[ 33.3%] - 15:30:545 0.00 7.20 0.00 19.95 0.00[ 7.2%] 0.00[ 27.2%] - 15:30:546 0.00 7.17 0.00 14.61 0.00[ 7.2%] 0.00[ 21.8%] - 15:30:547 0.00 7.17 0.00 10.61 0.00[ 7.2%] 0.00[ 17.8%] - 15:30:54

8 0.00 25.35 0.00 74.65 0.00[ 25.3%] 0.00[ 0.0%] 0 15:30:548 0.00 6.35 0.00 27.22 0.00[ 6.3%] 0.00[ 33.6%] - 15:30:549 0.00 6.35 0.00 21.87 0.00[ 6.3%] 0.00[ 28.2%] - 15:30:5410 0.00 6.35 0.00 16.34 0.00[ 6.3%] 0.00[ 22.7%] - 15:30:5411 0.00 6.31 0.00 9.22 0.00[ 6.3%] 0.00[ 15.5%] - 15:30:54

ALL 2.82 87.51 0.00 209.66 0.00[ 90.3%] 0.01[ 0.4%] 8 15:30:54------------------------------------------------------------------------------------------vcpu lcpu us sy wa id pbusy pc VTB(ms) Time---- ---- ---- ---- ----- ----- ----- ----- ------- ---0 3.00 32.89 0.00 64.11 0.00[ 35.9%] 0.01[ 0.4%] 7 15:30:55

0 3.00 29.42 0.00 13.57 0.00[ 32.4%] 0.00[ 46.0%] - 15:30:551 0.00 1.28 0.00 16.14 0.00[ 1.3%] 0.00[ 17.4%] - 15:30:552 0.00 1.19 0.00 16.98 0.00[ 1.2%] 0.00[ 18.2%] - 15:30:553 0.00 1.01 0.00 17.42 0.00[ 1.0%] 0.00[ 18.4%] - 15:30:55

← 15:30:54 時点の mpstat論理 CPU 数は 12 (0-11) のため、VP Foldingされていない時点の情報

← 15:30:55 時点の mpstat論理 CPU 数は 4 (0-3) のため、VP Folding されている時点の情報※ nmon のように Folding を示す情報は表示されません

Page 33: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-6 VP Folding(続き)

■ sar コマンドでの確認

• 通常 VP 3 / VP Folding VP 1

33

# sar -P ALL 2 10000

15:36:55 0 6 64 0 30 0.00 0.21 0 6 0 94 0.00 0.12 0 4 0 96 0.00 0.13 0 3 0 97 0.00 0.1U - - 0 100 1.49 99.6- 0 0 0 100 0.01 0.4

15:36:57 0 5 63 0 31 0.00 0.21 0 8 0 92 0.00 0.12 0 4 0 96 0.00 0.13 0 4 0 96 0.00 0.14 0 41 0 59 0.00 0.05 0 40 0 60 0.00 0.06 0 38 0 62 0.00 0.07 0 38 0 62 0.00 0.08 0 32 0 68 0.00 0.09 0 29 0 71 0.00 0.010 0 30 0 70 0.00 0.011 0 29 0 71 0.00 0.0U - - 0 100 1.49 99.6

← 15:36:55 時点の sar

論理 CPU 数は 4 (0-3) のため、VP Folding されている時点の情報

※ nmon のように Folding を示す情報は表示されません

← 15:36:57 時点の sar 論理 CPU 数は 12 (0-11) のため、VP Folding されていない時点の情報

Page 34: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

2-7 論理 CPU 単位の情報(CPU / PCPU / SCPU)

■ nmon で取得可能な論理 CPU 単位の情報には CPU / PCPU / SCPU があります

• Processor statisticshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

• CPU

−デフォルトで取得される情報

−論理 CPU の使用率

− CPU_ALL– LPAR 全体の CPU 使用率

− CPUnnn– 論理 CPU 毎の使用率

– 最大値は 100%

– nnnは論理 CPU 番号AIX の論理 CPU の最小番号は 0 だが、nmon の最小番号は 1 であるため、参照する場合は注意が必要例: sar コマンドの CPU 0 は nmon の CPU 1

• PCPU

− -y オプションの指定で取得可能な情報

−物理 CPU の使用率

− PCPU_ALL– LPAR 全体の物理 CPU 使用率

− PCPUnnn– 論理 CPU 毎の物理 CPU 使用率

– 最大値は プロセッサーの種類や SMT モードによって異なる

– 注意点等は CPUnnn と同じ

• SCPU

− -y オプションの指定で取得可能な情報

− PCPU_ALL / PCPUnnn と同等の情報について、パワーセービング・モード時の統計を取得したもの

−パワーセービングモードが OFF の場合は、PCPU_ALL / PCPUnnn と同じ値

34

Page 35: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

参考: nmon と sar の比較

■ nmon CPU_ALL / CPUnnn と sar コマンドの比較です

■ 専用モード (VP 3 / SMT 4 / 論理 CPU 数 12)で CPU 4 に ncpu をバインドした例

• # execrset -c 4 -e time ncpu -s 300 -p 1

35

CPU 5 testlpar User% Sys% Wait% Idle% CPU%11:45:03 99.9 0.1 0 0 100

CPU05 シート

CPU Total testlpar User% Sys% Wait% Idle% Busy PhysicalCPUs CPU%11:45:03 19.7 0.1 0 80.2 19.8 12 19.8

CPU_ALL シート

# sar -P ALL 2 10000AIX testlpar 2 7 00F98DB54C00 07/05/17System configuration: lcpu=12 mode=Capped

11:45:34 cpu %usr %sys %wio %idle physc11:45:36 0 0 0 0 99 0.25

1 0 0 0 100 0.252 0 0 0 100 0.253 0 0 0 100 0.254 100 0 0 0 0.595 0 0 0 100 0.146 0 0 0 100 0.147 0 0 0 100 0.148 0 0 0 100 0.259 0 0 0 100 0.25

10 0 0 0 100 0.2511 0 0 0 100 0.25- 20 0 0 80 3.00

Page 36: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

参考: nmon と mpstat の比較

■ nmon PCPU_ALL / PCPUnnn と mpstat コマンドの比較です

■ 専用モード (VP 3 / SMT 4 / 論理 CPU 数 12)で CPU 4 に ncpu をバインドした例

• # execrset -c 4 -e time ncpu -s 300 -p 1

36

PCPU Total testlpar User Sys Wait Idle Entitled Capacity CPU%11:45:03 0.59 0 0 2.41 3 0.59

PCPU_ALL シート

PCPU 5 testlpar User Sys Wait Idle CPU%11:45:03 0.59 0 0 0 0.59

PCPU05 シート

# mpstat -vt 2System configuration: lcpu=12 mode=Cappedvcpu lcpu us sy wa id pbusy pc---- ---- ---- ---- ----- ----- ----- -----0 0.03 0.12 0.00 99.84 0.00[ 0.2%] 1.00[ 33.3%]

0 0.03 0.12 0.00 24.91 0.00[ 0.1%] 0.25[ 25.1%]1 0.00 0.00 0.00 24.98 0.00[ 0.0%] 0.25[ 25.0%]2 0.00 0.00 0.00 24.98 0.00[ 0.0%] 0.25[ 25.0%]3 0.00 0.00 0.00 24.98 0.00[ 0.0%] 0.25[ 25.0%]

4 59.15 0.09 0.00 40.76 0.59[ 59.2%] 1.00[ 33.3%]4 59.14 0.08 0.00 0.00 0.59[ 59.2%] 0.59[ 59.2%]5 0.00 0.01 0.00 13.59 0.00[ 0.0%] 0.14[ 13.7%]6 0.00 0.00 0.00 13.59 0.00[ 0.0%] 0.14[ 13.7%]7 0.00 0.00 0.00 13.59 0.00[ 0.0%] 0.14[ 13.7%]

8 0.00 0.02 0.00 99.98 0.00[ 0.0%] 1.00[ 33.3%]8 0.00 0.02 0.00 25.00 0.00[ 0.0%] 0.25[ 25.0%]9 0.00 0.00 0.00 24.99 0.00[ 0.0%] 0.25[ 25.0%]10 0.00 0.00 0.00 24.99 0.00[ 0.0%] 0.25[ 25.0%]11 0.00 0.00 0.00 24.99 0.00[ 0.0%] 0.25[ 25.0%]

ALL 59.18 0.24 0.00 240.58 0.59[ 59.4%] 3.00[ 99.9%]---------------------------------------------------------------------------

Page 37: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

3. nmon その他のセクション情報

37

Page 38: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

AAA

■ 実行した nmon コマンドなどに関する情報

■ nmon 起動時のみ取得

■ AIX Knowledge Center

• Recording configuration detailshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/record_config.htm

Recording configuration details are logged for each recorded file with a time stamp. The details include different tags and each tag has its own specification.

All tags that have prefix AAA represent recording configuration details. These configuration details are recorded initially when the recording begins. The tags that have prefix ZZZZ represent the end of each record in the recording file. This tag also represents the time stamp of that sample.

~以降省略~

■ サンプル

38

AAA,progname,topas_nmonAAA,command,/usr/bin/topas_nmon -f -d -o /work/_1/_nmon/ -M -P -s 30 -c 2880 -T -youtput_dir=/work/_1/_nmon/ -ystart_time=15:15:22,Jun28,2017AAA,version,TOPAS-NMONAAA,build,AIXAAA,disks_per_line,150AAA,host,testlparAAA,user,rootAAA,AIX,7.2.0.1AAA,TL,00AAA,runname,testlparAAA,time,15:15:22AAA,date,28-JUN-2017AAA,interval,30AAA,snapshots,2880AAA,hardware,Architecture PowerPC Implementation POWER8 64 bitAAA,SubprocessorMode UnknownAAA,cpus,32,8AAA,kernel, HW-type=CHRP=Common H/W Reference Platform Bus=PCI LPAR=Dynamic Multi-Processor 64 bitAAA,SerialNumber,nnnXXnXAAA,LPARNumberName,63,testlparAAA,MachineType,IBM,8286-42AAAA,NodeName,testlparAAA,timestampsize,0AAA,note0, Warning - use the UNIX sort command to order this file before loading into a spreadsheetAAA,note1, The First Column is simply to get the output sorted in the right orderAAA,note2, The T0001-T9999 column is a snapshot number. To work out the actual time; see the ZZZ section at the end

Page 39: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

BBBL

■ LPAR 構成に関する情報

■ nmon 起動時のみ取得

■ AIX Knowledge Center

• Processor statisticshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/processor_stat.htm

BBBLRecords logical partition configuration details. This section is recorded only once in the recording file.

~以降省略~

■ サンプル

39

BBBL,01,lparno,63BBBL,02,lparname,testlparBBBL,03,CPU in sys,12BBBL,04,Virtual CPU,2BBBL,05,Logical CPU,8BBBL,06,smt threads,4BBBL,07,capped,1BBBL,08,min Virtual,1BBBL,09,max Virtual,4BBBL,10,min Logical,1BBBL,11,max Logical,32BBBL,12,min Capacity,0.1 BBBL,13,max Capacity,4.0 BBBL,14,Entitled Capacity,1.5 BBBL,15,min Memory MB,1024BBBL,16,max Memory MB,40960BBBL,17,online Memory,2048BBBL,18,Pool CPU,12BBBL,19,Weight,0BBBL,20,pool id,0:

Page 40: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

BBBP

■ LPAR や AIX 構成に関する各種コマンド出力の情報

■ nmon 起動時と停止時に取得

■ AIX Knowledge Center

• nmon recording tool commandshttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/command_sections.htm

BBBPThis section provides configuration details and performance statistics by displaying the output of set of commands that are executed during a time interval.

~以降省略~

■ サンプル

• 停止時に取得するデータには ” ending “ が記録されます

40

BBBP,000,uptimeBBBP,001,uptime," 03:15PM up 4 mins, 2 users, "BBBP,002,lsconfBBBP,003,lsconf,"System Model: IBM,8286-42A"BBBP,004,lsconf,"Machine Serial Number: nnnXXnX"BBBP,005,lsconf,"Processor Type: PowerPC_POWER8"BBBP,006,lsconf,"Processor Implementation Mode: POWER 8"BBBP,007,lsconf,"Processor Version: PV_8_Compat"BBBP,008,lsconf,"Number Of Processors: 2"BBBP,009,lsconf,"Processor Clock Speed: 3891 MHz"BBBP,010,lsconf,"CPU Type: 64-bit"BBBP,011,lsconf,"Kernel Type: 64-bit"BBBP,012,lsconf,"LPAR Info: 63 testlpar"BBBP,013,lsconf,"Memory Size: 2048 MB"BBBP,014,lsconf,"Good Memory Size: 2048 MB"BBBP,015,lsconf,"Platform Firmware level: SV840_087"BBBP,016,lsconf,"Firmware Version: IBM,FW840.11 (SV840_087)"BBBP,017,lsconf,"Console Login: enable"BBBP,018,lsconf,"Auto Restart: true“:

BBBP,1519,ending df -mBBBP,1520,ending df -m,"Filesystem MB blocks Free %Used used %Iused Mounted on"BBBP,1521,ending df -m,"ddev/hd4 384.00 138.93 64% 11675 26% /"BBBP,1522,ending df -m,"ddev/hd2 2240.00 111.09 96% 38025 57% /usr"BBBP,1523,ending df -m,"ddev/hd9var 192.00 139.86 28% 620 2% /var"BBBP,1524,ending df -m,"ddev/hd3 128.00 52.67 59% 51 1% /tmp"BBBP,1525,ending df -m,"ddev/hd1 64.00 63.63 1% 7 1% /home"BBBP,1526,ending df -m,“ddev/hd11admin 128.00 127.64 1% 5 1% /admin"BBBP,1527,ending df -m,"dproc - - - - - /proc"BBBP,1528,ending df -m,"ddev/hd10opt1088.00 638.88 42% 24860 14% /opt"BBBP,1529,ending df -m,"ddev/livedump 256.00 255.64 1% :

起動時に取得するデータ 停止時に取得するデータ

Page 41: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

BBBR

■ DLPAR 等による動的再構成に関する情報

■ 動的再構成時に取得

• 出力ファイルへの記録は、取得インターバルの単位となるため、動的再構成が発生した際に即時に記録されるわけではありません

■ nmon Analyser User Guide

■ BBBR に関する参考情報

• AIXpert Blog : nmon for AIX detects LPM & DLPAR Changeshttps://www.ibm.com/developerworks/community/blogs/aixpert/entry/nmon_for_AIX_detects_LPM_DLPAR_Changes?lang=en

It can detect these among a number of other events and record them:

1.Live partition Mobility (LPM) where you move a running Logical Partition (LPAR / Virtual Machine (VM) between two

POWER Servers.

2. Dynamic LPAR (DLPAR) CPU changes (add or remove) like the Entitlement (E) or Virtual CPU count (VP).

3. Dynamic LPAR (DLPAR) Memory changes (add or remove).

• nmon の BBBR は dr_reconfig システムコールを使用して、動的再構成に関する情報を取得します参考情報:

−動的ロジカル・パーティショニングhttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.performance/dyn_log_part.htm

− DLPAR セーフ・プログラムと DLPAR 認識プログラムhttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.genprogc/dr_safe_aware_friend.htm

− dr_reconfig System Callhttps://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.ktechrf1/dr_reconfig.htm

41

Page 42: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

BBBR : DLPAR による CPU 除去の例

■ HMC の動的区画化メニューで CPU 数を 3 から 2 に変更(CPU 除去)

• DLPAR 前の状態

• DLPAR 後の状態

42

# lparstat -i~抜粋~Type : Dedicated-SMT-4Mode : CappedEntitled Capacity : 3.00Online Virtual CPUs : 3Maximum Virtual CPUs : 4Minimum Virtual CPUs : 1

# lsdev -Cc processorproc0 Available 00-00 Processorproc8 Available 00-08 Processorproc16 Available 00-16 Processor

# mpstat -sSystem configuration: lcpu=12 mode=Capped

Proc0 Proc4 Proc8cpu0 cpu1 cpu2 cpu3 cpu4 cpu5 cpu6 cpu7 cpu8 cpu9 cpu10 cpu110.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06%

# lparstat -i~抜粋~Type : Dedicated-SMT-4Mode : CappedEntitled Capacity : 2.00Online Virtual CPUs : 2Maximum Virtual CPUs : 4Minimum Virtual CPUs : 1

# lsdev -Cc processorproc0 Available 00-00 Processorproc8 Available 00-08 Processor

# mpstat -sSystem configuration: lcpu=8 mode=Capped

Proc0 Proc4cpu0 cpu1 cpu2 cpu3 cpu4 cpu5 cpu6 cpu70.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06% 0.06%

← CPU 数が 3 から 2 に変更

← proc16 を除去

← 論理 CPU が 12個 (cpu0-cpu11) から 8個 (cpu0-cpu8) に変更

Page 43: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

BBBR : DLPAR による CPU 除去の例(続き)

• DLPAR 時に記録された nmon BBBR セクションのデータ

− remove :除去(remove)リクエスト

− cpu :リクエスト対象のリソースは CPU

− logical_cpu :処理対象の論理 CPU ID

43

BBBR,000,when,add,remove,cpu,mem,check,pre,doit,post,posterror,force,bindproc,softpset,hardpset,plock,pshm,ent_cap,var_wgt,splpar_capable,splpar_shared,splpar_capped,cap_constrained,migrate,hibernate,partition,wpar,checkpoint,restart,logical_cpu,bind_cpu,memory_change,capacity,delta_cap,old_serialno,current_serialno,lpar_number,lpar_nameBBBR,001,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,11,11,0,0,0,F98DB5,F98DB5,63,testlparBBBR,001,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,11,11,0,0,0,F98DB5,F98DB5,63,testlparBBBR,002,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,11,11,0,0,0,F98DB5,F98DB5,63,testlparBBBR,002,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,11,11,0,0,0,F98DB5,F98DB5,63,testlparBBBR,003,15:19:45,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,11,11,0,0,0,F98DB5,F98DB5,63,testlparBBBR,003,15:19:45,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,11,11,0,0,0,F98DB5,F98DB5,63,testlparBBBR,004,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,10,10,0,0,0,F98DB5,F98DB5,63,testlparBBBR,004,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,10,10,0,0,0,F98DB5,F98DB5,63,testlparBBBR,005,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,10,10,0,0,0,F98DB5,F98DB5,63,testlparBBBR,005,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,10,10,0,0,0,F98DB5,F98DB5,63,testlparBBBR,006,15:19:45,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,10,10,0,0,0,F98DB5,F98DB5,63,testlparBBBR,006,15:19:45,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-,10,10,0,0,0,F98DB5,F98DB5,63,testlparBBBR,007,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 9, 9,0,0,0,F98DB5,F98DB5,63,testlparBBBR,007,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 9, 9,0,0,0,F98DB5,F98DB5,63,testlparBBBR,008,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 9, 9,0,0,0,F98DB5,F98DB5,63,testlparBBBR,008,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 9, 9,0,0,0,F98DB5,F98DB5,63,testlparBBBR,009,15:19:45,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 9, 9,0,0,0,F98DB5,F98DB5,63,testlparBBBR,009,15:19:45,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 9, 9,0,0,0,F98DB5,F98DB5,63,testlparBBBR,010,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 8, 8,0,0,0,F98DB5,F98DB5,63,testlparBBBR,010,15:19:45,-,remove,cpu,-,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 8, 8,0,0,0,F98DB5,F98DB5,63,testlparBBBR,011,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 8, 8,0,0,0,F98DB5,F98DB5,63,testlparBBBR,011,15:19:45,-,remove,cpu,-,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 8, 8,0,0,0,F98DB5,F98DB5,63,testlparBBBR,012,15:19:46,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 8, 8,0,0,0,F98DB5,F98DB5,63,testlparBBBR,012,15:19:46,-,remove,cpu,-,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,-,splpar_capped,-,-,-,-,-,-,-, 8, 8,0,0,0,F98DB5,F98DB5,63,testlpar

← 論理CPU11を除去

← 論理CPU10を除去

← 論理CPU9を除去

← 論理CPU8を除去

Page 44: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

BBBR : DLPAR による Memory 追加の例

■ HMC の動的区画化メニューで Memory を 2GB から 4GB に変更(Memory 追加)

• DLPAR 前の状態

• DLPAR 後の状態

44

# lparstat -i~抜粋~Online Memory : 2048 MBMaximum Memory : 40960 MBMinimum Memory : 1024 MBMemory Mode : Dedicated

# lsdev -Cc memoryL2cache0 Available L2 Cachemem0 Available Memory

# lsattr -El mem0ent_mem_cap I/O memory entitlement in Kbytes Falsegoodsize 2048 Amount of usable physical memory in Mbytes Falsemem_exp_factor Memory expansion factor Falsesize 2048 Total amount of physical memory in Mbytes Falsevar_mem_weight Variable memory capacity weight False

# lsattr -El sys0 -a realmemrealmem 2097152 Amount of usable physical memory in Kbytes False

# lparstat -i~抜粋~Online Memory : 4096 MBMaximum Memory : 40960 MBMinimum Memory : 1024 MBMemory Mode : Dedicated

# lsdev -Cc memoryL2cache0 Available L2 Cachemem0 Available Memory

# lsattr -El mem0ent_mem_cap I/O memory entitlement in Kbytes Falsegoodsize 4096 Amount of usable physical memory in Mbytes Falsemem_exp_factor Memory expansion factor Falsesize 4096 Total amount of physical memory in Mbytes Falsevar_mem_weight Variable memory capacity weight False

# lsattr -El sys0 -a realmemrealmem 4194304 Amount of usable physical memory in Kbytes False

← Online Memory が 2048 MB から 4096 MB に変更

← goodsize が 2048 から 4096 に変更

← size が 2048 から 4096 に変更

← realmem が 2097152 から 4194304 に変更

Page 45: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

BBBR : DLPAR による Memory 追加の例(続き)

• DLPAR 時に記録された nmon BBBR セクションのデータ

− add :追加(add)リクエスト

− mem :リクエスト対象のリソースは Memory

− memory_change :変更する Memory サイズ

45

BBBR,000,when,add,remove,cpu,mem,check,pre,doit,post,posterror,force,bindproc,softpset,hardpset,plock,pshm,ent_cap,var_wgt,splpar_capable,splpar_shared,splpar_capped,cap_constrained,migrate,hibernate,partition,wpar,checkpoint,restart,logical_cpu,bind_cpu,memory_change,capacity,delta_cap,old_serialno,current_serialno,lpar_number,lpar_nameBBBR,001,10:44:16,add,-,-,mem,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,splpar_shared,-,-,-,-,-,-,-,-,0,0,2048,0,0,F98DB5,F98DB5,63,testlparBBBR,001,10:44:16,add,-,-,mem,check,-,-,-,-,-,-,-,-,-,-,-,-,splpar_capable,splpar_shared,-,-,-,-,-,-,-,-,0,0,2048,0,0,F98DB5,F98DB5,63,testlparBBBR,002,10:44:16,add,-,-,mem,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,splpar_shared,-,-,-,-,-,-,-,-,0,0,2048,0,0,F98DB5,F98DB5,63,testlparBBBR,002,10:44:16,add,-,-,mem,-,pre,-,-,-,-,-,-,-,-,-,-,-, splpar_capable,splpar_shared,-,-,-,-,-,-,-,-,0,0,2048,0,0,F98DB5,F98DB5,63,testlparBBBR,003,10:44:17,add,-,-,mem,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,splpar_shared,-,-,-,-,-,-,-,-,0,0,2048,0,0,F98DB5,F98DB5,63,testlparBBBR,003,10:44:17,add,-,-,mem,-,-,-,post,-,-,-,-,-,-,-,-,-, splpar_capable,splpar_shared,-,-,-,-,-,-,-,-,0,0,2048,0,0,F98DB5,F98DB5,63,testlpar

Page 46: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

4. 参考資料

46

Page 47: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

参考資料

■ nmon に関する情報• Knowledge Center

− nmon コマンド

– https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.cmds4/nmon.htm

− The nmon recording tool

– https://www.ibm.com/support/knowledgecenter/ja/ssw_aix_72/com.ibm.aix.prftools/nmon_tool.htm

■ nmon Analyser に関する情報

• nmon Analyser home page

−https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/nmon_analyser

• User Forum

−https://www.ibm.com/developerworks/community/forums/html/forum?id=11111111-0000-0000-0000-000000000749&ps=25

47

Page 48: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社

参考資料(続き)

■ その他

• Service and support best practices for Power Systems

−https://www-304.ibm.com/support/customercare/sas/f/best/home.html

– AIX on Power - Performance FAQ

– POWER8 Performance Best Practices

– POWER7 Performance Best Practices

• Understanding CPU utilization on AIX

−https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/Understanding%20CPU%20utilization%20on%20AIX

• Performance Optimization and Tuning Techniques for IBM Power Systems Processors Including IBM POWER8

−http://www.redbooks.ibm.com/abstracts/sg248171.html?Open

• IBM Power Systems Performance Guide: Implementing and Optimizing

−http://www.redbooks.ibm.com/abstracts/sg248080.html?Open

• nstress

−https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power+Systems/page/nstress

48

Page 49: AIX パフォーマンス分析...AIX パフォーマンス分析日本アイ・ビー・エム株式会社 日本アイ・ビー・エムシステムズ・エンジニアリング株式会社