今すぐできる NAS 環境の高速化! Oracle Database の I/O に最適化された NFS クライアントの使用方法と SSD を組み合わせた活用方法 日本オラクル株式会社製品事業統括技術本部基盤技術部エンジニア岩本知博
以下の事項は 弊社の一般的な製品の方向性に関する概要を説明するものです また 情報提供を唯一の目的とするものであり いかなる契約にも組み込むことはできません 以下の事項は マテリアルやコード 機能を提供することをコミットメント ( 確約 ) するものではないため 購買決定を行う際の判断材料になさらないで下さい オラクル製品に関して記載されている機能の開発 リリースおよび時期については 弊社の裁量により決定されます Oracle と Java は Oracle Corporation 及びその子会社 関連会社の米国及びその他の国における登録商標です 文中の社名 商品名等は各社の商標または登録商標である場合があります 2
Agenda Introduction システム性能の最大化とディスク I/O のボトルネック Storage Area Network(SAN) と Network Attached Storage(NAS) データベースの配置先としての Network Attached Storage(NAS) Direct NFS のご紹介 Direct NFS の適用ケースの分析 設定方法 Direct NFS によるネットワーク帯域のスケーラビリティ Direct NFS のまとめ Direct NFS 活用例 DB Smart Flash Cache による SSD の効果的な活用法 dnfs との組み合わせによる DB 統合の集約密度向上 3
Introduction 4
Storage Network Server はじめに限られた予算でシステム性能を最大化するには CPU OS CPU 理想 現実 DRAM 稼働率 100% 稼働率 20% switch 稼働率 100% 稼働率 80% controller controller システム全体の稼働効率 例 : ディスク I/O が が最大化されている ボトルネック HDD HDD HDD HDD 稼働率 100% 稼働率 100% enclosure 5
ディスク I/O がボトルネックになりがち ストレージ設計は 容量以上に 性能 を考慮することが重要 CPU disk I/O complex 48% 9% 43% DBシステム性能のボトルネックの要因 CPU: 9% ディスクI/O: 43% 非効率なSQL 文 索引の設計等 : 48% *Oracle Direct パフォーマンス クリニック サービス 参考 http://www.oracle.com/lang/jp/direct/service/pc.html 6
性能 ( 相対比 ) なぜディスク I/O がボトルネックになるのか 35 30 25 CPU NETWORK HDD Hyper-Threading マルチコア化 2003 vs 2010 処理性能 x 32 トランジスタ数 20 15 10 5 0 10GbE InfiniBand 15krpmのまま 2003 年 2004 年 2005 年 2006 年 2007 年 2008 年 2009 年 2010 年 拡大傾向 x 1.X 回転数 (rpm) 7
storage - SAN 対応 RAID storage - NAS 対応 RAID 外部ストレージ接続形態 (SAN と NAS) HDD の扱い方と接続方法 ストレージ上の logical unit(lun) をブロック デバイスとして認識 ストレージ上のファイル システムをマウントしそのままファイル システムとして使用 HBA linux NIC fibre channel(fc) といったストレージ専用ネットワークを形成 (FC-SAN) FC switch /dev/sdx mount point nfs mount LAN LAN を介してストレージにアクセス LUN file system HDD HDD HDD HDD HDD HDD SAN(Storage Area Network) NAS(Network Attached Storage) 8
外部ストレージ接続形態 (SAN と NAS) 特徴と一般的な用途 SAN(FC-SAN) の特徴 直接ブロック デバイスにアクセスすることで I/O オーバーヘッドを最小化 FC で形成された広帯域なストレージ専用ネットワーク NAS の特徴 SAN と比較して 導入が容易かつ低コスト ファイル システムのインターフェイスを介した使い勝手の良さ DB システムのストレージとして一般的 ファイル サーバ用途として広く普及 9
storage layer RAID OS layer DB layer データベースの配置先としての NAS 性能への影響 libodm DB server oracle NFS I/O のオーバーヘッド 本日の内容 NFS client TCP/IP knfs I/O driver + NIC H/W storage - NAS oracleはosのnfsクライアント を介してI/O( 以降 knfs) file file file file ネットワーク帯域 1GbEの帯域不足 bonding / 10GbE / Infiniband file system - NFS 10
Direct NFS 11
storage layer RAID OS layer DB layer Direct NFS(dNFS) Oracle は NAS への I/O オーバーヘッドを減らす機能を実装 DB server libodm oracle libnfsodm dnfs I/O NFS client TCP/IP OS 層をバイパスすることでオーバーヘッドを減らし I/O を高速化 driver + NIC H/W knfs I/O storage - NAS oracleはosのnfsクライアント を介してI/O( 以降 knfs) file file file file file system - NFS 12
Direct NFS(dNFS) 機能概要 dnfs とは Oracle Database 内部に実装された NFS(v3) クライアント機能 Oracle Database 11g Release 1 から使用可能 dnfs の特徴 1. OS カーネルの NFS クライアント (knfs) より高いディスク I/O 性能 2. 簡単な手順で機能を有効化 アプリケーションの書き換えは必要ない ストレージの構成や運用に影響はない 複数イーサネット ポートを使用したネットワーク帯域のスケーラビリティの設定が簡単 13
disk shelf blade shelf blade server blade server 検証環境 Hardware Cisco UCS B200 M1 x 2 Oracle Linux DB instance CPU: 8core - HyperThreading OFF Physical Memory: 96GB DB client DB client DB client app DB client hypervisor - Oracle VM 10GbE L2 switch / FC switch Cisco Nexus 5020 4Gbps FC network knfs mount 10GbE network 10GbE port NAS head FC port NFS LUN NetApp FAS3170 HDD x 13 aggregate RAID-DP block device (FC) 14
storage DB server 検証環境 Oracle Configuration DB instance dnfs orclnfs knfs DB instance orclfc ASM instance knfs mount system tablespace #1 for orclnfs datafile sysaux temp redo undo tablespace #2 for orclfc datafile tablespace #1 for orclfc datafile system sysaux temp redo undo file system - NFS ASM diskgroup LUN orclnfs orclfc block device - FC 16
knfs より高い I/O 性能検証内容 dnfs の適用ケースを判断するため 以下の内容で knfs と dnfs の性能を確認する 1. Web ショッピング サイトを想定した OLTP 2. DWH / BATCH 2-1. SELECT 2-2. INSERT 2-3. UPDATE 17
storage DB server DB client knfs より高い I/O 性能 OLTP Web ショッピング サイトを想定した OLTP トランザクションの割合 商品検索のみ (SELECT) のトランザクション = 80% (SELECT) 商品購入を含む (SELECT & INSERT & UPDATE) トランザクション = 20% OLTP application DB instance dnfs orclnfs knfs knfs mount system tablespace #1 for orclnfs datafile sysaux temp redo undo file system - NFS 18
TPS (Relative Value) knfs より高い I/O 性能 OLTP OLTP で発生する I/O の性能が向上することを確認 キャッシュ ヒット率が低く I/O 量が多い環境ほど有効 1.2 1 0.8 0.6 knfs dnfs 2.7X 0.4 0.2 storage cache = 16G 0 4GB 8GB 12GB 16GB 20GB 24GB 28GB 32GB 36GB 40GB 44GB 48GB 52GB 56GB 60GB buffer cache = 10G SELECT RANGE 19
knfs より高い I/O 性能 OLTP: AWR レポート # knfs Event Waits Time(s) (ms) time Wait Class ------------------------------ ------------ ----------- ------ ------ ---------- Event Waits Time(s) (ms) time Wait Class ------------------------------ ------------ ----------- ------ ------ ---------- Avg wait % DB db file sequential read 6,074,413 133,800 22 94.2 User I/O log file sync 468,167 5,427 12 3.8 Commit DB CPU 3,003 2.1 read by other session 1,479 89 60.1 User I/O cursor: pin S 13,004 51 4.0 Concurrenc Avg wait % DB db file sequential read 2,132,908 268,121 126 87.8 User I/O log file sync 170,284 35,137 206 11.5 Commit DB CPU 1,636.5 Disk file operations I/O 1,620 358 221.1 User I/O enq: TX - index contention 1,059 218 206.1 Concurrenc # dnfs 20
IOPS knfs より高い I/O 性能 OLTP: ストレージ統計 dnfs であれば HDD の限界性能まで引き出せている IOPS が約 3 倍になり disk util = 100% 4 3.5 3 2.5 2 1.5 1 0.5 0 read_ops/sec write_ops/sec Disk Util = 80% 3X Disk Util = 100% knfs dnfs 21
knfs より高い I/O 性能 DWH / BATCH 1. SELECT 表の行数をカウント (960,000,000 行 ) 同じ SQL に対して ヒント句を用いてアクセス パスを制御 2. INSERT 960,000,000 行の INSERT 処理 NFS 上の表から NFS 上の表へ Direct- Path Insert FC の LUN 上の表から NFS 上の表へ Direct-Path Insert 3. UPDATE 960,000,000 行の表を全行 UPDATE 2. INSERT Direct-Path Insert 1. SELECT Table Full Scan Index Fast Full Scan Index Full Scan FC 3. UPDATE Parallel Query / DML を使用 knfs / dnfs 22
knfs より高い I/O 性能 DWH / BATCH: SELECT( パラレル処理 ) dnfs を使用することで いずれのアクセス パスでも高速化されることを確認 特に Table Full Scan で効果が knfs dnfs Index Full Scan 1.1X 1 0.88 高い ( 約 1.5 倍 ) 0.00 0.20 0.40 0.60 0.80 1.00 1.20 RESPONSE TIME (relative value) Table Full Scan Index Fast Full Scan knfs dnfs 1.5X 0.66 1 knfs dnfs 1.3X 1 0.79 0.00 0.20 0.40 0.60 0.80 1.00 1.20 RESPONSE TIME (relative value) 0.00 0.20 0.40 0.60 0.80 1.00 1.20 RESPONSE TIME (relative value) 23
knfs より高い I/O 性能 DWH / BATCH: SELECT( パラレル処理 ) 効果が高いケースは データ ブロックの読み込み処理が direct path read で行われている db file sequential read direct path read direct path read 24
補足 knfs より高い I/O 性能 DWH / BATCH: SELECT( シリアル処理 ) データ ブロックの読み込み処理が db file scattered read で行われている場合 効果が小さい傾向 パラレルでの Table Full Scan は direct path read で行われる シリアルでの Table Full Scan は DB buffer cache と表のサイズに次第で direct path read を選択 (11g Release 1 以降 ) Table Full Scan - Big Table Table Full Scan - Small Table knfs dnfs 1.7X 1 1.0X knfs 0.58 dnfs 1 0.99 0.00 0.20 0.40 0.60 0.80 1.00 1.20 direct path read RESPONSE TIME (relative value) 0.00 0.20 0.40 0.60 0.80 1.00 1.20 db file scattered read RESPONSE TIME (relative value) 25
knfs より高い I/O 性能 DWH / BATCH: INSERT 書き込み処理においては効果が低い傾向 dnfs dnfs のケースは 読み込み処理 (direct path read) の高速化による性能向上 INSERT: knfs knfs / dnfs dnfs INSERT: FC knfs / dnfs knfs 1.3X 1.0X 1 knfs 0.79 0.97 dnfs dnfs 1 0 0.2 0.4 0.6 0.8 1 1.2 RESPONSE TIME (relative value) 0.00 0.20 0.40 0.60 0.80 1.00 1.20 RESPONSE TIME (relative value) 26
knfs より高い I/O 性能 DWH / BATCH: UPDATE 大量データの更新処理が高速化されることを確認 UPDATE knfs dnfs 1.2X 0.86 1 0.00 0.20 0.40 0.60 0.80 1.00 1.20 RESPONSE TIME (relative value) 27
Direct NFS 設定方法 28
dnfs の有効化 dnfs を有効にするには 以下の 2 つの手順を行う 1. 設定ファイル (oranfstab) の作成と編集 2. 使用するライブラリ ファイルを変更 29
補足 oranfstab について oranfstab は dnfs に対して oracle 固有のオプションを指定するファイルという位置づけ dnfs では 現在マウントしているボリューム (/etc/mtab) の構成に基づいてマウント ポイント設定が決定される そのため dnfs でアクセスするボリュームも knfs でマウントする必要がある knfs のマウント オプションは 従来通り ボリュームの用途 ( 配置するファイルの種類 ) に適したマウント オプションを指定 具体的なマウント オプションは 各 NAS 製品ベンダー様にご確認ください 30
dnfs の有効化 (1/2) oranfstab の編集 1. $ORACLE_HOME/dbs/oranfstab を編集 server: NFS サーバ名 local: NFS クライアントの IP アドレス ( 最大 4 つ ) path: NFS サーバの IP アドレス ( 最大 4 つ ) export: NFS サーバから export されたパス mount: NFS クライアントの mount ポイント server: nas01 local: 10.196.24.10 path: 10.196.24.100 export: /vol/vol1 mount: /NAS/vol1 NFS client DB server /NAS/vol1 10.196.24.10 knfs mount 10.196.24.100 /vol/vol1 storage - nas01 NFS server 32
dnfs の有効化 (2/2) ライブラリ ファイルの入れ替え 2. DB インスタンスを停止 3. 標準のOracle Disk Mananger(ODM) ライブラリのかわりに NFSクライアント機能が実装されているODM NFS ライブラリを使用する cd $ORACLE_HOME/rdbms/lib make -f ins_rdbms.mk dnfs_on 4. DB インスタンスを起動 DB インスタンス起動時に 機能が有効化される 以下のメッセージがalert logに出力されることを確認 Oracle instance running with ODM: Oracle Direct NFS ODM Library Version 3.0 34
dnfs の有効化 (2/2) ライブラリ ファイルの入れ替え dnfs の対象はボリューム単位ではなく ファイル単位 サポート対象のファイルのみ dnfs I/O が有効化 それ以外のファイルは従来通り knfs I/O 対象 knfs I/O OS user DB server oracle libnfsodm knfs dnfs I/O dnfs でアクセスするボリュームは knfs マウント済 従来通りのファイル システムのオペレーションが可能 file file volume storage - NAS 35
ネットワーク帯域のスケーラビリティ oranfstab にチャネル (local と path のペア ) を追加するだけ ( 最大 4 チャネル ) DB server server: nas01 local: 10.196.24.10 path: 10.196.24.100 local: 10.196.25.11 path: 10.196.25.101 local: 10.196.26.12 path: 10.196.26.102 local: 10.196.27.13 path: 10.196.27.103 channel 1 channel 2 channel 3 channel 4 export: /vol/vol1 mount: /NAS/vol1 oracle dnfs channel /vol/vol1 storage - nas01 load balancing 37
ネットワーク帯域のスケーラビリティ v$dnfs_channels SQL> select a.pnum, b.program, a.svrname, a.path, a.local, a.ch_id from v$dnfs_channels a, v$process b where a.pnum = b.pid; PNUM PROGRAM SVRNAME PATH LOCAL CH_ID ----- ------------------------------ ---------- ------------- ------------ ------ 10 oracle@dbsrv01 (DBW0) nas01 10.196.24.100 10.196.24.10 0 10 oracle@dbsrv01 (DBW0) nas01 10.196.24.100 10.196.24.11 1 10 oracle@dbsrv01 (DBW0) nas01 10.196.24.100 10.196.24.12 2 10 oracle@dbsrv01 (DBW0) nas01 10.196.24.100 10.196.24.13 3 11 oracle@dbsrv01 (LGWR) nas01 10.196.24.100 10.196.24.10 0 11 oracle@dbsrv01 (LGWR) nas01 10.196.24.100 10.196.24.11 1 11 oracle@dbsrv01 (LGWR) nas01 10.196.24.100 10.196.24.12 2 11 oracle@dbsrv01 (LGWR) nas01 10.196.24.100 10.196.24.13 3......... 39
dnfs のまとめ knfs より高いディスク I/O 性能 OLTP キャッシュ ヒット率が低く ディスク I/O が頻発している環境で 大きな効果が期待できる DWH / BATCH 多くのケースで効果が期待できる 特に direct path read が行われる SQL で効果大 簡単な手順で機能を有効化 アプリケーションの書き換えは必要ない ストレージの構成や運用に影響はない 複数イーサネット ポートを使用したネットワーク帯域のスケーラビリティの設定が簡単 40
Direct NFS 活用例 41
dnfs 活用例 DB 統合とストレージ要件 CPU のマルチコア化によって集約密度が向上するか 高密度集約を実現するカギはディスク I/O 性能 10,000 IOPS 10,000 IOPS 5,000 IOPS 3,000 IOPS 2,000 IOPS 7,000 IOPS 3,000 IOPS 統合 40,000 IOPS 複数の OLTP システムを統合した例 42
TPS (Relative Value) ディスク I/O 性能を考慮せずに DB 統合すると 6 instance A instance B instance C instance D 5 4 3 2 1 0 ディスク I/O 性能のボトルネック instance x 1 instance x 2 instance x 3 instance x 4 43
ディスク I/O 性能ボトルネックを改善するには OLTP では ディスク I/O を発生させないのが理想だが 近年 同時に処理するデータ量が飛躍的に増加している 1. セッション数の増加 2. データ量の増加 メモリの追加 (Database Buffer Cache サイズを増加 ) 高密度なDRAMは高価 サーバのスロット数には限りがある 統合環境の場合 割当可能なサイズが減少 メモリ上だけで処理するのが困難 44
ディスク I/O 性能ボトルネックを改善するにはディスク I/O そのものの性能向上させる HDD の追加 設置スペース 重量 消費電力の問題 SSD という選択 SSD はその特性を正しく理解し 賢く使いこなすことが重要 small random read の I/O ワークロードにおいて HDD の 20~30 倍高速 45
例 40,000 IOPS を達成するには small random read の場合 HDD の場合 HDD x 133 SSD であれば SSD x 5 価格性能比 H/W コストは約 1/10 消費電力は約 1/80 46
例 高速なSSD 上に 1TBのデータを配置するには SSD 上に全てのデータを配置するのは高コスト 価格容量比 H/WコストはHDDの10 倍 SSD x 25: 1TB HDD x 7: 1TB SSD(100GB) x 25(RAID1+0) HDD(300GB) x 7(RAID1+0) アクセス頻度の高いデータのみを SSD に配置する 運用に手間がかかる ( アクセス頻度の分析 データの移動 ) 47
Oracle Database のアプローチ SSD をキャッシュとして活用する機能を実装 Database Smart Flash Cache(DB Smart Flash Cache) Oracle Database 11g Release 2 Enterprise Edition の標準機能 Linux と Solaris で使用可能 48
DB Smart Flash Cache cache area 130GB DB instance buffer cache(10gb) buffer cache からキャッシュ アウトされたデータを 自動的に Flash Cache(SSD) にキャッシュする 大規模なキャッシュ領域を安価に確保 アクセス頻度が高く buffer cache にキャッシュされるデータ DB Smart Flash Cache(120GB) SSD サーバ側の PCIe 接続 SSD がオススメ コントローラーのボトルネックやサーバ ~ ストレージ間の通信が必要ない点で有利 storage アクセス頻度は高いが buffer cache 上にキャッシュしきれないデータ 49
DB Smart Flash Cache の効果 SQL 処理時間の内訳イメージ DB buffer cache でキャッシュ ミスした場合でも I/O 待ち時間を大幅に削減 キャッシュ ヒットした場合と同等のレスポンス タイムを実現 DB Smart Flash Cache ディスク I/O 時間 CPU 時間 検索更新検索更新検索更新 cache miss cache hit 50
disk shelf blade shelf blade server blade server 検証環境 Cisco UCS B200 M1 x 2 CPU: 8core - HyperThreading OFF Physical Memory: 96GB Oracle Linux DB client DB instance OLTP app hypervisor - Oracle VM DB buffer cache = 10GB DB Smart Flash Cache = 120GB knfs / dnfs 10GbE L2 switch / FC switch Cisco Nexus 5020 10GbE network NetApp FAS 上の SSD を DB Smart Flash Cache として使用 NFS NFS NAS head database files SSD x 24 HDD x 14 NetApp FAS3270 aggregate RAID-DP aggregate RAID-DP 51
TPS (Relative Value) CPU (%) DB Smart Flash Cache の効果と dnfs との組み合わせ 20 18 16 14 12 10 8 6 4 2 0 TPS - knfs TPS - DBSFC on knfs TPS - DBSFC on dnfs CPU - knfs CPU - DBSFC on knfs CPU - DBSFC on dnfs CPU 使用率 = 約 100% 40,000 IOPS 13X 100 200 300 400 500 600 SESSIONS 100 90 80 70 60 50 40 30 20 10 0 53
disk shelf blade shelf blade server blade server 検証環境 Cisco UCS B200 M1 x 2 Oracle Database の機能 (Instance Casing) で CPU リソースの配分を制御 DB instance DB instance Oracle Linux DB instance DB instance DB client DB client OLTP DB client app DB client hypervisor - Oracle VM DB buffer cache = 10GB DB Smart Flash Cache = 120GB 10GbE network 10GbE L2 switch / FC switch Cisco Nexus 5020 NAS head NetApp FAS3270 NFS SSD x 24 aggregate RAID-DP NFS HDD x 14 aggregate RAID-DP database files database files database files database files 57
TPS (Relative Value) TPS (Relative Value) DB 統合の集約密度を最大化 DB Smart Flash Cache with dnfs: OFF 6 instance A instance B instance C instance D DB Smart Flash Cache with dnfs: ON 6 instance A instance B instance C instance D 5 4 5 4 CPU 使用率 = 100% 3 3 2 ディスク I/O 性能のボトルネック 2 1 1 0 instance x 1 instance x 2 instance x 3 instance x 4 0 instance x 1 instance x 2 instance x 3 instance x 4 58
まとめ DB Smart Flash Cache と dnfs による DB 統合 最小限のコストで最大限の I/O 性能 (IOPS) が得られる機能であり 集約密度を向上させた DB 統合の実現を加速 DB Smart Flash Cache により SSD を効率的に活用 dnfs により H/W リソース ( マルチコア SSD) を最大限活用 これらを実現できるのは Oracle Database だけ 59
Oracle GRID Center / oracletech.jp サイトにて公開中 60
OTN セミナーオンデマンド コンテンツに対するご意見 ご感想を是非お寄せください OTN オンデマンド感想 http://blogs.oracle.com/oracle4engineer/entry/otn_ondemand_questionnaire 上記に簡単なアンケート入力フォームをご用意しております セミナー講師 / 資料作成者にフィードバックし コンテンツのより一層の改善に役立てさせていただきます 是非ご協力をよろしくお願いいたします 61
OTN セミナーオンデマンド日本オラクルのエンジニアが作成したセミナー資料 動画ダウンロードサイト 掲載コンテンツカテゴリ ( 一部抜粋 ) Database 基礎 Database 現場テクニック Database スペシャリストが語る Java WebLogic Server/ アプリケーション グリッド EPM/BI 技術情報サーバーストレージ 100 以上のコンテンツをログイン不要でダウンロードし放題 データベースからハードウェアまで充実のラインナップ 毎月 旬なトピックの新作コンテンツが続々登場 例えばこんな使い方 製品概要を効率的につかむ 基礎を体系的に学ぶ / 学ばせる 時間や場所を選ばず ( オンデマンド ) に受講 スマートフォンで通勤中にも受講可能 毎月チェック! コンテンツ一覧はこちら http://www.oracle.com/technetwork/jp/ondemand/index.html 新作 & おすすめコンテンツ情報はこちら http://oracletech.jp/seminar/recommended/000073.html OTN オンデマンド 62
オラクルエンジニア通信オラクル製品に関わるエンジニアの方のための技術情報サイト 技術資料 インストールガイド 設定チュートリアル etc. 欲しい資料への最短ルート アクセスランキング 他のエンジニアは何を見ているのか? 人気資料のランキングは毎月更新 特集テーマ Pick UP 性能管理やチューニングなど月間テーマを掘り下げて詳細にご説明 技術コラム SQL スクリプト 索引メンテナンス etc. 当たり前の運用 / 機能が見違える!? http://blogs.oracle.com/oracle4engineer/ オラクルエンジニア通信 63
oracletech.jp IT エンジニアの皆様に向けて旬な情報を楽しくお届け 製品 / 技術情報 Oracle Database っていくら? オプション機能も見積れる簡単ツールが大活躍 セミナー 基礎から最新技術までお勧めセミナーで自分にあった学習方法が見つかる スキルアップ ORACLE MASTER! 試験頻出分野の模擬問題と解説を好評連載中 Viva! Developer 全国で活躍しているエンジニアにスポットライト きらりと輝くスキルと視点を盗もう http://oracletech.jp/ oracletech 64
あなたにいちばん近いオラクル Oracle Direct まずはお問合せください Oracle Direct システムの検討 構築から運用まで IT プロジェクト全般の相談窓口としてご支援いたします ステム構成やライセンス / 購入方法などお気軽にお問い合わせ下さい Web 問い合わせフォーム 専用お問い合わせフォームにてご相談内容を承ります http://www.oracle.co.jp/inq_pl/inquiry/quest?rid=28 フリーダイヤル 0120-155-096 フォームの入力にはログインが必要となります こちらから詳細確認のお電話を差し上げる場合がありますので ご登録の連絡先が最新のものになっているかご確認下さい 月曜 ~ 金曜 9:00~12:00 13:00~18:00 ( 祝日および年末年始除く ) 65
67