10000 ESR PRE1 パリティ エラー フォールト ツリー 目 次 概 要 前 提 条 件 要 件 使 用 するコンポーネント 表 記 法 PRE1 ルート プロセッサ パリティ エラー 障 害 ツリー 分 析 PRE1 Parity/ECC 検 出 Cisco 10000 シリーズ ESR ルートプロセッサのパリティ エラーおよび ECC エラー PRE1 高 速 パケットECC 障 害 ツリー 分 析 関 連 情 報 概 要 この 文 書 では さまざまなパリティ エラー メッセージを 確 認 した 場 合 の トラブルシューティング 手 順 および Cisco 10000 シリーズ Edge Services Router(ESR)と Performance Routing Engine(PRE1)のどの 部 分 またはどのコンポーネントで 障 害 が 発 生 しているかを 特 定 する 手 順 について 説 明 します 前 提 条 件 要 件 次 の 項 目 に 関 する 知 識 があることが 推 奨 されます プロセッサ メモリ パリティ エラー(PMPE) トラブルシューティング:ルータのクラッシュ( 英 語 ) 使 用 するコンポーネント このドキュメントの 情 報 は 次 のソフトウェアとハードウェアのバージョンに 基 づくものです Performance Routing Engine (PRE1)を 使 用 する Cisco 10000 シリーズ Edge Services ルータ(ESR) Cisco IOS のすべてのバージョンか ソフトウェア 注 :この 文 書 は Cisco 10720 シリーズ インターネット ルータには 適 用 されません このドキュメントの 情 報 は 特 定 のラボ 環 境 にあるデバイスに 基 づいて 作 成 されたものです このドキュメントで 使 用 するすべ てのデバイスは クリアな(デフォルト) 設 定 で 作 業 を 開 始 しています ネットワークが 稼 働 中 の 場 合 は コマンドが 及 ぼす 潜 在 的 な 影 響 を 十 分 に 理 解 しておく 必 要 があります 表 記 法 ドキュメント 表 記 の 詳 細 は シスコ テクニカル ティップスの 表 記 法 を 参 照 してください PRE1 ルート プロセッサ パリティ エラー 障 害 ツリー 分 析 Cisco 10000 シリーズ ESR PRE1 は 2 つのサーキット カードで 構 成 されています: Route Processor (RP)および Forwarding Processor (FP) カード 次 のフローチャートで Cisco 10000 シリーズ ESR PRE1 のどのコンポーネントが ルート プロセ ッサの Parity/Error Code Correction(ECC)エラー メッセージの 原 因 になっているかが 判 別 できます
注 :キャプチャ し show tech-support 出 力 およびコンソール ログを 記 録 し パリティ/ECC エラー イベントの 間 にすべての crashinfo および pxf_crashinfo ファイルを 集 めて 下 さい PRE1 Parity/ECC 検 出 次 のダイヤグラムは パリティ/ECC エラーが 発 生 した 可 能 性 がある PRE1 RP アーキテクチャの 一 部 を 示 しています PRE1 RP は シングル ビット エラー 修 正 とマルチ ビット エラー 検 出 の ECC を 共 有 メモリ(SDRAM)に 対 して 使 用 します SDRAM のシングルビット エラーは 自 動 的 に 訂 正 され システムは 通 常 通 り 操 作 を 続 行 します SDRAM のマルチビットエラーはキャッシュ エラー 例 外 かバス エラーが 生 じます 致 命 的 な イベントです システム 内 の 他 のメモ リとバスでは シングル ビット パリティ 検 出 が 使 用 されます 上 図 1 と 3 のシングル ビット エラーは 重 大 で ルータがリ セットされます Cisco 10000 シリーズ ESR ルートプロセッサのパリティ エラーおよび ECC エラー 誤 った パリティのデータは PRE1 を 使 用 してのあらゆる read または write オペレーションのための parity-checking デバイ
スの 複 数 ESR Cisco 10000 シリーズ 報 告 することができます PRE 1 をインストールした Cisco 10000 シリーズ ESR 上 で 報 告 されたさまざまな RP エラー メッセージを 次 に 説 明 します GT64120B SDRAMエラー SDRAM 読 み 取 り 中 に GT64120B システム コントローラがマルチビット ECC エラーを 検 出 すると 次 のエラー メッセージが 表 示 されます %ERR-1-GT64120 (PCI-0): Fatal error, Memory parity error (external) GT=0xB4000000, cause=0x0100e283, mask=0x0ed01f00, real_cause=0x00000200 bus_err_high=0x00000000, bus_err_low=0x00000000, addr_decode_err=0x00000470 %ERR-1-FATAL: Fatal error interrupt, reloading RP FPGA status 0x00000004 EPC 0x6084116C Error EPC 0xBFC00C54 BadVA 0xD6E8B233 Status 0x3400FF03 2 回 目 の 障 害 が 発 生 したら SDRAM を 交 換 してください 失 敗 が 続 く 場 合 PRE1 を 取 り 替 えて 下 さい 読 まれる GT64120B システム パリティエラー マスタ PCI ブリッジのどちらかにアクセスする 方 法 マスターリードのパリティ エラーを 引 き 起 こします パリティ エラー メッ セージ 例 を 次 に 示 します %ERR-1-GT64120 (PCI0):Fatal error, Parity error on master read GT=B4000000, cause=0x0110e083, mask=0x0ed01f00, real_cause=0x00100000 Bus_err_high=0x00000000, bus_err_low=0x00000000, addr_decode_err=0x00000470 %ERR-1-SERR: PCI bus system/parity error %ERR-1-FATAL: Fatal error interrupt, No reloading Err_stat=0x81, err_enable=0xff, mgmt_event=0x40 上 記 エラー 検 出 時 は PRE1 を 交 換 してください CPU パリティ エラー CPU パリティエラーメッセージはプロセッサの 外 部 (PRE1 の L3)キャッシュに SysAD バスによってアクセスするとき 検 出 する または CPU 内 部 キャッシュ メモリのどちらかを CPU がパリティ エラー 場 合 報 告 されます(L1 か L2) 各 タイプ のキャッシュ パリティ エラーに 対 して 出 力 されるメッセージ 例 を 表 1 に 示 します 表 1: CPU パリティ エラー の 位 置 パリティ エラーの 発 生 箇 所 L1 命 令 キャッシュ L1 データ キャッシュ L2 命 令 キャッシュ L2 データ キャッシュ L3 命 令 キャッシュ L3 データ キャッシュ エラー メッセージ エラー: Primary, instr cache, fields: デ ータ エラー: Primary, data cache, fields: デ ータ エラー: SysAD, instr cache, fields: デー タ エラー: SysAD, data cache, fields: デー タ エラー: SysAD, instr cache, fields: 1st dword エラー: SysAD, data cache, fields: 1st dword 例 1: 表 1 を 使 用 して Cisco 10000 シリーズ ESR のコンソールに 報 告 されるパリティ エラーの 位 置 を 特 定 してください エラー メッセージの 最 初 の 行 は パリティ エラーの 場 所 を 示 していて 表 1 に 示 されているいずれかの 場 所 になります この 例 では 位 置 は L3 データキャッシュです Error: SysAD, data cache, fields: data, 1st dword Physical addr(21:3) 0x195BE88,
Virtual address is imprecise. Imprecise Data Parity Error Imprecise Data Parity Error 2 度 目 の 障 害 が 発 生 したら PRE1 を 交 換 してください 例 2: エラー メッセージの 最 初 の 行 は パリティ エラーの 場 所 を 示 していて 表 1 に 示 されているいずれかの 場 所 になります この 例 では その 場 所 は L3 命 令 キャッシュです Error: SysAD, instr cache, fields: data, 1st dword Physical addr(21:3) 0x000000, virtual addr 0x6040BF60, vaddr(14:12) 0x3000 virtual address corresponds to main:text, cache word 0 Low Data High Data Par Low Data High Data Par L1 Data: 0:0xAE620068 0x8C830000 0x00 1:0x50400001 0xAC600004 0x01 2:0xAC800000 0x00000000 0x02 3:0x1600000B 0x00000000 0x01 Low Data High Data Par Low Data High Data Par DRAM Data: 0:0xAE620068 0x8C830000 0x00 1:0x50400001 0xAC600004 0x01 2:0xAC800000 0x00000000 0x02 3:0x1600000B 0x00000000 0x01 Example 1: 次 は 2 回 目 の 失 敗 の 後 PRE1 を 取 り 替 えます パリティ エラーによるクラッシュ: Mar 14 10:32:01.029 UTC: %C10K_TOASTER-3-ERROR: TCAM0 has parity error Mar 14 10:32:01.033 UTC: %C10KEVENTMGR-1-MINOR_FAULT: PXF DMA ToasterFault Mar 14 10:32:01.033 UTC: %C10KEVENTMGR-1-MINOR_REOCCURRING: PXF DMAToaster Fault TCAM パリティ エラーは 既 知 MTBF 計 算 に 基 づいて 期 待 されるべきです エラーメッセージは 一 時 ハードウェア 上 の 問 題 単 にです PRE1 高 速 パケットECC 障 害 ツリー 分 析 Forwarding Processor(FP)サーキット カードは PRE1 アセンブリの 最 上 部 にあるボードです FP ボードは Application- Specific Integrated Circuit(ASIC; 特 定 用 途 集 積 回 路 )を 3 基 搭 載 しており その 構 成 はバックプレーン インターフェイス ASIC が 1 基 Parallel Express Forwarding(PXF)ネットワーク 処 理 ASIC が 2 基 です 各 ASIC に 外 部 記 憶 装 置 にアクセス できます 次 の 図 で Cisco 10000 シリーズ ESR PRE1 FP のどのコンポーネントが ECC エラー メッセージの 原 因 になっているかが 判 別 で きます バックプレーン インターフェイス ASIC SDRAM ECC エラー
バックプレーン インターフェイス ASIC SDRAM シングル ビット Error-Correcting Code (ECC) エラー バックプレーン インターフェイス ASIC は ECC 保 護 SDRAM にアクセスしています シングル ビット エラーが 検 出 さ れ 修 正 されたデータが 提 供 されます シングル ビット エラーは 次 のように 報 告 されます %C10KEVENTMGR-1-MINOR_FAULT: PXF DMA Single Bit SDRAM Error %C10KEVENTMGR-1-SBE_DEBUG: Address: 0x01003C00, Who: 0x02, Data With ECC: 0x6E453363 2843ADAC D4 10769E 9773870C, Data w/o ECC: 0x6E453363 2843ADAC D410769E 9773870C シングル ビット エラーがカウントされ show hardware pxf dma counters Cisco IOS ソフトウェア コマンドを 使 用 して 表 示 できます シングル ビット エラーに 通 常 処 理 が 必 要 となりません; ただし 繰 り 返 されるまたはシングル ビット エ ラーの 例 にです PRE1 の 置 換 用 の 原 因 度 々 行 って 下 さい バックプレーン インターフェイス ASIC SDRAM マルチビット ECC エラー バックプレーン インターフェイス ASIC SDRAM マルチビット エラーが 検 出 されると PXF ネットワーク 処 理 マイクロコー ドがリロードされ ブートフラッシュに pxf_crashinfo ファイルも 作 成 されます PXF ネットワーク 処 理 マルチコードの リロードにより バックプレーン インターフェイス ASICが 再 初 期 化 され マルチビット エラーをSDRAM から 効 果 的 に 消 去 します バックプレーン インターフェイス ASIC SDRAM のマルチビット ECC エラーに 対 応 して コンソールに 出 力 される メッセージ 例 を 次 に 示 します %C10KEVENTMGR-1-MAJOR_FAULT: PXF DMA Multi-bit SDRAM Error, Restarting PXF Downloading Microcode: file=system:pxf/c10k-1-ucode.3.1.0, version=3.1.0, description=release Software created Tue 11-Sep-01 19:25 2 度 目 の 障 害 が 発 生 したら PRE1 を 交 換 してください PXF ネットワーク 処 理 ASIC コラム メモリ ECC エラー 2 基 の PXF ネットワーク 処 理 ASIC は ECC で 保 護 された SDRAM コラム メモリ または external Column Memory(XCM)にア クセスしています PXF ネットワーク 処 理 ASIC XCM シングル ビット ECC エラー シングル ビット エラーが 検 出 され 修 正 されたデータが 提 供 されます シングル ビット エラーがカウントされ show hardware pxf xcm コマンドを 使 用 して PXF ネットワーク 処 理 ASIC XCM シングル ビット エラー 数 を 表 示 できます シングル ビット エラー カウンタがラップすると シングル ビット エラーが 報 告 され RP はPXF ネットワーク 処 理 ASIC によって 検 出 された 最 初 のシングル ビット エラーのアドレスを 削 除 します シングル ビット エラーが 報 告 される 場 合 の 報 告 メッセージの 例 を 次 に 示 します %TOASTER-2-FAULT: T0 XCM1 SDRAM-A: ECC Single bit error counter has wrapped 上 記 メッセージ 内 の Toaster(PXF ネットワーク 処 理 ASIC) 番 号 と SDRAM インターフェイスは ラップしたカウンタから のシングル ビット エラーが 検 出 された XCM インターフェイスを 反 映 しています シングル ビット エラー カウンターに 通 常 処 理 がラップします 必 要 となりません; ただし 繰 り 返 されるまたはこれらのエラーの 例 にです PRE1 の 置 換 用 の 原 因 度 々 行 って 下 さい PXF ネットワーク 処 理 ASIC XCM マルチビット ECC エラー XCM マルチビット ECC エラーは 修 正 できません 冗 長 PRE1s のシステムでは XCM マルチビットエラーによりクラッシュ および PRE フェールオーバーを 引 き 起 こします 単 一 PRE1 のシステムでは XCM マルチビットエラーの 検 出 は PXF Network Processing ASIC microcode reload を 強 制 します マイクロコードのリロードにより すべての PXF ネットワー ク 処 理 ASIC XCM メモリが 再 初 期 化 され メモリから ECC マルチビット 障 害 が 効 果 的 に 削 除 されます ログと pxf_crashinfo/crashinfo ファイルには 次 のメッセージが 表 示 されます %TOASTER-2-FAULT: T0 XCM1 SDRAM-A: Multi-bit ECC error %C10KEVENTMGR-1-MAJOR_FAULT: PXF DMA Toaster Fault, Restarting PXF Downloading Microcode: file=system:pxf/c10k-1-ucode.102.3.0.0, version=102.3.0.0, この 場 合 エラー メッセージは Toaster(T0 または T1) 適 切 な XCM 番 号 (1 4) およびマルチビット ECC エラーが 発 生 した SDRAM インターフェイス(A または B)を 表 示 します 2 度 目 の 障 害 が 発 生 したら PRE1 を 交 換 してください 関 連 情 報
トラブルシューティング テクニカルノーツ 1992-2015 Cisco Systems, Inc. All rights reserved. Updated: 2015 年 11 月 26 日 Document ID: 25701 http://www.cisco.com/cisco/web/support/jp/100/1003/1003453_esr10000.html