Brocade Fibre Channel Networking Community

Expand all | Collapse all

we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

  • 1.  we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

    Posted 08-10-2018 03:27 AM

    In our SAN infra we have Brocade 5300 and Brocade 5100 model both are connected throgh 16 Gbps ISL links. From last one year we started getting multiple dsik c3 errors and ISL bottleneck error.

     

    There are no hardware issues reported we have already verified with vendor.

     

    To fix this issue we have tried the following options but noluck.

     

    1)Increase the ISL bandwidth from 16 Gbps to 32 Gbps

    2)Add ISL trunking license to balence the workload on ISL links

    3)Distrubute the storage connections equally between both switches in the fabric to reduse the work load on ISL trunk.

    4)Perform the firmware upgrade from  version7.0. to 7.3.1e

     

    However the issue is still not resolved. Please suggest how to find the slowdrain devices in fabric and where the buffer credits are getting blocked ?

     

     


    #BrocadeFibreChannelNetworkingCommunity


  • 2.  Re: we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

    Posted 08-10-2018 03:33 AM

    @suresh.kakarla

     

    in most case, such c3 error are caused physically due defective cable or SFP

     

    did you try to replace or test another port ?


    #BrocadeFibreChannelNetworkingCommunity


  • 3.  Re: we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

    Posted 08-10-2018 03:42 AM

    yes,we have also tried port swapping and cable replacemnt but no luck.

    These errors are geeting repeated on 4-ports whihc are part of ISL trunking only one switch other switch we dont find any errors.


    #BrocadeFibreChannelNetworkingCommunity


  • 4.  Re: we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

    Posted 08-10-2018 03:59 AM

    @suresh.kakarla

     

    when you say tried port swapping, did you do that on both switch side ?

     

    did you check / compare port config parameters with the other ports switches ?


    #BrocadeFibreChannelNetworkingCommunity


  • 5.  Re: we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

    Posted 08-10-2018 05:03 AM

    @Antonio,

     

    yes, the portswapping is done for both switches as this is ISL link .

    please find the current switch port configuration details below. except port speed all other parameters are same .

    we have change the port speed to fixed 8 Gbps for testing but the errors still repeated.

     

    fswitch_11:admin> portcfgshow

    Ports of Slot 0         0   1   2   3     4   5   6   7     8   9  10  11    12  13  14  15
    ----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
    Speed                  4G  4G  AN  AN    8G  8G  8G  8G    AN  AN  AN  AN    AN  AN  AN  AN
    Fill Word(On Active)    3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    Fill Word(Current)      3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Trunk Port             ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
    Locked G_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Disabled E_Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked E_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Persistent Disable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    NPIV PP Limit          255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
    NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Eport Credits          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
    SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

    Ports of Slot 0        16  17  18  19    20  21  22  23    24  25  26  27    28  29  30  31
    ----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
    Speed                  4G  AN  AN  4G    4G  4G  4G  4G    AN  2G  AN  M8    M8  4G  AN  M8
    Fill Word(On Active)    3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    Fill Word(Current)      3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Trunk Port             ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
    Locked G_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ON  ..  ..  ..
    Disabled E_Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked E_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Persistent Disable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    NPIV PP Limit          255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
    NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Eport Credits          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
    SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

    Ports of Slot 0        32  33  34  35    36  37  38  39    40  41  42  43    44  45  46  47
    ----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
    Speed                  AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
    Fill Word(On Active)    3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    Fill Word(Current)      3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Trunk Port             ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
    Locked G_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Disabled E_Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked E_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Persistent Disable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    NPIV PP Limit          255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
    NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Eport Credits          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
    SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

    Ports of Slot 0        48  49  50  51    52  53  54  55    56  57  58  59    60  61  62  63
    ----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
    Speed                  AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
    Fill Word(On Active)    3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    Fill Word(Current)      3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Trunk Port             ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
    Locked G_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Disabled E_Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked E_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Persistent Disable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    NPIV PP Limit          255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
    NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Eport Credits          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
    SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..

    Ports of Slot 0        64  65  66  67    68  69  70  71    72  73  74  75    76  77  78  79
    ----------------------+---+---+---+---+-----+---+---+---+-----+---+---+---+-----+---+---+---
    Speed                  AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN    AN  AN  AN  AN
    Fill Word(On Active)    3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    Fill Word(Current)      3   3   3   3     3   3   3   3     3   3   3   3     3   3   3   3
    AL_PA Offset 13        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Trunk Port             ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Long Distance          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    VC Link Init           ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked L_Port           -   -   -   -     -   -   -   -     -   -   -   -     -   -   -   -
    Locked G_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Disabled E_Port        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Locked E_Port          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    ISL R_RDY Mode         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    RSCN Suppressed        ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Persistent Disable     ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    LOS TOV enable         ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    NPIV capability        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    NPIV PP Limit          255 255 255 255   255 255 255 255   255 255 255 255   255 255 255 255
    NPIV FLOGI Logout      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    QOS Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    EX Port                ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Mirror Port            ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Rate Limit             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Credit Recovery        ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON    ON  ON  ON  ON
    Fport Buffers          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Eport Credits          ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Port Auto Disable      ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    CSCTL mode             ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
    Fault Delay             0   0   0   0     0   0   0   0     0   0   0   0     0   0   0   0
    SIM Port               ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..    ..  ..  ..  ..
                      where AE:QoSAutoEnable, AN:AutoNegotiate, ..:OFF, -:NotApplicable, ??:INVALID

    fswitch_11:admin> trunkshow
      1:  4->  4 10:00:00:05:1e:7d:38:7e   9 deskew 15 MASTER
          5->  5 10:00:00:05:1e:7d:38:7e   9 deskew 15
          6->  6 10:00:00:05:1e:7d:38:7e   9 deskew 15
          7->  7 10:00:00:05:1e:7d:38:7e   9 deskew 15

     


    #BrocadeFibreChannelNetworkingCommunity


  • 6.  Re: we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

    Posted 08-10-2018 06:26 AM
    Hello,

    do you see any C3 RX/TX timeout errors in your fabric ?
    #BrocadeFibreChannelNetworkingCommunity


  • 7.  Re: we are getting multiple disk c3 errors on ISL trunk and ISL bottleneck errors on Brocade 5300 model.

    Posted 08-10-2018 09:07 AM

    Generally, C3 errors on the ISL ports are a result of a device on one of of the switches unable to keep up with traffic. Xmit C3 discards errors on ISL usually point to a device on the remote switch.

     


    #BrocadeFibreChannelNetworkingCommunity