[转帖]【硬件相关】LSI MegaRAID卡配置管理

硬件,相关,lsi,megaraid,配置管理 · 浏览次数 : 0

小编点评

**硬盘配置信息:** | 属性 | 值 | |---|---| | 类型 | SATA HDD | | 存储空间 | 5.457 TB | | 总逻辑扇区数 | 104 | | 逻辑扇区大小 | 256 KB | | RAID 模式 | RAID5 | | RAID 逻辑分区数量 | 11 | | JBOD 模式 | 开启 | | RAID 重构速率 | 0 | | 存储器外接配置 | 单片 | | 逻辑磁盘管理 | 显示 | | RAID 卡缓存 | 21.830 TBPDs | | RAID 卡类型 | RD-SAS | | SN号 | ZAD1C133 | **逻辑磁盘信息:** | 逻辑扇区 ID | 类型 | 大小 | 属性 | |---|---|---|---| | 0 | RAID6 | 21.830 TBPDs | Emulated PD | Yes | | 1-11 | RAID6 | 21.830 TBPDs | Cachebypass Mode | Cachebypass | **其他设置:** * RAID 重构模式设置为 RWTD。 * 逻辑磁盘管理显示，当前仅显示一个逻辑扇区，其大小为 21.830 TBPDs。

正文

一、前言

官方手册说明：StorCLI Reference Manual
华为服务器操作维护说明：华为V2&V3服务器 RAID控制卡 用户指南 49

目前市面常见的RAID卡主要是LSI MegaRAID和PMC Adaptec，前者使用命令行工具为storcli，后者使用命令行工具为arcconf
示例使用的RAID卡为LSI MegaRAID，基于storcli工具介绍raid卡配置管理实践过程。
注：如不清楚RAID卡类型，可通过lspci |grep -i "raid"查询

二、安装

由于LSI于2013年被Broadcom收购，相关软件下载可从Broadcom官网产品支持页面搜索下载
示例使用Latest StorCLI MR7.20软件版本，压缩包包含了Storcli所支持的所有系统软件包

  • 下载storcli软件包
wget https://docs.broadcom.com/docs-and-downloads/raid-controllers/raid-controllers-common-files/007.2007.0000.0000_Unified_StorCLI.zip
unzip 007.2007.0000.0000_Unified_StorCLI.zip
    • 根据当前使用的操作系统（示例使用CentOS7.6），安装对应软件包
    cd Unified_storcli_all_os/
rpm -ivh Linux/storcli-007.2007.0000.0000-1.noarch.rpm
ln -s /opt/MegaRAID/storcli/storcli64 /usr/bin/storcli
      • 查看storcli版本号
      [root@node127 ~]# storcli -v

        StorCli SAS Customization Utility Ver 007.2007.0000.0000 Feb 11, 2022

(c)Copyright 2022, Broadcom Inc. All Rights Reserved.

        三、部署使用

        1、基础语法

        storcli基础语法为：storcli <[object identifier]> <verb><[adverb | attributes | properties] > <[key=value]></verb>

        • 参数表1（object identifier）
        object identifierdescription
        当参数为空时，该命令为系统命令
        /cx控制器（RAID卡）特定指令（/controller x），当服务器存在多张raid卡时，可通过指定不同控制器ID切换不同raid卡配置
        /cx/vx虚拟磁盘特定指令（/controller x/virtual driver x），可以选择指定控制器下的指定虚拟磁盘
        /cx/ex机箱面板特定指令（/controller x/enclosure x），可以选择指定控制器下的指定机箱面板如36盘位服务通常有两个机箱面板，前面板一根SAS线拖24块盘，后面板一根SAS线拖12块盘
        /cx/ex/sx插槽/物理磁盘特定指令(/controller x/enclosure x/slot x)，可以选择指定控制器下的指定机箱面板的指定磁盘
        /cx/fx外部配置特定指令（/controller x/foreign configuration x），可以选择指定控制器下的指定外部配置如磁盘残留有之前的RAID配置信息，可以选择对应磁盘进行配置清理或者导入操作

        注:x代表数字编号，当x为all时表示所有，如/c0/vall表示控制器0下所有的虚拟磁盘

        • 参数表2（verb）
        verbdescription
        add增加配置，如虚拟磁盘（VD）、热备盘（spare）等
        del删除配置，如虚拟磁盘（VD）、热备盘（spare）等
        set为属性设置特定值
        show查看选定对象所有的属性信息
        start开始一个操作
        pause暂停正在进行的操作
        resume恢复已暂停的操作
        suspend中止正在进行的操作，已中止的操作不能恢复
        compare比较输入值与系统值差异
        flush下刷控制器或者磁盘缓存
        import将外部配置导入到驱动器
        expand扩展虚拟磁盘容量

        2、系统查看命令

        • storcli show help
          查看命令帮助信息

        • storcli show [all]
          该命令显示系统的控制器以及控制器相关摘要信息，包括控制器个数、主机名、操作系统信息和现有配置概述

        [root@node174 ~]# storcli show
Status Code = 0
Status = Success
Description = None

        Number of Controllers = 2
        
Host Name = node174
        
Operating System  = Linux3.10.0-1160.62.1.el7.x86_64
        

        System Overview :
        

        

        Ctl Model                   Ports PDs DGs DNOpt VDs VNOpt BBU  sPR DS  EHS ASOs Hlth
        

        0 AVAGOMegaRAIDSAS9361-8i     8  36   6     0   6     0 Msng On  1&2 Y      3 Opt
        
1 AVAGOMegaRAIDSAS9361-8i     8  36   6     0   6     0 Msng On  1&2 Y      3 Opt

          输出信息对照表

          参数解释
          Ctrl控制器索引，一个编号对应一个RAID卡，编号从0开始
          ModelRAID卡型号
          PDs物理驱动器，表示当前RAID卡连接硬盘个数
          DGs驱动器组，表示当前驱动器组个数，一般与VDs个数一致
          VDs虚拟驱动器，表示当前虚拟驱动器个数

          • storcli /cx show [all]
            查看控制器相关配置信息
            注：x为控制器索引，如需查看第一个控制器配置信息，可执行命令storcli /c0 show；当x为all时表示为所有，如查看所有控制器配置信息，则执行命令storcli /call show

          • storcli /cx/vx show [all]
            查看/指定控制器/指定虚拟驱动器配置信息

          [root@node174 ~]# storcli /c0/vall show
Controller = 0
Status = Success
Description = None

          Virtual Drives :
          

          

          DG/VD TYPE  State Access Consist Cache Cac sCC      Size Name
          

          0/0   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB
          
1/1   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB
          
2/2   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB
          
3/3   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB
          
4/4   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB
          
5/5   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB

            输出信息对照表

            参数解释
            DG/VD磁盘组编号/虚拟驱动器编号
            TYPE虚拟驱动器类型，可选参数为JBOD、RAID0、RAID1、RAID5、RAID6等
            State虚拟驱动器状态，可选参数为Optl(Optimal，表示正常状态)、Dgrd（Degraded，表示降低状态，如虚拟驱动器出现磁盘损坏）
            • storcli /cx/ex/sx show [all]
              查看/指定控制器/指定机箱面板/指定磁盘插槽配置信息
            [root@node174 ~]# storcli /c0/eall/sall show
Controller = 0
Status = Success
Description = Show Drive Information Succeeded.

            Drive Information :
            

            

            EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type
            

            6:1      21 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
            
6:2     104 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
            
10:1    231 Onln   2 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
            
10:2    158 Onln   2 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -

              输出信息对照表

              参数解释
              EID：Slt机箱面板编号:磁盘插槽编号
              State磁盘状态，可选参数为Onln(磁盘上线，即加入RAID组)、Offln(磁盘离线，即脱离RAID组)、JBOD(磁盘直通)、UGood(此状态下可用于创建RAID或热备盘) 、UBad（磁盘存在其他RAID配置，需手动设置为UGood状态）、Rbld(此状态下磁盘处于重建状态)
              DG磁盘组编号，表示哪些磁盘属于同一组RAID
              Size磁盘容量大小
              Intf磁盘接口类型，可选参数为SATA、SAS
              Med磁盘存储介质类型，可选参数为HDD、SSD
              SeSz磁盘扇区大小
              Model磁盘型号

              3、RAID配置

              3.1、处理异常状态

              RAID配置之前，涉及磁盘需还原为初始状态（State为UGood，DG为-）

              • 磁盘State为RAIDx
                手动删除所有的虚拟驱动器：storcli /cx/vx del

              • 磁盘State为Ubad
                手动更改指定磁盘状态为UGood：storcli /cx/ex/sx set good

              storcli /c0/e10/s14 set good

              

              EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type
              

              10:14   233 UGood  F 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
                • 磁盘State为UGood，DG为F
                  手动删除所有磁盘外部配置：storcli /cx/fall del
                storcli /c0/fall del

                

                EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type
                

                10:14   233 UGood  - 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -

                  3.2、配置RAID模式

                  • 手动创建RAID：storcli /cx add vd type=raid[0|1|5|6|10|50|60][Size=,,..|*all][name=,..] drives=e:s|e:s-x|e:s-x,y;e:s-x,y,z
                  storcli /c0 add vd type=raid5  drives=6:11-12,10:1-3
                    3.2.1、逻辑磁盘管理

                    • 显示逻辑磁盘信息：storcli /cx/vx show

                    • 显示更详细的逻辑磁盘信息：storcli /cx/vx show all

                    • 手动删除逻辑磁盘：storcli /cx/vx del

                    • 设置逻辑磁盘写策略：storcli /cx/vx set wrcache=wt/wb/awb
                      注：默认为RWTD模式，参考华为文档：开启RAID卡Cache

                    3.2.2、热备盘管理

                    • 设置磁盘为全局热备盘：storcli /cx/ex/sx add hotsparedrive

                    • 删除某块全局热备盘：storcli /cx/ex/sx del hostsparedrive

                    • 设置磁盘为某个磁盘组的局部热备盘：storcli /cx/ex/sx add hotsparedrive dgs=x

                    • 删除某个磁盘组的某块局部热备盘：storcli /cx/ex/sx del hostsparedrive dgs=x

                    3.3、配置JBOD模式

                    • 开启RAID卡直通功能：storcli /cx set jbod=on
                      查看配置是否设置成功：storcli /c0 show jbod

                    • 手动设置控制器所有磁盘为JBOD模式：storcli /cx/eall/sall set jbod

                    • 取消JBOD模式设置：storcli /cx/eall/sall set good force

                    4、RAID重构

                    • 设置RAID重构速率：storcli /cx set rebuildrate=x
                      注：以百分比为单位，取值范围为0~100

                    • 查看RAID重构速率：storcli /cx show rebuildrate

                    • 查看某块磁盘的重构情况：storcli /cx/ex/sx show rebuild
                      注：当RAID降级，对应RAID组冗余磁盘会启动数据重构操作，可通过storcli /c0/eall/sall show | grep -i Rbld查找处于重构状态磁盘的插槽ID

                    • 暂停某块磁盘的重构任务：storcli /cx/ex/sx pause rebuild

                    5、硬盘定位

                    点亮硬盘定位指示灯：storcli /cx/ex/sx start locate
                    关闭硬盘定位指示灯：storcli /cx/ex/sx stop locate
                    注：执行以上操作，需要先找到磁盘对应插槽位置ID，可通过以下方式查找

                    5.1、RAID模式

                    • 查找磁盘对应scsi_id
                      可通过lsscsi --scsi_id -g查找磁盘对应scsi_id，如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7
                    [root@node174 ~]# lsscsi  --scsi_id -g | grep sda
[0:2:0:0]    disk    AVAGO    MR9361-8i        4.68  /dev/sda   3600062b007a78de229f4c51c4adff9b7  /dev/sg2
                      • 查找scsi_id对应RAID组及所属磁盘列表
                        可通过storcli /call/vall show all查看所有RAID组的SCSI NAA Id，如示例sda磁盘scsi_id为600062b007a78de229f4c51c4adff9b7，所属raid组为/c0/v0，所属磁盘插槽为6:1-6
                      [root@node174 ~]# storcli /call/vall show all 
/c0/v0 :
======

                      

                      DG/VD TYPE  State Access Consist Cache Cac sCC      Size Name
                      

                      0/0   RAID6 Optl  RW     No      RWTD  -   OFF 21.830 TB
                      

                      PDs for VD 0 :
                      

                      

                      EID:Slt DID State DG     Size Intf Med SED PI SeSz Model               Sp Type
                      

                      6:1      21 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
                      
6:2     104 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
                      
6:3      20 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
                      
6:4     123 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
                      
6:5      23 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
                      
6:6      84 Onln   0 5.457 TB SATA HDD N   N  512B ST6000NM0115-1YZ110 U  -
                      

                      VD0 Properties :
                      

                      Strip Size = 256 KB
                      
Number of Blocks = 46879735808
                      
VD has Emulated PD = Yes
                      
Span Depth = 1
                      
Number of Drives Per Span = 6
                      
Write Cache(initial setting) = WriteBack
                      
Disk Cache Policy = Disk's Default
                      
Encryption = None
                      
Data Protection = Disabled
                      
Active Operations = None
                      
Exposed to OS = Yes
                      
Creation Date = 22-04-2022
                      
Creation Time = 01:45:00 AM
                      
Emulation type = default
                      
Cachebypass size = Cachebypass-64k
                      
Cachebypass Mode = Cachebypass Intelligent
                      
Is LD Ready for OS Requests = Yes
                      
SCSI NAA Id = 600062b007a78de229f4c51c4adff9b7

                        5.2、JBOD模式

                        • 查看磁盘对应SN号
                          可通过smartctl -a /dev/sdx | grep -i "Serial Number"查找磁盘对应SN号，如示例磁盘SN号为ZAD1C133
                        [root@node174 ~]# smartctl -a /dev/sda  | grep -i "Serial Number"
Serial Number:    ZAD1C133

                        • 1
                        • 2
                        • 查看SN号对应磁盘插槽ID
                          可通过storcli /call/eall/sall show all | grep -B 2 '{Serial Number}'查找对应SN号所属磁盘插槽ID，如示例磁盘SN号ZAD1C133所属插槽ID为6:3
                        [root@node174 ~]# storcli /call/eall/sall show all | grep -B 2 'ZAD1C133'
Drive /c0/e6/s3 Device attributes :
=================================
SN =             ZAD1C133
                          硬件 相关 lsi megaraid 配置管理

                          与[转帖]【硬件相关】LSI MegaRAID卡配置管理相似的内容：

                          [转帖]【硬件相关】LSI MegaRAID卡配置管理

                          一、前言 官方手册说明：StorCLI Reference Manual 华为服务器操作维护说明：华为V2&V3服务器 RAID控制卡 用户指南 49 目前市面常见的RAID卡主要是LSI MegaRAID和PMC Adaptec，前者使用命令行工具为storcli，后者使用命令行工具为arccon

                          硬件 相关 lsi megaraid
                          0
                          [转帖]【硬件相关】PCIe组件配置说明

                          一、PCIe介绍 1、前言 1.1、PCIe概述 PCI Express（peripheral component interconnect express）是INTEL提出的新一代的总线接口，PCI Express采用了目前业内流行的点对点串行连接，比起PCI以及更早期的计算机总线的共享并行架构，

                          硬件 相关 pcie 组件
                          0
                          [转帖]dmidecode详解

                          跟硬件相关的命令有uname, lspci,/proc目录下的文件等，有时候Linux/Unix系统下获取有关硬件方面的信息，这个时候，就要用到dmidecode, 使用该命令可以查询BIOS、系统、主板、处理器、内存、缓存等非常重要信息。下面是其常用的几个命令: # dmidecode | gre

                          dmidecode 详解
                          0
                          [转帖]软中断

                          https://www.jianshu.com/p/78f9dcd2a4b6 软中断：为了处理中断处理程序执行过长和中断丢失的问题，linux将中断处理过程分成两个阶段，也就是上半部和下半部： 上半部：用来快速处理中断，它在中断禁止模式下运行，主要处理跟硬件紧密相关的或跟时间敏感的工作，直接处理硬件

                          中断
                          0
                          【转帖】linux 调优篇 ：硬件调优（BIOS配置）* 壹

                          一. 设置内存刷新频率为Auto二. 开启NUMA三. 设置Stream Write Mode四. 开启CPU预取配置五. 开启SRIOV六. 开启SMMU 通过在BIOS中设置一些高级选项，可以有效提升虚拟化平台性能。表1列出了TaiShan服务器和性能相关的BIOS推荐配置项。 表1 BIOS性

                          linux 硬件 bios 配置
                          0
                          [转帖]TDP是散热设计功耗，那么SDP、ACP、GCP、TBP是什么意思？

                          http://www.lotpc.com/yjzs/8802.html 我们在选购硬件的时候，尤其是CPU或者显卡，可能会在相关参数中查看一下TDP功耗，虽然它不是硬件真正的功耗指标，但是我们在选购电源的时候，往往可以作为参考。TDP是散热设计功耗，那么SDP、ACP、GCP、TBP是什么意思？下面

                          tdp 散热 设计 功耗
                          0
                          [转帖]Intel关NUMA的内存编址

                          https://zhuanlan.zhihu.com/p/454928730 最近在做某国产化平台相关的适配, 不管NUMA的性能和实现方式都和Intel有较大不同, 作为比较对象, 理解Intel的NUMA实现是很有必要的. 虽然从软件角度, 打开NUMA会带来额外的复杂度, 但是从硬件角度, 关

                          intel numa 内存 编址
                          0
                          [转帖]MinIO系列7 - Minio性能压测

                          https://www.zhihu.com/people/keen-wang 前言 声明：此文为本人历史笔记的整理，文章实际撰写时间为2021年2月份，所以本中所使用的相关组件版本较老。此文是通过压力测试以理解MinIO在当前硬件条件下能提供的性能，以及相关的资源消耗情况。转载请注明出处，谢谢! 前

                          minio 系列 性能
                          0
                          [转帖]通过硬件计数器，将性能提升3倍之旅

                          https://www.cnblogs.com/charlieroro/p/16880090.html 翻译自：Seeing through hardware counters: a journey to threefold performance increase 本文通过对CPU层面的代码挖掘，

                          通过 硬件 计数器 性能
                          0
                          [转帖]Linux查看硬件信息超强命令sar，以及可视化工具ksar

                          https://juejin.cn/post/6947470401135968286 一、概述 sar（System Activity Reporter，系统活动情况报告）是Linux下系统运行状态统计工具，可从多方面对系统的活动进行报告，包括：文件的读写情况、系统调用的使用情况、磁盘I/O、CPU

                          linux 查看 硬件 信息
                          0
                          # 热门排行
                          微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战 一篇带你了解如何使用纯前端类Excel表格构建现金流量表 手把手教你玩转 Excel 数据透视表 为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线 提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化 用Echarts实现前端表格引用从属关系可视化
                          © PmDaddy. 2023 PmDaddy教程网 All rights reserved.