vSANデータストア上の.vsan.stats-1が消せません。

[syuhei murata]

ある日vSANのSkyline Healthで以下の警告が上がりました。

競合データの為削除するよう説明されているが、GUIでは削除する事が出来ません。

SSHでESXiのShellに入って確認すると"ffdf3d67-98a5-4585-a2dc-00e04c6801ad"が存在していません。

[root@opti7080-n3:~] ls /vmfs/volumes/vsanDatastore/ -l

ls: /vmfs/volumes/vsanDatastore/ffdf3d67-98a5-4585-a2dc-00e04c6801ad: No such device or address

total 6144

drwxr-xr-t    1 root     root         73728 Nov 19 13:34 0a713c67-c9d6-6275-c914-00e04c6801ad

drwxr-xr-t    1 root     root         81920 Nov 21 04:18 4d793e67-e630-6afb-3619-00e04c6801c0

drwxr-xr-t    1 root     root         81920 Nov 21 04:31 62e03d67-80a5-2ae8-56f1-00e04c6801ad

drwxr-xr-t    1 root     root         81920 Nov 21 04:19 74e13d67-f22d-b2fb-4ee5-00e04c6801ad

lrwxr-xr-x    1 root     root            36 Nov 21 06:01 Windows2022 -> 74e13d67-f22d-b2fb-4ee5-00e04c6801ad

drwxr-xr-t    1 root     root         86016 Nov 21 03:20 a78f3c67-b888-6ab7-bc61-00e04c6801f5

drwxr-xr-t    1 root     root         77824 Nov 21 04:10 fd783e67-0c12-e5db-eab7-00e04c6801ad

lrwxr-xr-x    1 root     root            36 Nov 21 06:01 vSAN File Service Node (1) -> a78f3c67-b888-6ab7-bc61-00e04c6801f5

lrwxr-xr-x    1 root     root            36 Nov 21 06:01 vSAN File Service Node (4) -> 62e03d67-80a5-2ae8-56f1-00e04c6801ad

lrwxr-xr-x    1 root     root            36 Nov 21 06:01 vSAN File Service Node (7) -> 4d793e67-e630-6afb-3619-00e04c6801c0

vCenterのRVCで確認すると、LISTはされるが存在していない為、削除出来ないとErrorになります。

/localhost/リビング-1F/datastores/vsanDatastore/files> ls

0 74e13d67-f22d-b2fb-4ee5-00e04c6801ad: Windows2022

1 4d793e67-e630-6afb-3619-00e04c6801c0: vSAN File Service Node (7)

2 a78f3c67-b888-6ab7-bc61-00e04c6801f5: vSAN File Service Node (1)

3 fd783e67-0c12-e5db-eab7-00e04c6801ad: .vsan.stats

4 0a713c67-c9d6-6275-c914-00e04c6801ad: .vsan.trace

5 ffdf3d67-98a5-4585-a2dc-00e04c6801ad: .vsan.stats-1

6 62e03d67-80a5-2ae8-56f1-00e04c6801ad: vSAN File Service Node (4)

/localhost/リビング-1F/datastores/vsanDatastore/files> datastore.delete 5

Deleting [vsanDatastore] /ffdf3d67-98a5-4585-a2dc-00e04c6801ad

DeleteDatastoreFile vsanDatastore: FileNotFound: File [vsanDatastore] /ffdf3d67-98a5-4585-a2dc-00e04c6801ad was not found

vCenterの再起動も試したが、状況が変わりません。
これはどの様に解消したら良いでしょうか？

[nkaneda1]

同事象に遭遇したことはないのでJust Ideaですが、ESXiシェルから手動で対象のディレクトリとファイルを作成してから再度RVCやGUIから削除を試みるのはいかがでしょうか？

[gowatana]

こんにちは。

　

Skyline Healthの警告に「Stats DB object conflicts」とあるので、こちらのKBが参考になりそうかなと思いました。
Performance Service の無効化 → 有効化 で解消できるかもしれません。

vSAN Health Service - Performance Service - Stats DB object conflicts check
https://knowledge.broadcom.com/external/article/317847/vsan-health-service-performance-service.html

　

vSAN 8.0 で再度サービスを有効化する手順は、上記のKBだと不明瞭なのですが、
こちらのKBに手順の説明がありました。

vSAN Health Service - Performance Service - Stats master election check
https://knowledge.broadcom.com/external/article/326851/vsan-health-service-performance-service.html

　

以上です。ご参考まで・・・

[syuhei murata]

@nkaneda1 回答ありがとうございます。
結果的には".vsan.stats-1"と言う名前では、フォルダもファイルも作成出来ませんでした。

[root@opti7080-n3:~] ls -l /vmfs/volumes/vsanDatastore/
ls: /vmfs/volumes/vsanDatastore/dcdc3f67-b2d2-5a0f-d96f-00e04c6801c0: Input/output error
ls: /vmfs/volumes/vsanDatastore/7b0a4067-5c60-f054-698a-00e04c6801c0: Input/output error
ls: /vmfs/volumes/vsanDatastore/ffdf3d67-98a5-4585-a2dc-00e04c6801ad: No such device or address
total 4096
drwxr-xr-t    1 root     root         73728 Nov 19 13:34 0a713c67-c9d6-6275-c914-00e04c6801ad
drwxr-xr-t    1 root     root         81920 Nov 22 03:36 74e13d67-f22d-b2fb-4ee5-00e04c6801ad
lrwxr-xr-x    1 root     root            36 Nov 22 04:42 Windows11 -> fada3e67-04a2-cf1c-f76c-00e04c6801ad
lrwxr-xr-x    1 root     root            36 Nov 22 04:42 Windows2022 -> 74e13d67-f22d-b2fb-4ee5-00e04c6801ad
drwxr-xr-t    1 root     root         77824 Nov 22 03:52 fada3e67-04a2-cf1c-f76c-00e04c6801ad
drwxr-xr-t    1 root     root         77824 Nov 21 14:53 fd783e67-0c12-e5db-eab7-00e04c6801ad
[root@opti7080-n3:~] mkdir /vmfs/volumes/vsanDatastore/.vsan.stats-1
mkdir: can't create directory '/vmfs/volumes/vsanDatastore/.vsan.stats-1': No such device or address

@gowatana 回答ありがとうございます。
そのknowledgeは既に拝見していました。
RVCから、vsan.perf.stats_object_delete <cluster>を実行して、パフォーマンスサービスを止める事が出来ました。
その後、コマンドでは起動する事は出来ませんでしたが、GUIから再度有効化する事が出来ました。
結果的には".vsan.stats-2"が増えてしまいました。。。

今回改めて色々試した際に、ESXi側のShellからls -lで確認した際に出ていた以下のErrorが出ているので
ESXiでも何かある事は認識しているが、アクセス出来ないので表示されていない感じですね。

ls: /vmfs/volumes/vsanDatastore/dcdc3f67-b2d2-5a0f-d96f-00e04c6801c0: Input/output error            ←これは不明(過去の遺物？)
ls: /vmfs/volumes/vsanDatastore/7b0a4067-5c60-f054-698a-00e04c6801c0: Input/output error            ←.vsan.stats
ls: /vmfs/volumes/vsanDatastore/ffdf3d67-98a5-4585-a2dc-00e04c6801ad: No such device or address        ←.vsan.stats-1

やはりvSNAを初期化して再構築するしか無いですかね？

[nkaneda1]

完全にJust Ideaでしかありませんが、まだ試していなければvSANクラスタ全体のPowerOff/Onなどはいかがでしょうか？

最終的にvSAN初期化も視野に入れる状況であれば、esxcli vsan debug object list でffdf3d67-98a5-4585-a2dc-00e04c6801adに該当するオブジェクトが存在しているかどうかを確認して、もし存在しているのであればobjtoolなどで削除してみるのもありかもしれません。

[syuhei murata]

@nkaneda1

全体の再起動も実施しました。
vSANサービスの項目からクラスタのシャットダウンを実施後、VCSAも再起動してvSANの起動を行いましたが、状況は変化ありませんでした。