実施しようとしている作業としては、
「vCenterマシンSSL証明書」について、「VMCA以外の外部CA」で認証された「カスタム証明書」へ入れ替える作業
ということで相違ないでしょうか。
その場合、「VMCA以外の外部CA」で新しい「vCenterマシンSSL証明書」を作成してもらうために、
vSphere Client上から「CSR(証明書署名要求)」を作成し、そのCSRを「VMCA以外の外部CA」で署名し「カスタム証明書」を作成します。
"証明書の置き換え：外部CA証明書に置き換え" 画面では、
"マシンSSL証明書" 欄に「VMCA以外の外部CA」で署名してもらった「カスタム証明書」の内容を入力
"信頼されたルート証明書チェーン" 欄に「VMCA以外の外部CA」の証明書もしくは「VMCA以外の外部CA」を含むチェーン証明書の内容を入力します。
エラーメッセージの内容からすると、"信頼されたルート証明書チェーン" 欄に入力された内容・形式が正しくないかemptyであるように見えました。
状況からは、空欄で入力した。カスタム証明書を作成したCAの証明書ではないものを入力した。証明書形式に誤りがあった。不要な改行などが含まれていた。
CSR作成時に複数回のRetryを施行し、vCenter内部に保管されるPrivate KeyがCSR署名時に使用されたものと異なるものとなった。
などが考えられそうに思えます。
この手の話は、ログからトラブルシュートを行うことよりも、実施の手順を見直し、証明書やCAの形式などにおいて、誤りがないかを確認する手順が効果的だと考えますため、実施しようとしている作業と、実際に作業した詳細の内容を確認させていただけますでしょうか。