各位大大好，我是語言學肥宅，剛好路過討論一下這個問題。
seem動詞的句子在句法上原本的架構是：
_ seem [ he to be rich.]
但在英文的文法規則中，主詞是不可缺少的存在，因此有兩個手段去賦予句子主詞。
第一，用虛主詞，把句子變成 “It seems that he is rich.”
第二，把原先事件的主詞移到前面，變成“He seems to be rich.”
也就是說，seem這個動詞前面的的主詞是「文法上的主詞」，不是「語意上的主詞」。
白話文來講就是，最精確的語意上，“He seems to be rich.”這個句子的意思是：
(說話者認為)「他很有錢」這個事件似乎是正確的
為什麼要說這個呢？
因為這樣我們就會發現：
1. seem的時態跟主詞全無關係，是由說話者的立場來決定。
2. seem的意思是說話者認為某事件有可能性
回到原po最一開始的問題：
He seemed to be rich. → 說話者當時認為 他當時似乎很有錢
He seems to have been rich. → 說話者現在認為 他過去似乎很有錢
至於第二句用完成式的理由，是為了在沒有時態的情況下表達事件的順序性。
最後統整一遍：
1. He seems to be rich. = It seems that he is rich.
→ 說話者現在認為 他現在很有錢
2. He seems to have been rich. = It seems that he was rich.
→說話者現在認為 他過去很有錢
3. He seemed to be rich. = It seemed that he was rich.
→說話者當時認為 他當時很有錢
4. He seemed to have been rich = It seemed that he had been rich.
→說話者當時認為 他在當時的更久以前很有錢
其他類似的用法，包括appear to / be likely to 都可以用這個角度去想。
希望這樣有幫到你。