質問の例文についてですが、これは”彼が誰かに言われていたこと”が理解できなかったという意味でしょうか? それともTommyさんの回答にあるように、”彼が言ってたこと”が理解できなかったのでしょうか?
もし前者の場合なら、
I couldn’t understand what he was said
が正しいような気がします。指摘されているように日本語では現在形のように言いますが、過去に起こっている事だから、過去形が正しいと思います。
I couldn’t understand what he saidが正しいです (isは不要)。
I couldn’t understand what he is saying. もしくは
I couldn’t understand what he was saying. などでもokです 🙂
念のため補足しますが、「I couldn’t understand what he was said」という英文は間違っています。
I couldn’t understand what he saidもしくはI couldn’t understand what he had saidなどでしたらOKです。