① no one knew what the problem was
② no one knew what was the problem
どちらも成立します。
① は疑問詞節の主語が problem で what は補語
② は疑問詞節の主語 (主格) が what で problem が補語
よい質問です。
文中に直接疑問文 [What was the problem?] を含んでいる間接疑問文です。
what は関係詞ではなく疑問詞です。疑問詞節の主語と動詞の位置が入れ替わるのでご注意下さい。
意味は「但し問題が何なのか誰にも分からなかった」
参考書を見たら
I don’t know who broke the window.
のように、主語が疑問詞になっている疑問文はそのままの形で間接疑問文として用いられると書いてありました。
What was the problem
も同じ形のように感じますが、違うのでしょうか。