We need to spend much time together は付き合ったら沢山一緒に過ごさなきゃいけないよ、それでもいいの？といったニュアンスにきこえます。
それに対して彼は僕らなら時間を作れるよと言っているわけです。
We need to spend more time together のようにmoreを使えばもっと時間を過ごさないといけないという断りのニュアンスが出てきます。
質問者様が肯定的な答えを出したと彼が受け取った反応だと思います。
全文を見ていないので断定はできませんが…
