かなり頻繁な出入りがあるので不貞行為はなんとか認めてもらえるかと思いますが、別居後なので、婚姻関係破綻後の不貞として損害賠償請求が認められない余地もあるのではないかと懸念します。