怎么办现男友的弟弟是我前男友

我是离婚多年的女人，前不久在网上认识了一位同样是离婚的男士。从网络聊天到后来的见面相识，我们都觉得彼此挺不错的，我们相见后更是觉得对方都很合眼缘，相处起来也很默契，彼此对对方都很满意，于是就继续发展交往下去。

由于平时要工作，我们也是到了周末才会相聚相处在一起。随着交往的时间久了，渐渐地，他就开始谈及到他家中和兄弟姐妹的事情。可当他说到他弟弟的名字和工作单位时，我一下子懵了，接着心里开始惊慌一片，因为原来他弟弟是我多年前的婚前男友，那时我们交往了半年并且发生了关系。

那个时候，我们的恋情并没有公开，但我和他弟交往的事他妈和姐是隐约知道的。后来因为我和他弟弟年龄的差距、也存在其它的原因，而且双方的家长都反对我们相好，所以我和他弟分手了。

如今事情也过去多年了，我也早已淡忘了，可现在突然经他提起，又让我记忆起这前尘往事，我真是不能不感叹一句，世界真是太小了，遇上谁不好，偏偏要遇上不该遇上的人。

现在我和离婚男就在同一城市，而我知道他们是一家人后，真的感到很难堪!但我一直都没有将这件事告诉他，我也找借口推掉了他好几次邀请我与他同去见家长的机会。因为我真的不想破坏现在我们在一起快乐的时光，也不想失去一个我认为可以依靠的可靠男人。我该如何是好?找个理由说不合适然后离去?或告诉他事情的真相?