尽管经受过磨难，却难改富家公子的风流本性，先后跟嘉玲、萧芳芳、甄珍等人成为情侣，最后均因感情破裂、分道扬镳。
与甄珍离婚后，谢贤也伤心过一段时间，但狄波拉的出现，让谢贤仿佛找回了初恋时的感觉。
谢贤精心策划了几次路上偶遇狄波拉的戏码，并主动邀请其吃饭。然而，狄波拉对谢贤没有好感，拒绝了好几次。谢贤没有气馁，继续死缠烂打，猛烈追求后，终于拿下了狄波拉。1979年两人举办婚礼，整个香港为之轰动。
事情就发生在两人结婚的第3年，此时，谢霆锋刚刚出生不久，风流成性的谢贤就迷上了赌博。
刚开始，谢贤到赌场只是看看，更多是为了拍摄电影积累经验和寻找灵感，没想到这种财富游戏特别容易上瘾，从此谢贤流连于赌场，一发不可收拾。
短短三年时间，谢贤在澳门赌场输光了所有家产，还欠下1600万赌债，被一群江湖人士讨债追到香港。
梁宏达曾经说过，当年谢贤在香港，也是了不得的一个大人物。
成龙也认为，当时的谢贤就是一段传奇，向华强都要给谢贤几分面子。
有一次，谢贤正跟朋友在家吃饭，突然有几个讨债的江湖人士找到他的家，在楼下把啤酒瓶顺着窗户就丢了进来。
当时邓光荣也在场，看到有人动武，就拿着酒瓶顺着窗户砸了下去。这下把楼下的黑帮份子惹火了，拿着短刀就冲了进来。
邓光荣功夫了得，三拳两脚就把几个黑帮分子打到在地。这次谢贤的运气不错，但更多时候谢贤也只能忍着，被这些江湖人骚扰的不胜其烦。
没钱还债，被不断骚扰，谢贤也没有办法。直到有一次，谢贤去澳门拍电影，被债主的喽啰发现，并把他关了起来。
狄波拉收到谢贤的求救后，赶忙通知了邓光荣。邓光荣只身搭船前往澳门，找到了自己的大哥“刘荣驹”。刘荣驹是“联公社”的大佬，由他出面跟澳门14K周旋会比较容易。最终对方答应放入，但也要求谢贤必须在半年内还清赌债。
释放后谢贤很着急，却想不到任何办法。此时，狄波拉对他说：“我跟赌王何鸿燊有些交情，去找他试试吧？”
谢贤听后，沉默不语。
其实，狄波拉与何鸿燊是老相识，在与谢贤结婚前，两人就有一层说不清道不明的关系。
电影《赌城大亨》中，刘德华饰演的角色就是何鸿燊，而李嘉欣饰演的狄云，所映射的就是狄波拉。
也有传言说，当年狄波拉是奉子成婚，谢霆锋就是何鸿燊的亲生儿子，谢贤只是顶着一个名头，所以才自暴自弃输光了全部家产。
这些可能都是捕风捉影，但狄波拉面见赌王之后，两人确实传出了各种各样的绯闻。在何鸿燊的干预下，谢贤的赌债也被一笔勾销。从此谢贤也戒掉了赌博，跟赌王搭上关系，还建立了深厚的友谊。
何鸿燊去世后，已经离婚的谢贤和狄波拉，还一起去送了赌王最后一程，但背后究竟发生了什么事，还是让人心生揣测。
有人说：“把自己的妻子送到别的男人怀里，肯定是一般男人能干出的事儿！”
不过，即使这是真实的事件，谢贤也不亏。
谢贤一生有不少女人，事情发生后，69岁的谢贤还跟小自己49岁的COCO发生恋情，最终给谢霆锋生了一个小自己36岁的弟弟，这辈子也是稳赚不赔了！