他从小到大就不太爱搭理人，尤其是女生，觉得沾染上了，会惹来很多麻烦。
所以他对女生的态度都很冷淡，甚至为了摆脱那些女孩们对他的骚扰，他会对她们恶言相向。
还在读书的时候，他就说哭吓跑了一大堆对他心生爱慕的女孩。
比如有自称是校花的女孩来向他告白，他会说：“长得比我还丑，你这校花该不会是花钱买来的吧？”
于是，校花被他气哭了。
再长大点，他跳级上了大学，有女同学向他表白。
他说：“你年纪都这么老了，怎么还好意思说喜欢我？不觉得害臊吗？想老牛吃嫩草？”
女同学被他说得无地自容，也被气跑了。
年长的不行，那比他年龄小的总该可以了吧。
结果，这家伙说：“我都快博士生毕业了，你却还在念初中。智商不够用就好好学习多补补脑，别整天想着追男人。脑残也便罢了，还花痴。”
那女孩都已经被她说哭了，偏生这家伙不知道自己这些话对人家女孩子的伤害有多大，还在那沉着脸继续数落人女孩：
“你爸妈要是知道了，估计寿命都被你气得减少二十年！对了，这么一说来，你还不孝……所以你说说看，你这么一个长得巨丑、脑残、花痴，还不孝的人，我要来干嘛？”
于是，比他年幼的女孩子也被他吓跑了。
鉴于顾聿衡对女生的态度实在不好，而且还劣迹斑斑，久而久之，他厌恶女性的谣言便这么流传出来了。
甚至有一回，一位老奶奶突发心脏病晕倒路边，顾聿衡刚好路过发现，谴人将其送去医院，也能被人传成：
一个年轻貌美的女子，因为想搭讪顾三爷，结果被顾三爷开车直接撞死了！当场死亡！救护车都没叫，直接喊了殡仪馆的白事服务车过去收拾残局的。超惨！
年轻貌美的老奶奶：你们这帮孙子，你们的祖宗我还活得好好的呢！咒谁死呢你们？不肖子孙！
也不怪大家误会，实在是事情太过巧合。因为当时刚好有一辆殡仪馆的车路过。
于是，就这样，顾聿衡这个名字，成了女人们又爱又恨的三个字。