因为霍大亨的成功，人们不得不承认他创造性的经营方，。在六十年代就让他当上了香港房地产建筑商会会长，会内有会员300名，拥有香港70的建筑生意。所以有人把霍大亨称为香港的“土地爷”
不过因为因为霍大亨和内地关系默契，据说霍大亨当年抗美援朝时，偷运了不少物资给内地，结果就导致了英美政府的不满。
所以在六十年代霍大亨受到了英资和港英政府的打击。
比如在著名的星光行事件中，美国驻香港代表宣布，任何商业大厦的租户，都不允许购进美国货。而港英政府更利用权力给霍大亨手里的地产项目断水、断电，着意“封杀”霍大亨的发展空间。
对于英美政府的紧逼，住1967年之後的霍大亨，不得以改变自己的投资策略，以退为攻，步步为营，并逐渐淡出香港的地产市场。甚至退出了一些码头建设的项目。
在香港回归以后，熟悉当时情况的人都说如果不是港英打压，仅仅海军船坞、星光行、货柜码头，三大项目，霍大亨就是今天香港当之无愧的“地王”、“码头大王”、“香港首富”。