潘仕成利用了自己的身份和交往，不仅经商盐务，而且承办军火生产、帮办洋务。第一次鸦片战争前后，十三行的那些洋商因中英交战元气大伤，日子并不好过，潘仕成却以承办海防和战船发了财。潘仕成承办军工海防时，自动捐资加制战船，一次就捐助抗英军饷8万两，被赞为“粤省绅士中最为出力之员”。邓廷桢在石门试炮，邀他前往观看。两广总督对修筑虎门海防工程犹豫不决，“恐花数万之资，委于无用之地”，后来求助于潘仕成献策资助，才得竣工，因此十分感佩潘仕成“急公之状”，致书要他“时以策我”。道光二十一年（1841年）2月，英军攻破虎门，广州垂危，时已被革职的林则徐毅然决定出资自雇壮勇以应敌。在林则徐的感召和带动下，广州爱国士绅、商人纷纷捐资雇勇。潘仕成主动代付广益行雇募300名壮勇的雇资。为此，林则徐特致函于他，谓“阁下捐资保卫城垣，洵属义举”，“若广益行所雇之人改由尊处给资，于心不安，理亦不顺，且与别处转不一律，无以对人。兹特将广益退回原银送缴台府，祈为归款。盛意已所深感，幸勿谦让过情，曷胜感祷”云云。潘仕成认为“要制敌则必制其炮，要制其炮必先制其船”，故不惜以每月5000两银子的高薪聘请外籍人士壬雷斯制水雷、造战船、铸火炮，花去6.5万两银子。所制水雷，成为当年攻船利器，还将20枚水雷、400斤火药运往天津大沽口要塞演习。他还编绘了《攻船水雷图说》上奏，得获传旨嘉奖。由于筹防筹饷，潘仕成受到粤地大吏的倚重，多次向朝廷表奏其功。道光帝一再下谕嘉奖：“该道员潘仕成，业经迭次加恩赏戴花翎，并加按察使衔，应如何再加奖励之处，着两广总督酌核具奏，候朕施恩。”不久，据奏议赏加潘仕成布政使衔。清代洋商所能得授最高官衔只能是三品职衔，布政使是从二品职衔，潘仕成因功得衔，地位十分显赫。
朝廷对潘仕成赏赐有加，其后，又下令授以实职。道光二十六年（1846年），先后委以甘肃平庆泾道、广西桂平梧郁道之职，但潘仕成却不想到任，均通过粤督以“督办七省战船未竣”、“帮办洋务”为由奏留广东。翌年，道光帝特旨授潘仕成两广盐运使，他以本籍人为本省盐司“异数”、“非分”为由，固辞不就，改授浙江盐运使，又以“粤东夷务孔棘”为由奏留。除了因“非分”辞去两省盐运使之外，潘仕成还三次辞去委命，不离粤地。
潘仕成在54岁时曾接受公命北上谈判。鸦片战争中签订的中英《南京条约》规定开放广州、上海等五口为通商口岸，英商“应纳进出口货税饷费，均宜秉公议定则例”。次年，中英在虎门签订了《五口通商附粘善后条款》（即《虎门条约》），并附《海关税则》，对出口货物分类定出税率。15年之后，第二次鸦片战争期间的咸丰八年（1858年），清廷在直逼天津的英法联军炮舰威吓下，签订了中英、中法《天津条约》，后又在上海，与英、美、法等国分别签订了《通商章程善后条例》，修改税则，降低税率。潘仕成奉召谈判涉及广州通商之事，可见其作为商界人士在政界之地位。此后，他就“归而养疴里门”，再不复出了。
潘仕成在地方被誉为“轻财好义，地方善举资助弗吝”。一是赈灾济贫。广东地区常有灾情，潘仕成不止一次捐资赈灾，还倡种牛痘，建议官府、亲友推广种牛痘，并为之代购进口种痘洋刀，输送洋痘种。各方人士和受患者均赞其“功德无量”。至于日常故交知己需扶贫济困，或婚丧嫁娶，或缺医少药者，他都乐意慷慨相助。
和许多成功发家的中国商人一样，潘仕成随后大起园楼，修建了自己的奢华庄园海山仙馆。“自道光九年（1829年）至同治五年（1866年）止，前后延续三十七年。”这处园馆筑于广州西门外泮塘，原名荔香园，是为园中遍植荔枝树之故。园门悬匾额“海山仙馆”，并有一副名联“海上名山，仙人旧馆”。联、匾为两广总督耆英所书。故多称此园为“海山仙馆”。园内仿江南园林，建有眉轩、雪阁、小玲珑室、文海楼等，垣绕四周，有游廊曲榭，沿壁遍嵌石刻，皆晋唐以来名迹，当代名流翰墨，令人目不暇接，如游碑廊。
潘仕成在海山仙馆内收藏了不少古玩文物，包括许多宋元版本的古书和汉晋碑帖，其所藏金石、古帖、古籍、古画有“粤东第一”之称。海山仙馆以其浓郁的岭南园林特色和与众不同的文化品位，吸引了许多fēng_liú名士。近人冼玉清谓其“一时墨客骚人，文酒之会，殆无虚日”。
由于潘仕成的特殊身份，海山仙馆不仅成了一处显贵来往、文人酬唱之处，还成了外交场合。潘仕成以绅士、富商身份，协助在粤大员办理夷务外交，参与会见外国使者和谈判活动。海山仙馆成了清朝高级官员一处非正式的接见来自欧美外交使者和商人的场所。琦善会见义律、耆英接见法国驻广州领事拉地蒙冬、美国首任驻华钦差大臣义华业向耆英递交国书的仪式，均在该馆举行。
但是世上没有不散的宴席，官场、商场之争更是激烈莫测。潘仕成既以官绅身份经商，虽善经营，颇多善举，晚年却一再遭遇变故，从此一蹶不振。
“听说他已将在十七甫的故宅以三万八千两银子之价售出，说明其手头不济到了出卖故宅的