一个网站的 CA 数字证书体系包括两个证书：服务器端证书，客户端证书。
我们平常说某个网站采用了 HTTPS，实际上指的是网站采用了服务器端证书(例如安装部署了 versign 的证书)，此时侯只做到了单向信任(客户端验证服务器端身份的真实性)，并未做到双向信任(服务器信任客户端，客户端信任服务器)。
只采用服务器证书的方式，虽然可以保证通讯链路的安全，但无法保证客户端身份的真实性，因此无法真正意义上保证所谓真实性、完整性、防抵赖、防篡改。例如有一笔交易，假定只依赖于密码体系，用户是可以否认交易是自己发起的。
为了鉴别客户身份的真实性，采用数字证书来进行数字签名是一种有效的方式，但需要额外管理维护成本(例如内部 CA 体系的搭建、客户端数字证书的申请、发放、注销等管理维护需求)。
更具体的内容可以参考一下 PKI 体系及 CA 体系。
回到题主问题，为何国外像 Paypal、Stripe 等只需要服务器端证书即可，并未要求用户申请安装客户端数字证书，我觉得原因有几个：
1、国内恶劣的网络安全环境现实要求
虽然即便采用数字证书、安全控件等手段，也无法规避形形色色的安全问题。
但某种意义上用户对支付平台的信心确实是“比黄金还贵重”。因此第三方支付千方百计地使用包括数字证书在内的各种技术，给用户以安全的感觉，打消使用在线支付的顾虑，这在电子商务初期市场培育时候至关重要，观念和习惯养成后就成为事实上的标准。
另外一方面数字证书作为法律认可的电子签名手段，也可以一定程度上维护第三方支付、银行的利益。
2、第三方支付牌照检测要求
在牌照检测中，强制要求第三方支付必须支持数字证书、安全控件、安全键盘等多重安全措施。
而国外(主要还是欧美)的网络环境相对安全，信用体系也较为完善，违法成本相对较高，持卡人及信用卡商在网络支付的安全顾虑及安全需求不像国内那样强烈，因此也就没必要搞些这些相对复杂、投入较大，但效果不一定明显的措施。