首先，资本主义曾经使用过奴隶……例如美国南方的农业资本家、荷兰在东南亚的种植园等……
假定奴隶可以被视为自由劳动力的一个完全替代要素，使用奴隶比使用自由劳动力拥有更高的固定成本，和更低的可变成本……
综合起来看，影响资本家(实际上也可能是每一个生产者)选择蓄奴还是选择雇佣的重要因素如下：
蓄奴的固定成本(包括购买、监督、防止逃跑的成本等，在奴隶制非法的现代还要加上法律成本)有多高
生产过程有多么倾向于劳动密集
全要素生产率有多高
奴隶和自由劳动力本身的劳动生产率各自有多高
在使用自由劳动力进行生产的时候配给给单位自由劳动力的其他成本有多高
假定法律中立：
伴随着生产力的发展，生产过程将会越来越倾向于资本密集而不是劳动密集
伴随着生产力的发展，某一产品的全要素生产率本身在降低(因为在产品本身不变的前提下，单位产品价格越来越便宜)
伴随着教育制度的发展，自由劳动力将会附带越来越多的人力资本
而在从 19 世纪中后期到现在的环境下，配给给自由劳动力的其他成本是相对适中的(其他成本过高还是过低都会导致增强奴隶的吸引力)
这几点都会促使越来越多的资本家转而采用自由劳动力，而不是蓄奴……
在使用奴隶的资本家越少的情况下，剩下来的使用奴隶的资本家就越是能够降低蓄奴的固定成本的资本家(同时也包括某些特定还处在蓄奴利润最大化阶段的行业的资本家);同时，市场上的一部分自由劳动力(主要应是和奴隶具有差不多的人力资本的自由劳动力)也害怕面对奴隶的竞争——则已经不再使用奴隶的大多数资本家和这些自由劳动力将会联合起来，促使法律变动，从而让蓄奴行为变得难以继续……
参考资料：
Rogowski, R. (2013). Slavery: a dual-equilibrium model with some historical examples. Public Choice, 1-21.
姜源
给一个角度完全不同的小补充。
奴隶和自由劳动力的性质差异是一个法律问题。具体来说，奴隶不具有法律意义上的人格，不是法律意义上的“人”，而是法律意义上的“东西”或者“牲口”。再具体点说，奴隶没有参与投票的政治权利，没有通过法律程序缔结婚姻的民事权利，没有以自己名义签署合同的民事权利等等。而自由劳动力在法律意义上，则是一个人，理论上和资本家拥有相同的政治权利和民事权利。
这个差异的本质是抽象的和理论层面的，而不必然是具体的。事实上，大多数人对奴隶制的一个重大误解是，把奴隶想象成美洲种植园里的奴隶。这固然是一种奴隶制的表现，但并不是奴隶的必然属性。比如在古希腊的奴隶制下，许多教师、管家、商人的身份也是奴隶。这些人从事的是当时最有技术含量的工作，可以拥有充分的人身自由和优越的生活条件，一些奴隶甚至可以成为某个小城的首富。这些人的实际生活条件可能远远好于务农的普通公民，唯一的问题在于不具有法律意义上的“人格”。所以，认为奴隶只能从事无创造力的体力劳动，却无法从事高技术含量、需要主观能动性和创造力劳动的观点是不符合真实历史的。关于奴隶制对创造性劳动不利影响的讨论，可以详见回复区中@司马懿的留言。我完全是同意的，我写这个答案只是想说明奴隶制在历史上并不必然和困苦、劳动环境恶劣挂钩。
另外还有一个有趣的话题，就是西欧废奴思想兴起的时间点其实微妙的早于资本主义(当然这取决于对资本主义的定义)，而且肯定显著地早于工业革命。比如美国建国时期对于是否废奴的讨论很难说和资本主义有什么关系。