问题很复杂，我的理解也很粗浅，放出来做点参考。
主要是讲讲众议院内部的一些变化。因为众议院是两年一选，选区小，竞争频繁，所以矛盾暴露的比较早比较突出。
首先一点需是，两极分化是什么时候出现的?
取最近 PLOS ONE 的一篇文章，PLOS ONE: The Rise of Partisanship and Super-Cooperators in the U.S. House of Representatives
图 2:
上图为 1949 - 2011 年间每一任众议院的投票支持情况。其中每个议员是一个点，红点共和党，蓝点民主党。先计算党内两议员的投票一致率，取平均值。然后每两名议员如果一致率超过平均值，就连上线，一致率越高，连线越粗。然后用 linear-attraction linear-repulsion model with Barnes Hut optimization 画成。
(此文章中还有党内党间一致率的分布图，有兴趣者可点入查看)
可以看到，现在两党的两极化趋势初现，在 1983 年国会和 1985 年国会，也就是里根执政时期，到克林顿时间完成了这个转变。之前也有两极性的时刻，但都有大量对方议员叛变，或己方的关系不够紧致。
下面是一些想到的解释。
大致有三个方面。
首先是选民方面，就是美国两党在 1969 年到 1994 年期间完成了一次重要的 realignment。
核心当然是南方问题。因为南北战争的问题，1876 年重建结束后，民主党把南方都统一了。其实南方各州内部矛盾不亚于北方各州，但是南方政客用一个简单的问题把大家联合起来，就是南方的种族问题应该由南方人自己解决，共和党滚蛋。南方跟民主党达成共识，南方在大选中支持民主党，换取民主党对南方内部问题，就是种族问题，的放任自流。
南方的选举人票数是获得总统大选胜利所需人票的一半左右，这让它可以对民主党候选人施加巨大的压力。对于共和党来说，无法获得哪怕一张南方的人票就逼着它必须赢得剩下的州里的 70% 以上。共和党的做法是放弃了南方，只主攻北方和西部。结果是共和党无需南方，依然统治了美国政坛几十年。
结果就是随着美国的发展，其实南方很多人的思路已越来越保守，比如原教旨主义，比如反对强力的联邦政府，支持自由经济等等。有些已经和共和党的思路接近。但在另一些问题上，和民主党走得依然很近，比如社会保障体系(当然是只为白人的)。
先引我在另一个回答中的一段(美国的联邦法律是如何产生的? - talich 的回答)：
虽然在大萧条后的大部分时间里，民主党控制了国会，北方自由派的议员在很多时候无法在议会中推进自己的立法主张。因为在关系到这些改革问题的立法上，国会中呈现的往往不是以党派划分的格局，而更多的是由政治理念划分的格局：由南方保守派的民主党人和共和党人组成的保守同盟，数量常常大大超过了自由派同盟。而被保守派把持的规则委员会，根本不会让大部分改革立法进入议程。虽然在新政期间，自由派一度取得先机，但在 1930 年代末，保守派同盟就恢复了元气，并在大量的议案中和自由派对抗。从 1939 年到 1960 年，众议院的保守派同盟一共和自由派交手了 334 次，胜出 297 次，胜率接近九成。
这是 1959 年 86 届国会里保守派同盟与自由派的对比：
但到 1980 年代，南方开始投向共和党，同时，东北方的温和派共和党人越来越少，让共和党内部开始纯化。
整个过程的推手，大约有几点。这个在另一个问题中提过(亚伯拉罕·林肯(Abraham Lincoln)为什么是既是共和党人，又反对蓄奴并有实质作为? - talich 的回答)，这里再讲一些。
一个是，南方城市化建设完成。
这是南方和其他地区的农村人口比例：
到 1980 年代，南方和其他地区的差别已经消失，到 1990 年代甚至还低。
第二是，因为空调的出现，南方的宜居程度提高
这是空调普及率：
嗯，不用在没空调的场馆里打球了，全国联赛成为可能。
这个带来的，是不少北方人前往南方定居。
这是 1960 - 2000 年美国人口变化(取自 Demographic history of the United States：)
可见人口增长最快的是中西部与东南部，深南一般，中北方增长缓慢。
外来人口的出现，打破了南方民主党一党独大的现像。因为以前南方只有民主党，所以民主党初选就等于大选。有经验有影响力的政客都是民主党人，任何新人从政，都只有参加民主党一条路才能入门。
但是北方人带来的共和党，让南方人有了第二选择。
第一个共和党的南方议员，就是从佛罗里达州的北方人养老城 St Petersburg 诞生的。
这些变化的表现，可以从议员出身里看出来。1965 年，几乎所有南方议员都是本州土生土长的，是典型的农村政治，而北方则有 1/3 是外州出生，是城市化后人口流动性提高的表现。到 1994 年，南方的新议员里 2/3 是外州出生，总议员里是 1/3 (北方则是 40%)。
共和党的出现，最终让民主党内的少数派保守的南方议员得以叛变：
属于保守派的迪克西党人自 1970 年代起开始下降，民主党内部也开始趋同，从 1983 到 1994 年，南方民主党人的政治觉语是直线逼近其他地区：
这是 1994 年以后关于民众的民调(取自 Political Polarization in the American Public)
2014 年中期选举，路易斯安娜的民主党参议员 Mary Landeau 惨败，基本上可以视为最后的南方民主党痕迹已消失。
总之，在这期间，党派格局开始和政治理念变得一致，这让两极化成为可能。
第二个方面，党派内部的政治理念趋同后，为什么要在国会里以如此激烈又一事无成的强对抗形式表现出来。
这得了解一下众议院里权力机制的演变。
美国众议院人多，没有人能认识所有人，了解所有人的想法，所以众议院的政治权力关系就更制度化，才能保证其正常运作。众议院里对权力的争夺，大约可以分成从专制到民主的三种势力。一种是以发言人(党派领袖)的绝对中心;一种是分在各委员会，以委员会主席为首的对某一具体议题有大权的一小撮权重者;一种则是议员组成的党团会议(caucus)，相当于党内派系，以集体的力量出现。
十九世纪的众议院人数相对少的时候，是发言人独大时代。但是到 20 世纪初，众议院已接近现在的规模，发言人的权力就被视为过大。经过一番斗争，委员会主席的地位上升了许多。
委员会主席的任命是按资历规则(Seniority rule)来的，当议员越久，担任的职位越重要。这种论资排辈的规则当然不能说有多合理。不过这里不说这个，只说影响。
资历规则的结果，就是最安全的选区的议员，因为能稳稳获得连任，所以就能挣得资历，也就能获得最重要的委员会资格。因为选区的位置稳，所以这些议员，会被送去最重要，争夺最激烈，对抗最强的委员会。因为在战斗中不免做出妥协，妥协就可能要牺牲选票。选区稳的人就不怕妥协。民主党最稳的选区，都来自南方，所以南方议员中手握大权的人多，同时因为理念差别与共和党保守派不那么大，也可以做出妥协。
而反过来，那些新进议员，往往都是从竞争激烈的选区，以更新更激进的主张，战胜对手进来的，但是他们就没有什么发言权，只能熬日子。如果没熬到就被选下去了，也就什么也没有了。
到了 1950 年代，民主党里的以年青议员为主的自由派 Democratic Study Group (DSG)这个党团会议出现了。这个派系等于是把国会里本党的弱势群体，就是激进左派，给团结了起来，通过互通有无，共同学习政策，统一立场和策略，来加强新议员的影响力。
为了推进自己的主张，DSG 从 1960 年代开始，推动国会进行了一系列改革，消弱委员会主席的影响力。
1970 年的 Legislative Reorganization Act 加强了对委员会主席的监督，以防滥用职权。1973 年的 Subcommittee Bill of Rights，加强了大委员会下的子委员会的权力。1975 年，民主党议员更是历史性的通过选举方式，罢免了三个委员会主席(全是南方议员)，资历规则算是名存实亡。
此消彼长，委员会主席弱势的结果，就是发言人和党团会议的力量在加强。
1980 年代，就是这样一个背景下，新一代的南方议员登场了。
其中最典型的，就是 Newt Gingrich (金里奇)。金里奇就属于那种北方人南下的产物，因为他是宾州人，17 岁随家移民南方。
作为新议员，金里奇意识到了，整个议会里传统委员会主席的弱势，开始不守老规矩，选择以一种对抗性的战斗方式出场，为自己这些新议员造势。1983 年他成立了自己的新进保守派党团会议，叫 Conservative Opportunity Society。他们经常钻孔子，选择让你不舒服又没错的方式来为自己做宣传。
比如，议会辩论分两种，一个是就议案讨论，一个是非议题内容的发言。
Gingrich 发现转播议会辩论的 C-Span 电视台其实对这两种讨论都一视同仁，在转播上并无区别(其实，是 C-Span 要转，但依协议用得是国会自己提供的影像，而国会就简单的挂了个死摄像头)。不久，他就带了几个心气比较高的共和党议员，在非议题时段，在台上慷慨激昂的发表意见，抨击民主党国会的种种问题，大呼改革。
这事让国会发言人 Tip O'Neill 大为光火。他下令，让摄像头不再按与 C-Span 的协定只拍摄发言的议员，而是也时不时的给一个国会的场内全景，以让观众意识要，在这些非正式议题时间，其是金里奇们是对着空无一人的国会在演讲。
金里奇的努力，得到了里根的肯定，在国情咨文里，里根特别提到了 Conservative Opportunity Society。
不久 O'Neill 走人，新议长 Wright 对金里奇的这种方法选择了正面对抗。不过这只是让 Wright 显得自己很专横无理。
在 1987 年著名的“黑色星期四”中，为了让修改的议案在同一天被重新投票，Wright 宣布国会停会关门，再马上重开，把一天生生掰成了两半，最后为了把议案通过，又逼着一名议员改了票。
结果 1988 年金里奇带领共和党议院指控 Wright 的操守不端，1989 年 Wright 下台。
吃到了甜头的共和党，把金里奇选成党鞭，以替代去了白宫的切尼。算是对他带来的这种对抗性战术的肯定。共和党的策略全面右转，攻击性升级。
1991 年，著名的，也是共和党内最强力的保守派党团会议，Republic Study Committee (RSC)，成立了。注意这个名字，其实是模仿民主党当年的 Democratic Study Group，就是想的要像当年的 DSG 一样，以超过委员会的力量来推进众议院改革，和议长抗衡，打破黑箱操作，寻找一个对新议员更公平开放的环境。只不过二者在理念上一个极左，一个极右。
到 1994 年中期选举时，金里奇发起了著名的“Contract for America”战役，承诺把开放，公平，与负责带回国会。共和党大胜，金里奇招募的很多人都竞选成功，几十年后共和党重新拿回众议院，金里奇自己也选成了国会发言人。
这时候，金里奇等于是从群众升级到了元首，他就需要面对一个如何平衡他曾指责过的独掌大权的议长权力，共同战斗为自己带来辉煌的党团会议，二者之间的力量。
金里奇开始改革。他重新赋予了委员会主席相当的权力，但同时，又限制了委员会主席的年限为六年。他搞小政府，大幅度的消减了国会的员工数量。他甚至决定，他所担任的发言人职位将设年限为八年。
这下问题来了。表面上，金里奇是在兑现小政府的承诺，但是作为发言人的直接权力没有消减，而且，在推进议题时，幕后交易，选区分肥这些被人诟病的现像依然在那里，党团会议则因为相关员工被裁受到重挫。(同时，因为大量的国会雇员被扫地出门，选择流落 K 街，美国的说客公司在此时得到了大发展，可参见我的另一个回答：lobby 其实是一个职业还是说是属于什么性质的东西，感觉美国好像很多方面都需要 lobby 的存在? - talich 的回答)
保守派议客坐不住了，他们觉得金里奇是想过河拆桥，独享大权，借改革消弱党团会议的权力。他们在后面，又悄悄的把 RSC 给恢复了。
那一边呢，金里奇用实际行动证明了对抗性的战术对于个人，是不成功则成仁的高风险玩法。经过两个政府停摆，一次弹劾失败后，共和党在 1998 年中期选举经历了 64 年来最大的失利：丢了六个席位，金里奇下台。
金里奇的改革也就不了了之。金里奇设置的年限，让众议院的运作变得极不稳定，八年任期最终在 2003 年被取消，主席年限也理论上可续了。
这之后上台的发言人，是老好人 Dennis Hastert。对，就是这两天被起诉的 Hastert。他是史上任期最长的共和党发言人，当了八年。他的理念就是，只有本党大部分人支持的法案，才去推动。
没错，到这时候，不管是发言人还是委员会主席，他们的实权都被大幅度的消减了，而党团会议的影响力，则借机大大加强了。其中实力最强的，就是 RSC：
上界国会里，73% 的共和党众议员都属于这个 RSC，可见其实力。如果 RSC 决定反对或要求某个政策，就是议长或某些老资历的议员无法左右的了。
所以说，上个世纪，美国众议院大约是经历了一个从发言人一人当权，到几个委员会主席和发言人的两级结构，到议员内部直选各级领袖的一个民主化的过程。这一直接民主化最终把在竞选中的对抗延续到众议院里。
因为党团会议，尤其是 RSC 的强势，结果就是，在推选委员会主席时，资历就被彻底抛弃，取而代之的是议员各自的直接利益：是否支持自己的理念，筹款的能力，社会影响力，等等。反过来，要想获得议员的支持进入重要的委员会甚至获得重职，就得注意其他议员的看法，尤其是那些大的党团会议。
再比如你看自打 John Boehner 当上发言人以后，在重要的议题上，他都采取的不合作的态度，很多议案干脆不和奥巴马谈话，也放任政府停摆。他的手法，就是自己隐到后台，让党体的这些党团派系先出头，让他们感到自己的重要性，这样一旦局面不可收拾，Boehner 这个谈判高手可以再出头来妥协：你看，让你们试过了，不行吧，还是我来。Boehner 用这种方法，利用党团派系过于民主，不够灵活，无法妥协的特征，知道他们在复杂的谈判上必然会陷入死结，让他们去失败，从而巩固自己的位置。
所以说，相对于竞选的针锋相对水火不容，国会是要妥协与共识的地方，但是因为这些年国会里的改革，传统的稳定性因素不复存在，新的秩序却不明朗，议员缺少了对妥协行为的政治保护，对抗也自然强起来。这个也反过来影响到竞选本身。
对，第三个方面就是竞选。
这个也可以从几个角度来考虑。
竞选嘛，从本质上讲，就是让支持自己的人出来投票，支持对方人的不出来投票。
有人可能会问为什么不是把对方的支持者争取过来。嗯，这个基本是不可能了。为什么，可以见我的某个回答里的一则实验(如何看待「哈佛部分学生罢课抗议曼昆的初级经济学课程」? - talich 的回答)。这个党派信念扭曲场是很难调的。所以，也就是所谓的独立选民可以争取。
方法嘛，无非几种。激励己方选民，吓唬己方选民，激怒己方选民，打击对方选民。
大部分方法都是负面的。
这是 Wesleyan Media Project 对过去四次大选的正面，负面，和对比广告的数量统计(Negative 负面广告就是只攻击对手，不谈及自己。Contrast 对比广告顾名思义是把自己和对手做比较)
负面广告要底有没有用，其实学界还没有定论。
比如 Stanford 大学两名学者在 1996 年曾发文 Going Negative: How Political Advertisements Shrink and Polarize the Electorate 认为会抑制独立选民的积极性，让选民的极性增强。
而 2007 年发在 Journal of Politics 上的一篇 meta-analysis 文章
The Effects of Negative Political Campaigns: A Meta-Analytic Reassessment ("http://fas-polisci.rutgers.edu/lau/articles/LauEtAl_EffectsOfNegativePoliticalCampaigns.pdf)则认为负面广告虽然比正面广告深入人心，但并不比正面广告更有效的改变选民立场或改变投票率。
负面广告的影响力，就在于选民对负面广告特别敏感：一方面大部分人都很讨厌负面攻击的广告，认为是政治丑陋的一面，但另一方面，负面攻击的确很有效，因为选民虽然讨厌，却对这种广告的信息特敏感，会不自主的记住广告的内容，所以负面广告的效果远比正面广告要好。
同时，负面广告的争议性可以有放大作用：只要花一点广告费，甚至只在一个地方的电视市场播放，就能获得全国媒体的关注，可以说是花点小钱，买了个免费大广告。在 2008 年选举中，经费相对不足的麦凯恩，在面对奥巴马的攻击时，很多时候都不在电视上作广告正面回应，而只是选择在自己的网站上发放，然后通过电视媒体和 youtube，把自己的广告给快速的传出去。
现在换另一个角度，这三十年来美国竞选的成本一路上升，效率却在下降(怎么看待美国大选「烧钱」、「有钱人的游戏」这些观点? - talich 的回答)，当选民成天接触的主要是这些攻击对手的信息，并反复被各种竞选广告轰炸后，现在的选民观念是什么样的呢?
还是 Pew 的民调
这 20 年来，民主党和共和党选民的相对看法在变差，在相当一部分人认为对方是国家兴盛的威胁。
而的确，独立选民的政治积极性都相对较低
只占总人口 36% 的保守派与自由派，占了 57% 的政治积极份子。
这样的选民，反过来自然会让竞选者的立场更极端化，在进入国会后，又因国会的局势，而不会妥协。