就在這一次和噶爾丹的作戰中，康熙帝突患瘧疾，不得不離開前線返回京師養病，當時皇太子聞訊後馳驛前迎。但時年十六歲的皇太子少年無知、不懂得如何關懷患病的皇父，因此見到康熙帝時沒有表現出憂慮慼慼之情。
重病中的康熙帝見到皇太子的這個態度後，很是悲傷和不滿，心中認為這個兒子“絕無忠愛君父之念心”，於是沒有讓他隨駕，而是讓皇太子先回京師，準備皇帝迴鑾事宜。大約從這個時候開始，康熙帝潛意識裡就對皇太子開始懷有成見，並先入為主地覺得皇太子不孝，以後不堪重用。
在皇太子莫名其妙地不再得到康熙帝聖眷關愛之後，索額圖因為已經將赫舍里氏一族的安危和存亡都押在了皇太子身上，因此不能和皇太子做出分割的舉動，反而更加堅定的支援、站隊皇太子，以圖日後皇太子繼位後，能夠憑藉“從龍、擁戴”之功，重新恢復赫舍裡家族的榮耀。
疏遠了明珠之後，康熙帝也重點開始關注原先的股肱之臣索額圖，預備採取措施，抑制他以及皇太子外家赫舍里氏的勢力。起初，康熙帝並沒有想將索額圖徹底打倒，而是想仿照處置明珠的例子，只免除他實際上的權力，此後做個顧問諮詢近臣，以保全仁孝皇后母家富貴，也就罷了。
但索額圖執掌中樞大權二十年，早就不能再回到之前那種平淡安靜的生活了，再加上他把家族榮耀、個人前途都押在了皇太子身上，這就更加不能退縮了。所以，即使康熙帝想要顧全君臣恩義、讓索額圖“半退休”以保全其名節。索額圖也不願就此放棄權力、退居歸家。矛盾因此不可調和，最終導致索額圖站隊失敗、身死家破。
康熙三十五年（1696年）三月，康熙帝第二次親征噶爾丹，親率八旗從獨石口出塞，和噶爾丹會戰於昭莫多。此戰，索額圖在名義上率領前鋒營、蒙古察哈爾諸旗及漢軍八旗、綠營為先鋒，並監督火器營，隨康熙帝出戰。但在實際上，康熙帝已命諸成年皇子：胤禔、胤祉、胤禛、胤祺、胤祐、胤祀等人各自掌握軍隊、分索額圖之權，共同參與作戰。索額圖的權力，已經在康熙帝的安排下，被剝奪大部、所剩無幾。
康熙三十六年（1697年）三月，康熙帝抵達寧夏，指揮追剿噶爾丹的戰事，索額圖受命管理京師至寧夏的水路、驛站事務，康熙帝以索額圖此次差事有功，提升其四級品級，恢復原任。這是索額圖最後一次受到嘉獎。
從康熙二十九年（1690年）皇太子迎駕時舉止不合禮法、致使康熙帝心中不滿，逐漸和皇太子起了隔閡開始，到康熙三十六年（1697年）時，已經過去了七年，皇太子在這期間也已經大婚、生子，逐漸成熟起來。康熙帝雖然對皇太子心中有不滿、失望，但為了不動搖國本、維護宗法傳承，還是依舊栽培、重用皇太子，多次命皇太子代替自己祭祀社稷、宗廟，在自己出徵時監國。康熙帝實在是不想看到，自己寄予厚望、倍加培養的皇太子，最終會不成才、辜負了期望。
可皇太子年少、心性不定，身為國家儲君、自然具有天然的優越感，待人接物不那麼平易近人、和藹恭謹。而索額圖身為皇太子的叔外祖父、又早早地將寶押在了皇太子身上，為了自身的利益，他也在不斷地接近、教導皇太子，要儘可能地掌握權力、培植私人勢力，做好繼位前的準備，切切不要掉以輕心、重蹈前人覆轍、使得大位旁落、便宜了他人（指肅親王豪格的舊事）。
平心而論，索額圖這麼指導皇太子，確實是未雨綢繆、一片好心，提醒皇太子不要鬆懈，需時時刻刻警惕，以防被其他人（就是其他皇子）趁虛而入。皇太子也很感激叔姥爺的提醒、教誨。
但索額圖這麼做被康熙帝得知後，康熙帝勃然大怒，認為索額圖居心不良、“毫無忠君之心”、有“教唆皇太子、離間父子之情”的險惡用心。這之後，康熙帝下定決心，要斥退索額圖，並以此警告皇太子，不要再執迷不悟、受人教唆、和皇父分庭抗禮。
康熙三十六年（1697年） 九月，康熙帝針對“太子黨”痛下狠手，命內務府處死了皇太子的親隨——膳房人花喇、哈哈珠子（侍從）德住、茶房管事雅頭，膳房管事額楚等人，給了皇太子和“太子黨”的首腦索額圖一個警告。
康熙三十七年（1698年）三月，為了進一步限制皇太子的權力、遏制“太子黨”的爭權野心，康熙帝第一次冊封成年皇子，其中皇長子胤禔封直郡王，皇三子胤祉封誠郡王，皇四子胤禛、皇五子胤祺、皇七子胤祐、皇八子胤禩封貝勒，以此來牽制勢力和慾望都在不斷膨脹的皇太子及其黨羽。
此次受封的皇子，都獲得了參與國政、協同辦差的權力，同時各領有旗下佐領、門人屬眾。康熙帝這麼做，削弱了皇太子原先所具有的“代理監國”的合法權力，對太子黨是一次大打擊。
康熙帝的本意，是分權給諸皇子、以限制、警告皇太子，不要太過於表露出覬覦權勢的心思。但諸年長皇子得到了封爵、權力、屬眾以後，卻效仿皇太子，建立了屬於自己的勢力範圍和黨羽，這就更加加劇了皇帝與皇太子之間、皇太子與諸兄弟之間的矛盾。
諸皇子和門下的黨羽為了獲取更大利益，不約而同地選定了共同打擊目標，即皇太子及“太子黨”。康熙帝與皇太子之間的矛盾更加錯綜複雜，且日益加劇，皇太子不孝不悌、所行不善、昏顢妄為的議論，從此傳遍了朝野。而皇太子一黨為了自保，當然也要反擊，因此和諸皇子黨相互攻訐、彼此構陷，弄得朝廷之上烏煙瘴氣、黨爭不斷。
面對這種局面，康熙帝怒氣迸發，認為這都是以索額圖為首的“太子黨”在挑唆皇太子，才導致父子失和、兄弟反目。於是，康熙三十八年（1699年），康熙帝下詔斥責“太子黨”中的首要成員：“溫待、額庫禮，俱犯重罪流徙之人，因其年老，令回京師。伊等應安靜以養餘年，伊乃與索額圖結黨，妄論國事，妄自犯尤。”直接就點了索額圖的名字。
另外，康熙帝對皇太子也不客氣，同時寫手諭給皇太子說：“朕出師寧夏後，皇太子聽信匪人之言，素行遂變，自此朕心眷愛稍衰，置數人於法。”
在父子君臣兄弟發生的矛盾中，康熙帝明顯針對皇太子及“太子黨”，並毫不掩飾他對皇太子的疏遠和猜忌。這讓其他皇子看到了希望，覺得康熙帝在失望之下，有可能“易儲”，因此更加蠢蠢欲動，對“儲君之位”生出非分之想，這也是康熙帝末年“九子奪嫡”的重要起因。
看著原先寄予厚望的皇太子變成如今這“嬌縱跋扈、不孝不悌、所行不善”的頹廢樣子，康熙帝既痛心又震怒，認為這都是皇太子身邊親近侍從之人所教唆、挑撥的緣故，其中尤以皇太子的叔外祖父索額圖為甚。從這個時候起，康熙帝就有了清除索額圖（之前還僅僅是斥退）、重新教導皇太子，將這個不成器的兒子從歪路上拉回來的心思。
康熙帝已經動了清除索額圖之心，而作為康熙帝數十年心腹重臣的索額圖，自然也聞到了危險氣息，為了不讓康熙帝抓住把柄、逃脫懲處，索額圖在和皇太子商量之後，以退為進，於康熙四十年（1701年）九月，以“年老多病”的理由（索額圖當年已經六十六歲）向康熙帝請求致仕，企圖以此脫離康熙帝的特別關注，從而在幕後繼續協助皇太子、穩定“太子黨”的人心。
康熙帝對此心知肚明，但為了不立即激發矛盾、使自己留下“不容功臣”的壞名聲，於是順水推舟、同意了索額圖的致仕請求，免去他領侍衛內大臣之職，以一等公爵的身份退職回家榮養。
索額圖和皇太子據此以為康熙帝已經不再追究索額圖的過失，同時也得以繼續維護“太子黨”的利益和權勢了，於是在之後相互往來照舊頻繁、勾連緊密，也沒有停止和諸皇子黨的“奪嫡、爭權”鬥爭。而面對康熙帝之時，皇太子也自認為“三十年儲君、根深蒂固”，缺少對皇權的敬畏和拜伏之心，“欲分威柄，以恣行事”的態度怎麼也掩飾不住。
康熙帝既然已經下了除掉索額圖之心，自然不會手軟，這樣也可以打擊迫切想要獲得更大權力、甚至希望早日君臨天下的皇太子那顆不安分的心。
康熙四十一年（1702年）十一月，康熙帝南巡江南，皇太子以及諸王公大臣隨駕同行。御駕至山東德州時，皇太子恰好得了疾病、一時不能痊癒，康熙帝於是急召已經致仕、此次沒有隨駕南巡、而是留在京師私宅中的索額圖急赴德州，陪伴、照顧侄外孫皇太子，待皇太子痊癒後，再行返京。康熙帝自己則中斷南巡，先行返回，待明年再安排南巡。
其實，這是康熙帝故意製造索額圖和皇太子長期單獨相處的機會，以便於安排人手暗中監視，獲取索額圖不軌之事、及蠱惑皇太子的罪證，好論罪加以懲處。
索額圖當然不知道康熙帝此舉的真實用意，自認為這是一個和皇太子公開相處、並可以藉機策劃、謀算後續的爭權之事，於是立即興沖沖地奉詔趕到德州，親自照看生病的皇太子。
也許是太過於興奮，也許是疏忽大意，索額圖在抵達德州皇太子住處時，沒有按照禮制在大門外遠處下馬、然後步行從側門進入，而是直接騎馬來到中門後才下馬，隨後從中門進入皇太子居所。這在清朝的禮制中，屬於大不敬之罪，按律要處以死罪（當然，索額圖之前估計也沒少這麼做，不過因為他是康熙帝心腹重臣、皇太子的首席支持者，所以都沒有受到懲罰。不過，這一次不一樣了）。
在德州時，索額圖和皇太子朝夕相處，多有密談，其中不乏“用非常手段”、“行大事”、“先發之”等悖逆、狂獗之語（都是康熙帝暗布的眼線事後所彙報，至於言語的真假，康熙帝說是真，那就是真的）。
對索額圖在德州奉詔看顧皇太子時的所作所為，康熙帝一清二楚，但他沒有立即動手，而是靜觀其變，在皇太子痊癒後，命他和索額圖一起返回了京師。康熙四十二年（1703年）正月，康熙帝按照計劃，繼續舉行南巡，皇太子胤礽、皇四子胤禛、皇十三子胤祥一起隨駕南行。而索額圖在完成了照顧皇太子的任務後，依舊被留在京師，沒有允許隨駕南下。
南巡途中，康熙帝在隔開了皇太子和索額圖之後，已經在考慮如何進行最後一擊，徹底將索額圖打倒。
當時，隨侍在康熙帝之側的翰林院掌院學士、原索額圖的門生高士奇，因為出身寒微而被索額圖長期慢待、甚至羞辱（切齒大罵，辱及父母妻子），早就對這個老師恨之入骨、幾欲除之後快（遂頓忘舊恩，而思剚刃於其腹中）。
得知康熙帝想要除掉索額圖的心思後，高士奇大喜過望，於是主動向康熙帝告發索額圖平日裡的諸不法悖逆之事（高士奇是索額圖的門生、時刻侍奉在側，自然知道索額圖的那些所作所為），和老師劃清界限的同時，也把最鋒利的刀把子遞到了康熙帝的手中。
人證物證俱在的前提下，康熙帝依舊穩坐泰山，按照原計劃繼續南巡，不要說在京師的索額圖並不知道自己已經大難臨頭，就是隨駕在身邊的皇太子，也不知道皇父即將要對叔外公動手。康熙帝在江南、河南、山東等地巡查遊覽，直到當年三月十五才返回京師。
兩個月後，一切準備停當，康熙四十二年（1703年）五月十九，康熙帝突然命御前侍衛海青、乾清門侍衛武格、馬武三人急赴索額圖私邸，傳達諭旨給這個曾經的心腹重臣、如今的“心腹大患”：“爾任大學士時，因貪惡革退，後朕復起用，爾並不思念朕恩。即若養犬，尚知主恩，若爾者，極力加恩亦屬無益。朕意欲寬爾，爾乃怙過不悛，結黨妄行，議論國事，朕若不先發，爾必發之，朕亦熟恩之矣。前者，皇太子在德州時，爾乘馬至中門始下，即此爾已應死。爾所行事，任舉一端，無不當誅。朕念爾原系大臣，心有不忍，姑貸爾死，但若著爾閒住，又恐結黨生事，背後怨尤議論，著交宗人府處拘禁，不可疏放。”
在諭旨中，康熙帝將索額圖大罵一通，並說“朕若不先發，爾必發之”，就是指明瞭索額圖將要謀反。但此時康熙帝還沒拿定主意處置皇太子，為了大家的顏面上好看，所以除了索額圖在德州時，“至皇太子居所、乘馬至中門始下”這一條罪名外，其他的事情就不再提了。
就在當天，六十九歲的索額圖被押送至宗人府監房，單獨禁錮、嚴加看管；至於他的幾個兒子，康熙帝命仁孝皇后的五弟心裕、六弟法保（也是索額圖的弟弟）“嚴加拘禁候旨”，並補充說“若其間別生事端，即將心裕、發保等族誅”。也就是不準心裕、法保徇私照顧，如有犯事，要把赫舍里氏全族誅滅。
索額圖徹底倒臺後，康熙帝對這個毀了自己心愛的接班人的逆臣深惡痛絕，很想把他明正典刑、甚至處以凌遲；但索額圖是仁孝皇后親弟弟、也是皇太子的至親，這樣不顧皇家顏面、顯戮國家重臣的做法，雖然很解氣，但格局、心態上未免太小氣了。
於是，康熙帝決定用另外的辦法，讓索額圖不經法司審訊，悄無聲息的死在獄中，這樣對朝廷、對皇家、對百官、對天下臣民的也有話說，自己不會落下一個“刻薄寡恩、屠戮功臣”的名聲。
康熙四十二年（1703年）七月初六，康熙帝離開京師，北巡塞外，七月十八，奉皇父諭旨的皇三子誠郡王胤祉、皇四子貝勒胤禛火速返回京師，連夜進入宗人府中關押索額圖的監房，表面上的說法是“視索額圖拘禁之情形，查察看守王公、大臣、兵役、內監有無徇情庇護及助伊逃遁之事”，其實，胤祉、胤禛此行另有目的。
在看到索額圖被單獨關押、並無優待，且兩條鐵鏈鎖身之時，胤祉、胤禛並沒有讚揚宗人府有司人員盡職盡責，而是厲聲責問：“為何不給罪官加鎖九條鐵鏈？”宗人府官員莫名其妙、面面相覷之下，小心回奏說，索額圖五月十九押來時，就已經身戴一條鐵鏈，是宗人府看守在將其押入監房後，又多加了一條腳鏈。
於是，胤祉、胤禛當即給康熙帝回奏，並請康熙帝下諭旨給宗人府，再給索額圖加七道鐵鏈，以“防其勾連內外、蓄意遁走”。接到奏報後的康熙帝立即同意了胤祉、胤禛的意見，復旨給宗人府，將索額圖上了九條鐵鏈。
按照《大清律例》的規定，只有故意殺人、十惡不赦的罪犯，才在脖子、腰、腳三處用三條鐵鏈鎖住，從來沒有用九條鐵鏈的先例。清制，監獄鐵鏈重五斤，九條就是四十五斤，不要說索額圖，就是任何一個壯漢，那也受不了。索額圖此時年近七旬、早就衰弱不堪，怎麼經受得起這樣的折磨。
所以，如同本文最開始描述的那樣，在身被九條鐵鏈之下，索額圖在宗人府監房內只呆了不到兩個月，就於康熙四十二年（1703年）九月、“尋幽死於獄中”。雖然沒直接說是餓死的，但身上揹著四五十斤的鐵鏈，行動、飲食都十分艱難，也無法正常活動，索額圖的死，大機率還是不能正常吃喝拉撒、最終病餓致死（就和鰲拜被關押後，很快死在獄中的情況一樣）。
索額圖在宗人府“幽死”之後，康熙帝下旨剝奪了他一切官爵、名譽，將他的兒子格爾芬、阿爾吉善繼續禁錮於心裕、法保處，不得開釋。“太子黨”中的重要成員、也是索額圖黨羽的江潢、麻爾圖、額庫禮、溫代、邵甘、佟寶、阿米達等人，或處死、或嚴錮、或罷黜，他們的同祖子孫在朝廷為官者，也被奪官革職。一度風光無限的“索黨”、“太子黨”，就此灰飛煙滅。
五年以後，康熙四十七年（1708年）九月，康熙帝對皇太子胤礽失去了最後的期望和耐心，於是召集諸王大臣，公開廢黜了胤礽的皇太子之位。同時，康熙帝對導致自己父子失和、且早就死去的“罪魁禍首”索額圖依舊怒氣不減，在廢黜胤礽的同時，又下令立即誅殺索額圖的兩個兒子格爾芬、阿爾吉善，斷了他的後裔血脈。
最後，康熙帝在終結自己因何要廢黜皇太子之時，還把所有責任都推到了索額圖的頭上：“昔年索額圖助胤礽潛謀大事，朕知其情，將伊處死。今胤礽欲為索額圖復仇，令朕戒慎不寧，不得不行此非常之事。索額圖在日，懷私叵測，蠱惑皇太子服御俱用黃色，一切儀制幾與朕相似，胤礽驕縱之漸，實由於此。索額圖誠本朝第一罪人也！”
