首波藍委罷免投票進入黃金周倒數，國民黨團在「反惡罷 新北愛國者行動」造勢時，藍營要角抨擊民進黨立院黨團總召柯建銘，在2024年底立委選完就職前就已在策動罷免，直指他就是想當立法院長。
國民黨主席朱立倫更多次在反罷場子提到「柯建銘最想當的就是立法院長，要讓他大夢想大破滅！」
不過，綠營人士駁斥，指國民黨將民間團體發動大罷免、盼終結國會亂象，與柯建銘想換下韓國瑜、當上立院院長劃上等號邏輯不通，強調立法院院長在任期內沒有所謂的「罷免」，只能透過立委1/3連署提議、2/3同意通過改選，但現況要在國會達到同意改選院長的2/3門檻，根本比1/2的當選額數還高，國民黨在大罷免前猛拋這種說法是假議題，就算大罷免達到理想中的10席，韓國瑜本屆仍然穩坐這屆立院龍頭寶座。
了解立院議事規則的人士指出，立法院現有113席次計，任何一黨必須要掌握76席，才能達到2/3以上的票數；民進黨現在立委只有51席，就算第一波大罷免24席藍委全部罷免成功，還得補選後當選者都由民進黨籍取得，即便如此也未能超過76席門檻。他分析加上兩波罷免、後續改選都難度重重，民進黨要拿到這個席次根本是 「不可能的任務」。
柯建銘確曾在2024年底說過「立法院過2/3委員同意就可以罷免立法院長，而不是民間來罷免」。綠委指出當時柯建銘會提出這種說法，是因為當時韓國瑜僅憑2位立院委員會召委的公文，就延緩咨請公布選罷法、財劃法，公然違法違憲，柯建銘認為韓國瑜違法、違憲，當院長是不夠格的。
法界人士認為，依立法院互選院長副院長辦法第8條規定，院長、副院長經全體立法委員1/3以上人數提議，出席委員2/3人數通過，得予以改選，但這對執政黨來說難度太高，想都不用想，唯一可能是大罷免後，改選後真的取得立院絕對優勢，修改現有院長選舉辦法，降低門檻，但這其實很遙遠且是假設性議題。
