Zaprvé je vždy směrodatnější, co se píše v oficiálních materiálech a slovnících, než to, co si myslí někteří rodilí mluvčí (porovnej s českými mluvčími), a zadruhé ta diskuse z v druhém odkazu říká v podstatě to samé jako Swan.
Pokud je podobná otázka v učebnici či testu, je nutné dát přednost kodifikované gramatice před mluvenou, jakkoli může být druhá uvedená běžně používaná v mluvené angličtině.
Já s Vámi souhlasím, jen říkám, že žádný oficiální materiál to nevylučuje.
To, že A vyjadřuje B, neznamená, že A nemůže také vyjadřovat C.
Betty Azar – Understanding and Using English Grammar je oficiální materiál a píše se tam, že couldn't have se pro vyjádření jistoty používá. Viz odkaz od Josefa výše.