Det fortalte han få minutter efter mandagens 3-0-sejr på hjemmebane over Moldova.
"Selv om vi er glade nu, havde vi allerede inden kampen besluttet ikke at fortsætte," lød det fra den 62-årige landstræner til tjekkisk fjernsyn.
Silhavy har stået i spidsen for Tjekkiet siden 2018 og førte landet til en kvartfinale ved EM i 2021.
Det lykkedes dog ikke mandskabet at kvalificere sig til sidste års VM i Qatar.
Trods den succesfulde kvalifikation, har Silhavy fået kritik for holdets energiforladte præstationer i gruppe E, hvor Tjekkiet blev nummer to efter Albanien.
Tjekkiet vandt fire ud af otte kampe.
Mandag var Tjekkiet uden West Hams forsvarsspiller Vladimír Coufal, midterforsvareren Jakub Brabec fra græske Aris Thessaloniki og angriberen Jan Kuchta fra Sparta Prag, hvor danske Brian Priske er cheftræner.
Det skyldes, at de tre profiler var blevet sendt hjem fra landsholdslejren, efter at de blev taget i at gå på natklub forud for mandagens opgør.
Tjekkiet havde brug for mindst ét point for at kvalificere sig, mens Moldova med en sejr kunne have overtaget andenpladsen.