– Det är bättre att inte regera än att göra det dåligt, säger FDP-ledaren Christian Lindner.
Förbundskansler Angela Merkels konservativa parti CDU och systerpartiet CSU har ingen egen majoritet sedan valet till förbundsdagen i september.
Merkels block har försökt förhandla med De gröna och FDP, men samtalen har gått trögt.
Efter fyra veckor av sonderingar stod de fyra inblandade partierna fortfarande långt ifrån varandra när samtalen fortsatte på övertid, för att sedan kollapsa sent på söndagskvällen när FDP drog sig ur.
Merkel säger att hon beklagar att samtalen brutit samman.
– Vi måste fundera över hur vi ska gå vidare. Som kansler kommer jag att göra allt för att det här landet ska klara sig genom dessa svåra tider, säger hon.
Även ledarna för De gröna beklagar det som skett, och säger att de hade trott att partierna skulle kunna enas trots olikheterna.
Klimatfrågan, där De gröna vill ha stora utsläppsminskningar, och invandring, där det bayerska CSU kräver hårdare regler, har varit de största stötestenarna i samtalen mellan de fyra partierna.
Det är oklart vad som händer nu. Socialdemokraterna, som Merkels kristdemokrater regerat med sedan 2013, ser inte ut att vara ett alternativ för en regeringskoalition.
Den tidigare samarbetspartnern meddelade redan på valnatten att partiet lämnar koalitionen, och man har efter det upprepat budskapet att Socialdemokraterna nu är i opposition.
Merkel, som har lett landet i tolv år, kommer att träffa den tyske presidenten Frank-Walter Steinmeier under måndagen för att informera honom om att hon misslyckats med att bilda en regeringskoalition med De gröna och FDP. Presidenten har makten att upplösa parlamentet och utlysa nyval.
Att Merkel säger att hon ska informera honom är en tydlig signal om att hon inte kommer att försöka få till en minoritetsregering med De gröna. Det är inte förvånande eftersom Merkel tidigare har sagt att hon vill ha en stabil regering.
Ett sannolikt alternativ är att ett nyval väntar för Tyskland i början av nästa år, något som de etablerade partierna har fasat för eftersom de är rädda att högerpopulistiska AFD kommer att gå framåt.
Steinmeier har tidigare uppmanat partierna att försöka undvika ett nyval
– Alla sidor måste vara medvetna om sitt ansvar. Och det ansvaret innebär inte att man lämnar över frågan till väljarna, har han sagt till tidningen Welt am Sonntag.