Viele Gefangene starben durch Suizid, viele wurden nach Prozessen ohne Verteidiger in den Kellern der Lubjanka erschossen oder erhängt. Oft wurde auch ohne Prozess exekutiert: Als im Dezember 1941 in der Schlacht um Moskau die Besetzung der Stadt durch die deutsche Wehrmacht drohte, wurden rund 300 inhaftierte, hochrangige sowjetische Offiziere und andere Gefangene, vermutlich auch der KPD-Mitbegründer Hugo Eberlein, in der Lubjanka erschossen, weil es an Transportmitteln für die Evakuierung des Gefängnisses fehlte. Die Keller dämpften alle Geräusche. In sowjetischer Zeit entstand der Witz: „Was ist das höchste Gebäude der Welt? Lubjanka, von dort aus kann man Sibirien sehen.“, als Hinweis auf die Verbannung aus dem Gefängnis in ein sibirisches Gulag.