Гребенка заарештували 26 жовтня 1919 року «за звинуваченням у невиконанні бойових наказів, у зраді радянській владі та надсиланні ультиматуму Українському радянському урядові скласти свої повноваження й залишити межі України». Балясу трапилась можливість остаточно «розрахуватися»: йому надали честь конвоювати арештанта Гребенка до Москви в Управління особливого відділу ЧК.