2Гоблин - обратно два раза "ку". Немного представляю суть того, что творилось у вас в офисе, не могу не восторгаться объемом проделанной работы.
Да, конец той недели (особенно когда топ-менеджмент решил что достаточно сказать "быстронафиг" и тут же recovery процессы на сервере пойдут быстрее) был особенно веселым - я уезжал с работы в конце рабочего дня, забирал ребенка, забирал жену, завозил их домой, и возвращался на работу. Обычно второй раз я домой выезжал в 23:40. Сегодня утром процесс восстановления из резервной копии завершился, но увы, сервер снова упал. Проанализировали логические логи, запустили процесс восстановления на состояние с последним консистентным логом. Зато теперь есть 100% уверенность, что падение сервера не связано с ошибкой обслуживающего персонала, а связано с ошибкой скрипта (присланного разработчиком) и внутренним недокументированным багом сервера БД.
Так что увы, аварийно-восстановительные процессы идут полным ходом. Но хоть не надо сидеть здесь почти круглосуточно, и боле-менее понятна методика восстановления.
Так что у меня даже чуть времени появилось, одним глазком форум глянуть Рад всех видеть/слышать.