В бесконечность... и удалить

В 1998 году в Pixar произошла катастрофа. Одна неправильно введенная команда — rm -rf / — начала стирать мультфильм "История игрушек 2" из существования. Персонаж за персонажем, сцена за сценой, фильм, на создание которого ушел год, исчез за секунды. Команда с недоверием наблюдала, как шляпа Вуди, крылья Базза и целые декорации исчезали на их глазах. Когда инженеры бросились восстанавливать данные из резервных копий, они обнаружили нечто худшее — система резервного копирования тихо вышла из строя несколькими неделями ранее. Как ИТ-специалисты, мы все бывали в подобных ситуациях, но чему мы можем научиться из этого и как вовремя доставить Базза на его корабль?

Вечеринка Энди

Это "Ключевое воспоминание" произошло в 1998 году, о чем вспоминает соучредитель Pixar Эд Кэтмелл в своей книге "Creativity, Inc.". История начинается с неудачливого, безымянного сотрудника Pixar, который выполнял рутинную очистку файлов на внутренних серверах, когда случайно ввел команду удаления в корневой папке "Истории игрушек 2"... Это хорошая новость. Это "Событие обновления резюме" привело к исчезновению моделей персонажей и ресурсов, и файловые серверы были быстро отключены.

\ К сожалению, к тому моменту около 90% работы над "Историей игрушек 2" было потеряно, а система резервного копирования сиквела не работала должным образом около месяца. В этот момент "Историю игрушек 2" пришлось бы либо начинать с нуля, либо полностью отказаться от производства.

Мать спасает положение

Мать спасает положение, как когда Базз и Вуди объединяются, чтобы вернуться домой. Гэлин Сасман, технический руководитель фильма, которая пострадала бы от сокращений Disney в 2023 году, имела копию проекта "История игрушек" дома. Гэлин была в декретном отпуске и решила продолжить работу из дома – то, что сегодня считается нормальным, но в то время было табу. Будучи матерью и всегда планируя наперед, как и при воспитании детей, она взяла за правило брать работу домой раз в неделю. Это было огромным преимуществом, поскольку позволяло ей оставаться в курсе событий и поддерживать надежную резервную копию "Истории игрушек 2".

\ Как новорожденного ребенка, Pixar осторожно перевезла ноутбук обратно в офис, укутав его в одеяла во время поездки на машине - я представляю, что они даже включали колыбельную музыку для ноутбука... или, может быть, это то, что сделал бы я. Наличие резервной копии с ноутбука Сасман позволило команде скопировать файлы и восстановить почти все, что было потеряно.

\ Это был радостный случай с множеством "дай пять", и, возможно, вызвал улыбку на лице человека, ответственного за удаление. Резервная копия Сасман не содержала весь фильм на ее компьютере, но они смогли извлечь достаточно, чтобы завершить и доставить "Историю игрушек 2" вовремя. Включайте вдохновляющую музыку и танцуйте, как будто никто не смотрит. Какая история, правда?

\ А что насчет сотрудника, который удалил файлы? Я рад, что вы обратили внимание. Пока нет сообщений о том, что его уволили или он столкнулся с последствиями. Скажу, что легко представить напряжение в то время, и, возможно, будущий проект с его участием в процессе резервного копирования.

Извлеченные уроки

Этот опыт служит ценным уроком не только для сотрудников Pixar, но и для ИТ-специалистов по всему миру. Существует твердая приверженность созданию нескольких резервных копий и внедрению дополнительных мер безопасности для предотвращения подобных инцидентов в будущем.

\ В этой истории система резервного копирования вышла из строя за несколько месяцев до инцидента, и никто этого не заметил. Это означало, что не было резервных копий для восстановления, и бизнес был в тупике. Звучит знакомо для сегодняшних событий? Должно быть, потому что это часто происходит в наши дни. Что могут сделать предприятия, чтобы защититься от такой катастрофы?

Резервное копирование

• Правило 3-2-1 - правило резервного копирования данных - это стратегия, которая рекомендует хранить три копии ваших данных на двух разных типах носителей, причем одна копия хранится вне офиса. Этот метод обеспечивает избыточность и защищает данные от единой точки отказа, такой как аппаратный сбой, кража или локальная катастрофа.

  \

• Внешнее резервное копирование - Внешнее, изолированное от сети резервное копирование данных хранит копию ваших данных в отдельном физическом или облачном месте (вне офиса) и держит ее отключенной от вашей основной сети (изолированной). Эта комбинация защищает ваши данные от локализованных катастроф и киберугроз, таких как программы-вымогатели, которые не могут удаленно получить доступ или повредить изолированную резервную копию.

  \

• RPO и RTO - Целевая точка восстановления и Целевое время восстановления. Это не просто важно, но жизненно необходимо для непрерывности вашего бизнеса и выживания в случае катастрофы. Большинство предприятий заявляют, что у них есть проверенные резервные копии, которые проходят аудиты, но когда им приходится восстанавливать свои системы при катастрофе, это занимает гораздо больше времени, чем они планировали, и бизнес теряет деньги из-за этого.

Технические средства контроля и разрешения: Ограниченные привилегии удаления папок.

• Самой простой профилактикой было бы установить разрешения на сервере так, чтобы не все сотрудники могли удалить каталог верхнего уровня для фильма. Предоставление доступа "полный контроль" большой группе пользователей является обычным явлением в совместных средах, но это серьезный риск для безопасности. Только небольшое количество администраторов должно иметь разрешение на выполнение команд "удаление" в критических папках высокого уровня.

\

• Ограничения на уровне команд. Сотрудник использовал команду Linux rm -r, которая рекурсивно удаляет каталог и все его содержимое. Более продвинутая система могла бы предотвратить выполнение этой команды на самом высоком уровне каталога проекта, либо с помощью специального скрипта, либо требуя второго шага аутентификации.

  \

\