오랜만에 날밤 세우기

20일(토) 오랜만에 대학 선배가 연락이 왔는데, 컴팩 프로리안 서버에 새 SCSI HDD를 설치하다 오류가 발생했다는 왔더군요.
선배는 울산 모 고등학교 국어과 교사인데, 교내 서버를 담당했는데, 부산 남산동의 동생이 다니는 회사의 파일 서버 HDD를 업그레이드하러 부산으로 가 있고, 전 원래는 거주지는 부산인데, 울산에 약속이 있어 가 있는 상태였죠.

밤 12시가 되어 남산동의 사무실에 방문해 보니 벌써 사고 발생 후 5시간 정도 흘러 다양한 방법으로 복구를 시도하고 있는 초췌한 모습
HP Smart Array 532 카드에 연결된 Ultra SCSI-3 36GB HDD의 용량이 부족해 Ultra 320 14GB HDD를 추가로 설치하려는 작업을 하는데, Hot Swap 장치의 1번 위치에 새 하드를 추가(기존 하드는 0번 위치에 설치되어 있고)하니 부팅이 안되는 상황인 거죠.

부팅이 되다 fsck 테스트 중 루트 파티션에서 오류가 많이나 root 패스워드를 입력하라는 화면만 표시되고 멈춘 상태 더군요.

문제는 14GB 정도의 도면 데이터를 백업하지 않고 작업을 진행했다는 것
보통 같으면 root로 로긴한 후 fsck로 검사한 후 재부팅만 하면 될 일이라 생각했죠. 그러나 문제는 데이터가 손상될 수도 있는 상황.

CAD 관련 자료인데, 8~9명이 수개월간의 작업한 데이터가, 내년 2월까지 작업을 끝내야 하는데, 만약 복구가 되지 않는다면 기한을 넘길 수 밖에 없는 상황이라는 거죠.

다시 한번 생각하는 작업전 백업의 중요성

새로 설치하려는 146GB에 새로 리눅스를 설치한 후 기존 하드를 연결해 데이터를 옮기려 했는데, 핫스왑 장치에 하드를 연결하니 자동으 Raid가 설정되는지 하드를 인식하지 못하는 상황이란 거죠.

80핀 핫스왑 장치는 장만해 볼까 고민만 했지, 실제 사용해 본적은 없는 일반 유저라 29160 SCSI 카드에 68핀 하드만 경우 연결해 본 실력으로 난생 처음보는 장치는 그 심각한 상황에서 사용법을 익히기는 힘들었죠.

새벽 5시쯤 다행히 기존 데이터를 인식해 새로운 HDD로 옮길 수 있었습니다. 그 과정은 도저히 표현할 수 없는 다양한 시도의 결과였죠.

이제 문제는 samba 데이터의 한글로 된 파일과 디렉토리가 깨어져 보인다는 것.

방법은 samba를 살리는 거죠.

다시 2시간의 시간이 흘러 겨우 samba 인식...

더이상 추가 작업없이 서버 재부팅도 하지 말고 그대로 멈추자고 이야기 하고 바로 집으로 출발했습니다.

작업이 완전히 끝난 건 아니지만 밤샘으로 흐리멍텅한 머리로 추가 작업 혹은 마무리 작업을 하려다 보면 현재 동작하는 상황도 문제가 생길 수 있다는 경험 때문이었죠. 당장 일요일에 직원들이 작업을 하러 오기 전까지 작업할 수 있는 임시 조치만 취하고 데이터를 백업한 후 좀 여유를 가지고 추가 작업을 하는게 더 효율적이란 생각이었는데, 선배는 마무리까지 할 모양이어서 얼른 자리를 떠났죠.

집에 도착해 부족한 잠을 좀 자고 있는데, 아니나 다를까 10시 반쯤 문자가 왔더군요.

재부팅을 했더니 다시 인식이 되지 않고, 어렵게 다시 인식이 되어 울산으로 가는 중인데, 다시 전화가 와서 samba 로긴이 안된다는 연락이 와서 통도사쯤에서 다시 남산동으로 돌아간다고...

1시쯤 다른 모임에 참석해 있는데, 다시 연락이 와서 전화해 보니 겨우 해결했다고 하더군요.

문제는 samba 설정 파일에 오타 ^^;

오랜만의 파란만장한 하루였습니다.

운영체제는 제가 선배에게 소개한 Debian Linux
예전엔 웹, 메일, 파일 서버 등으로 잘 활용했는데, 웹, 메일 등은 통합서버로 이전하고 파일 서버로만 잘 사용하고 있군요.

오늘에 교훈은 급할수록 찬찬히 생각하고, 머리가 어지러울 때 중대한 결정을 하지 마라!!!

추신) Raid 카드에 연결된 Hot Swap 장치를 사용해 봐야 할까 하는 생각이 들더군요.
서버 관리 쪽은 더이상 취미로도 다루지 않고 Office 강의만 열심히 하고 있는 중이라 회사급에서 다루는 장비를 사용해 볼 기회가 없군요.