웹 프로젝트 수행중 발생한 이슈 처리

ASP를 JAVA로 전환하는 프로젝트를 수행하게되었다...

스트레스 테스트도 충분히 마치고 memory leak 도 없이 잘 처리되는것을 확인하였는데도 불구하고

상용 서비스에 돌입하자 점차 메모리 사용률이 올라감과 함께 swap도 점차 증가 추세임을 확인..!!!

GC옵션도 보고....소스상에서 메모리 누수가 있을만한 부분도 다시 보고....

혹시나 싶어 세션 클러스터링쪽을 주구장창 뒤져봤지만....괜한 옵션질을 해서;;;

오히려 장애가 발생;;;

임시로 한달간 보름에 한번씩 서버를 리부팅해서 swap을 빼줬으나 다시 차오르는 swap

(내가 왜 처음부터 네트워크쪽은 신경도 안썼는지..ㅜㅠ..애먼곳만 바라봤으니...어휴...)

우연하게??(가....아니겠지..) 배치서버가 ssh 접속이 불가한 현상이 발생..!!!

그래서 서버를 리부팅해주고... 배치서버를 보고있었는데.. 이게 왠일...

웹서버들의 모든 메모리와 swap이 빠져 정상 수치를 보이는게 아닌가..!!!!

원인을 찾아보니...

배치서버에서 사용하는 sftp 모듈에서 tcp 커넥션을 맺은 후 종료를 하지 않고 있었던...ㄷㄷ;;;

(22번 포트의 커넥션 갯수가 6천개가 넘어가 있더란......)

분명 close까지 명시되어있는것을 확인했는데...!!!

동료직원의 커넥션 갯수가 많다라는 전의 이야기를 대수롭지 않게 넘겼었는데......

이런 오류의 부매랑이 되서 날아올 줄이야....

다시한번 느끼지만...한번 꼽힌 오류사항에 빠지지 않고...

전반적으로 두루두루 훑어볼 수 있는 여유를 가져야 될거 같다...ㅜㅜ