김형준 GIS 연구소 (for Developers)  
Front Page
Notice | E-Mail | Admin | Write Article   
 
2010/06/16 21:42 2010/06/16 21:42
단순한 파일 복사인데 왜 메모리 사용량이 계속 올라갈까?
이번에 타일맵을 생성해 납품하면서.. 최종 테스트를 위해 실서버로 타일맵 파일을 복사해야 하는데.. 이게 머리가 아픕니다.. 몇가지 시행착오로 인해 4일정도를 허비했는데요..

시행착오라 함은.. 먼저 타일맵 파일을 서버로 바로 FTP로 전송했던 시행 착오.. 그리고 타일맵을 압축해서 전송하려고 압축을 시도 했던 시행 착오.. 외장형 하드를 하나 더 구입해 이 하드에 복사한 후 서버가 설치된 IDC에 가서 복사하려고 했던 착오.. 이네요..

먼저 가장 근본적인 상황은.. 타일맵 파일들의 개수와 크기입니다. 정확히 말하면 크기는 별 문제가 아닙니다. 실제 용량은 100기가 정도되는데.. 이 정도면 3~4시간 정도면 복사하고도 남습니다. 문제는 파일 개수입니다. 매우 작은 크기(4kb~25kb)의 파일 개수가 5천8백만개정도됩니다..

파일들을 바로 FTP로 전송을 시도 했다면 소요되는 시간은 20일정도.. zip으로 압축하는 것은.. 수천만개의 파일을 하나의 zip으로 압축하는건 않되었고.. 백만개씩 나눠 압축하는 것은 손도 시간도 너무 많이 필요한 작업이고.. 외장형 하드에 복사하는 것이 가장 옳바른 판단이였는데.. 이 복사하는 시간에 대한 예상 시간은 2일로 산출되더군요..

그래서 어제 복사를 중지하고.. 오늘 아예 서버의 하드를 떼왔습니다. 그리고 오늘 11시 경부터 도스 시절부터 제공해 오던 XCopy를 이용해 복사를 하고 있습니다. 만약 XCopy가 아닌 드레그&드랍으로 했다면... 이거 실패합니다. 여하튼.. 이런 저런 시행착오 끝에 진행을 하고 있는데요.. 또 불안감이 엄습하네요...

사용자 삽입 이미지

보시면 메모리와 시스템의 핸들이 이상합니다.. 처음 시작할때 메모리 사용량은 2.30GB였는데요. 지금은 무려 4.92GB까지 올라갔습니다. 핸들 역시 눈에 띠지 않게 조심스럽게 올라가고 있습니다. 단순한 파일 복사일 뿐인데... 왜 이렇게 메모리 누수가 발생하는건지..... 이대로라면 새볔녁에 예전 격었던 시행착오처럼 실패할 가능성이 보입니다..

이대로 걸어 놓고 퇴근하려고 하는데.. 신경쓰이게 말이죠... 단순한 파일 복사.... 이런 단순한 파일 복사가 수천, 수백만번 수행... 메모리 누수? 복사할 파일을 열고 않닫나? 이건 아닐텐데... 왜? 메모리가 계속 올라가지... 뭐 이런....... 여하튼.. 별 뾰족한 수가 없습니다.. 그냥 맡길수밖에요....
Track this back : http://www.gisdeveloper.co.kr/trackback/598
Commented by WBIN at 2010/06/16 23:27  r x
데이터 이동중에 메모리를 거치는건 당연한거 아니었나요?;

DMA를 이용할테니 CPU는 거의 이용안하겠지만, 데이터 이동은 프로그램에 의해 이동되므로, 메모리를 사용하는게 당연한거 같은데요.
Replied by 김형준 at 2010/06/17 19:20 x
네, 님 말씀이 맞구요. 제가 언급한건.. 메모리 사용량이 불필요하게 지속적으로 조금씩 조금씩 올라간다는 내용이랍니다..
Commented by 청키 at 2010/06/17 10:59  r x
Total Commander를 사용해 보세요.^^; 오랫만에 뵙습니다.
Replied by 김형준 at 2010/06/17 19:19 x
토탈커맨더는 항상 사용하는 유틸인데.. 요놈도 xcopy에 비교할바가 못되네요.. 그래도 윈도 탐색기보다 토탈커맨더가 더 낳기는합니다. 여튼, 정말 오래간만이네요~
Commented by DarkBear at 2010/06/21 16:26  r x
저도, 같은 상황으로 애먹은 적이 있었습니다.
글을 보고 놀랬던 것은, 저 역시 최종적으로 해결책은 xcopy였다는 것이죠 ;;;
250GB 정도 되는 타일을 xcopy로 복사하였고, 다행이 무사히 끝마쳤습니다.
Replied by 김형준(Dip2K) at 2010/06/21 19:53 x
그러시군요! 저와 같은 업계에 일하시는 분을 보니 반갑고 기쁩니다! ^^

name    password    homepage
 hidden
BLOG main image
 Notice
DuraMap-Xr 소개 및 다운로드
[오픈소스] SimpleSHP v0.1
FingerEyes-Xr 소개 및 다운로드
OpenGL Tutorials
 Category
전체 (531)
GIS 개발 (146)
프로그래밍 (233)
스치는 생각들 (129)
번역 또는 집필 (3)
 TAGS
GIS Xr OpenGL Shader FingerEyes BlackPoint Algorithm Java Map Engine WPF
 Calendar
«   2012/02   »
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29      
 Recent Entries
[FingerEyes] 지오메트리...
[FingerEyes] Geometry로...
[FingerEyes] FID 리스트...
[FingerEyes] UPDATE, INS...
영화, "부러진 화살"
 Recent Comments
메일로 답변드렸습니다....
김형준 - 02/01
txt파일을 엑셀로 변환하...
최상준 - 02/01
코봉히님두 새해 복 많이...
김형준 - 01/25
아 너무 감사합니다. 새해...
코봉히 - 01/23
wkb는 http://www.gisdeve...
김형준(Dip2K) - 01/23
wkb의 구조가 shp파일의...
코봉히 - 01/20
wkb는 바이너리인지라.....
김형준(Dip2K) - 01/20
정말 좋은 정보 감사합니...
코봉히 - 01/20
은빛소나기님의 블로그를...
김형준 - 01/20
네, 빨간색으로 표시되는...
김형준 - 01/20
 Archive
2012/02
2012/01
2011/12
2011/11
2011/10
2011/09
2011/08
2011/07
2011/06
2011/05
2011/04
2011/03
 Link Site
Adobe Flex 3 Help
Cartograph 2.0
GADM
GIS 위키디피아
GIS 프로그래밍 연구소
MapTools.org
OGC
OGRE3D
OSGeo 한국 지부
Paul Bourke Site
Wikipedia
국가수자원관리 정보시스템
국립지리원
국토연구원
국토해양부
네이버 과학
대한측량협회
류광님의 블로그
이민파님의 공간분석과 리...
지오서비스(GeoService)
 Visitor Statistics
Total : 928722
Today : 201
Yesterday : 317
태터툴즈 배너
rss