웹서비스와 퍼포먼스

원래 출처는 http://blog.naver.com/kaizer0720/80042740822 이며, 웹서비스가 바이너리 데이터 전송에 적합한지에 대한 의문점과 적합하지 않다면(적합하지 않다고 짐작했기에) 그 해결방안이 무엇인가에 대해 검색을 하다가 찾은 글입니다. 일반적으로 쉽게 이해할 수 있는 글인데요, 그중에 퍼포먼스에 대한 부분만 간단하게 나름대로 정리해 간추렸습니다.

웹서비스와 퍼포먼스

웹서비스는 SOAP 프로토콜을 사용하므로 SOAP 포로토콜이 가지고 있는 문제를 그대로 가지고 있다고 할 수 있습니다… 해서, SOAP 패킷에 대한 SOAP Envelope에 대한 압축을 푸는 시간과 SOAP이 사용하는 데이터 표현인 XML에 대한 파싱에 매우 많은 시간이 소모됩니다. 이를 정리하면…

  • SOAP 패킷에서 SOAP Envelope에 대한 압축을 포는 것에 많은 시간이 소모된다.
  • XML 파서를 이용하여 SOAP Envelope에 있는 XML 파싱에 많은 시간이 소모된다.

또한 앞에 언급한 XML은 실제 데이터를 기술하는 메타 데이터(Tag Element)가 붙음으로 중복적이며 비효율적이며 최적화에 대한 여지가 매우 적습니다.

특히 앞서 언급한 바이너리 데이터의 경우 SOAP은 원래의 하나의 바이트가 표현할 수 있는 256개(ASCII 코드의 개수)를 XML이라는 텍스트 포맷으로 표현하기 위해 화면상에 표현할 수 있는 것들로만 간추린 64개의 문자로 인코딩을 함으로써 원본의 크기보다 4배로 커지게 된다는 극심한 문제점이 발생합니다. 즉, 데이터의 크기가 커진다는 문제와 64개의 문자로 인코딩하는 연산이 필요로 합니다. 마찬가지로 이러한 문제는 서버측에서만 발생하는 것이 아니라 클라이언트 측에서도 4배로 커진 데이터를 받아 다시 원본으로 디코딩해줘야 합니다. 이를 정리하면…

  • 서버측에서 바이너리 데이터에 대해서 Base64로 인코딩하는 연산이 필요하다.
  • 인코딩 결과 원본의 크기에 대해 4배로 커진다.
  • 클라이언트 측에서 서버가 보낸 데이터를 다시 디코딩하는 연산이 필요하다.

그렇다면 이에 대한 해결책이 무엇일까.. 고민하게 됩니다. 실망스럽게도… 바이너리 데이터에 대한 Base64 인코딩 결과를 압축을 해서 데이터의 크기를 줄여 클라이언트로 보내라는 것이 전부입니다. 그렇다면 데이터의 크기는 줄어드는 장점은 있으나… 서버측에서 데이터를 인코딩하고 다시 압축한 후에 클라이언트로 전송하여 클라이언트에서 압축을 풀고 데이터를 디코딩하는 복잡한 연산을 필요로 하게됩니다. 사실 SOAP의 Envelope에 대한 문제점은 무시하고라도 인코딩과 디코딩.. 그리고 원본보다 4배(평균) 커진다는 문제점이 가장 염려스러운 부분이긴 합니다.

대용량 또는 작은 용량의 바이너리 데이터 전송에 웹서비스가 접합한 기술인지… 여러분은 어떻게 생각하십니까?

ATL 웹서비스에서 바이너리 데이터 전송에서의 메모리 해제

읽어보시고, 답변 아시는분.. 꼭 댓글 부탁드립니다~ ^^

위의 제목을 영어로 한다면….. 음.. The Release of Memory allocated for the Translating Binary Data in the ATL WebService.. 맞나?? ㅎㅎ 틀렸겠지요~ 무척 짧은 영어다보니…

이번주 월요일부터 오늘까지로 해서 ATL에서 웹서비스를 제작하는데 몇가지 문제점을 파악중입니다. 몇가지 문제점 중에 한가지 풀리지 않은 의문이 있는데요. 바로 웹서비스에서 바이너리 데이터를 클라이언트로 전송할때 서버측의 웹서비스에서 바이너리 데이터를 메모리에 할당하는데….. 이렇게 할당을 했으면 메모리에서 해제를 해야함은 당연합니다. 그런데, MSDN에서 제공하는 예제에서는 할당만 있을뿐 해제는 없더군요. 아래는 서버측(서비스부)에서 바이너리 데이터를 전송해주는 Test 함수의 모습입니다.

HRESULT CServiceXGE::HelloDump(ATLSOAP_BLOB *bstrOutput)
{
    bstrOutput->size = 1024*1024;
    bstrOutput->data = 
        (unsigned char *)malloc(bstrOutput->size);
    
    static bool bFlag = true;
    if(bFlag)
        strcpy((char *)bstrOutput->data, "This is HelloDump");
    else
        strcpy((char *)bstrOutput->data, "tHIS IS hELLOdUMP");
    
    bFlag = !bFlag;
    
    return HTTP_SUCCESS;
}

그리고 아래는 서비스를 호출하는 클라이언트에 대한 코드입니다.

    cs_.PerformanceTest();

    ServiceXGE::CServiceXGE *pSvcXGE = new ServiceXGE::CServiceXGE();

    ATLSOAP_BLOB blobDta;
    HRESULT hRet = pSvcXGE->HelloDump(&blobDta);

    char szBuf[20];
    sprintf(szBuf, "size: %ld =>;", blobDta.size);

    cs_.Write(szBuf);
    cs_.Writeln((const char *)(blobDta.data));

    free(blobDta.data);

    delete pSvcXGE;

    cs_.PerformanceTest(FALSE);

클라이언트에서는 free가 있습니다!! 하지만… 서비스의 프로세스와 클라이언트의 프로세스가 별개일뿐만 아니라 서비스와 클라이언트가 동일한 PC일리도 없습니다. 즉, 서비스의 메모리 할당에 대한 해제가 아니라는 것이지요.

다시 돌아가서, malloc를 통해 클라이언트에게 전송할 데이터를 메모리에 할당을 했습니다. 그럼 적절한 시점에서 클라이언트로 메모리에 할당된 데이터가 쓩~~ 날라가겠지요. 이제 다 날라갔다면.. malloc의 짝꿍인 free 함수를 사용해서 해제를 해야는게 상식일겁니다. 하지만 MSDN의 예제나 구글에서 검색을 해봐도 할당만 했을뿐 해제를 하는 경우가 없습니다. 그럼 해제는 웹서비스가 알아서 해주나보다… 하면 될것을, 저는 아무래도 찜찜해서 이것저것 더 찾아보았습니다. 그러나… 결론은 역시 웹서비스가 알아서 해주나보다…로 결론이 날듯합니다. 역시 여전이 찝찝합니다. 사실 곰곰이 생각해보면 클라이언트로 전송해주기 위해 메모리를 할당하고 클라이언트로 전송이 끝나면 이제 할당받은 메모리를 해제해주는 흐름에 대한 개념은 절대 틀리지 않다고 봅니다. 그런데… 문제는 해제를 해줄 시점에 대한 코드부를 찾을 수 없다는 점입니다. 위의 코드에서 return HTTP_SUCCESS; 바로 직전에 free 함수를 호출하면 아직 클라이언트로 전송하지 않은 시점이기 때문에 에러가 발생하구요.. 그래서, 역시 데이터를 클라이언트로 전송할 시점이 내부적으로 깊이 숨겨져 있어, 그 시점에 접근할 수 없으므로 개발자가 메모리 할당은 했지만 해제는 자동으로 하는 것으로 생각이 굳혀졌습니다.

그래서 이번엔 서비스 측의 코드를 수정해 다른 테스트를 해보았습니다.

char buf[1024*1024];

HRESULT CServiceXGE::HelloDump(ATLSOAP_BLOB *bstrOutput)
{
   bstrOutput->size = 1024*1024;
   bstrOutput->data = buf;

   static bool bFlag = true;
   if(bFlag)
      strcpy((char *)bstrOutput->data, "This is HelloDump");
   else
      strcpy((char *)bstrOutput->data, "tHIS IS hELLOdUMP");

   bFlag = !bFlag;

   return HTTP_SUCCESS;
}

즉, 동적 할당이 아닌 정적 할당입니다. 실행해보면 잘… 됩니다. 물론 클라이언트 코드는 그대로입니다.사실 에러가 나주길 바랬습니다. 내부적으로 메모리 할당을 자동으로 해준다면 정적 메모리 주소에 대한 메모리 해제는 에러가 나야 하기 때문입니다. 그러나… 잘 됩니다. 그렇다면 내부적으로 메모리 해제를 자동으로 해주지 않는다는 말인데?? 라는 생각이 듭니다. 하지만 혹시 내부적으로 메모리가 스택에 있는지, 힙에 있는지를 파악해서 스택이면 메모리 해제를 하지 않고 힙일 경우에만 하는것이 아닌가라는 생각이 듭니다.

않되겠다 싶어서, 물 막고 품는 방식으로 확인을 해보았습니다. 방법은 클라이언트에서 수백번 서비스를 요청을 작업관리자의 메모리 사용량으로 확인을 해보았습니다. 물론 서비스는 동적 메모리 방식으로 말이지요. 수백번 요청이면 한 요청당 1MB 씩 할당하므로 수백MB의 메모리 릭이 발생할 것으로 판단했습니다. 결론은 메모리릭이 없다… 입니다. 그럼 역시 내부적으로 자동으로 메모리를 해제해주는구나.. 라는 판단이 옳은것같습니다. 하지만 역시 왠지 찝찝합니다. 그래서 좀더 검색을 해보던중 CodeProject에 좋은 예를 하나 발견했는데, 그 코드를 살펴보니 ATL에 메모리 관리자가 있다는 것을 알았습니다. 그 메모리 관리자를 사용해 코드를 다시 작성하면 아래와 같습니다.

HRESULT CServiceXGE::HelloDump(ATLSOAP_BLOB *bstrOutput)
{
    IAtlMemMgr *pMem = GetMemMgr();

    bstrOutput->size = 1024*1024;
    bstrOutput->data = 
             (unsigned char *)pMem->Allocate(bstrOutput->size);

    static bool bFlag = true;
    if(bFlag)
        strcpy((char *)bstrOutput->data, "This is HelloDump");
    else
        strcpy((char *)bstrOutput->data, "tHIS IS hELLOdUMP");

    bFlag = !bFlag;

    return HTTP_SUCCESS;
}

즉, 메모리 관리자를 얻어와서 이 메모리 관리자를 통해 필요한 만큼의 메모리 덩어리를 할당받습니다. 그리고 할당받은 메모리를 해제하는 역시 없습니다. 아마도 이 메모리 할당자가 알아서 메모리를 해제해주는 특별한 행동을 한다고 생각해도 좋을듯 싶습니다. 이제 위의 서비스에 대한 클라이언트 부분에 대한 코드입니다.

  cs_.PerformanceTest();

  ServiceXGE::CServiceXGE *pSvcXGE = new ServiceXGE::CServiceXGE();

  ATLSOAP_BLOB blobDta;
  HRESULT hRet = pSvcXGE->HelloDump(&blobDta);

  char szBuf[20];
  sprintf(szBuf, "size: %ld =>", blobDta.size);

  cs_.Write(szBuf);
  cs_.Writeln((const char *)(blobDta.data));

  IAtlMemMgr *pMem = pSvcXGE->GetMemMgr();
  pMem->Free(blobDta.data);

  delete pSvcXGE;

  cs_.PerformanceTest(FALSE);

수정된 것은 일단 서비스의 프록시를 통해 서비스의 메모리 관리자를 얻어와서 이 메모리 관리자를 통해 메모리를 해제합니다. 뭔가 딱딱 들어 맞는듯합니다. 위의 메모리 관리자의 메모리 해제하는 함수(Free)는 내부적으로 클라이언트의 메모리를 해제하는 것은 분명하고… 아마도, 또 다른 임무인, 자신의 서비스 프록시를 통해 서비스에게 데이터 전송이 끝났으니 아까 메모리 덩어리를 해제해도 좋다는 메세지를 날리는 것이 아닐까? 라는 짐작을 해봅니다. 하지만 이것은 어디까지나 짐작이고… 사실 솔찍히 말한다면, 이건 아닐거라고 봅니다. 하지만 제가 살펴본 ATL로 만든 웹서비스를 통해 바이너리 데이터를 전송하는 코드 중에서는 가장 세련되어 보입니다. 일단 문제 생기면 그때 다시 파악해 보렵니다.

명확하게 이것은 이렇게 저렇게 된다! 라고 명시된 책의 문구가 있으면 좋겠는데… ATL을 이용한 웹서비스의 개발은 대세가 아닌지라.. 그런 문구를 찾지 못해 이런 추측으로 마무리를 하네요. ^^; 참고로 Visual Studio 2008에서는 ATL을 이용해 웹서비스를 개발하는 프로젝트가 제거된듯합니다. 암만 찾아봐도 2008의 새로운 프로젝트에서는 나오질 않네요. 웹서비스를 만들기 위해서는 .NET을 이용하라.. 인가 봅니다.