소프트웨어 스토리

 오늘은 소프트웨어 이야기나 학교이야기가 아닌 책 (그것도 전공책도 아닌) 이야기를 하려고 합니다.

외국에 있는 저희에게까지도 소식이 닿을 정도로 유명해진 PD수첩 857회 검사와 스폰서 를 보고 정말 믿을 수 없는 현실을 대한 큰 충격에서 헤어나지 못하고 있습니다. (개인적으로 PD 수첩 제작진들 너무 존경합니다.) 이 어수선한 참에 사법개혁을 위해 수고 많으셨던 노무현 대통령님 생각이 많이 났습니다. 마침 노대통령님 서거 1주는 추모기념으로 책이 나왔습니다. 그분의 귀하심을 너무나 늦게 알아본 미안한 마음에, 또 그 분에 대한 그리운 마음에 운명이다 (노 무현 저/노무현재단, 유시민 공편)는 제가 10년만에 처음으로 구입하는 한국책이 되었습니다.


뭐 더 이상 설명이 필요없는 책인데 혹시 그 분이 그리우시거나 그 분의 생각에 대해 더 알고 싶은 분은 당근 읽으실 것이라 생각합니다. 얼마되지 않았는데도 오늘 지금 시각으로 예스24 베스트셀러 부분 10위를 차지하고 있는데 여러분들이 1위가 되도록 만들어 주세요. :-)

그러던 참에 온라인 서점을 둘러 보다 보니 베스트 셀러에  삼성을 생각한다라는 김용철 님이 쓰신 책이 있더군요. 이 책을 읽기에 매우 적절한 시기인 것 같아서 카트에 넣기를 누르고.


그리고 신문등을 통해 전해 들었던 우리나라 2번째로 한 곳에서 오랫동안 대사를 하시고 또 장관까지 역임하신 김하중 장관님의 책 하나님의 대사. 특히 이 분은 정치인들과 검사들이 무지 좋아한다는 술자리 (특히 폭탄주)에는 한번도 가시지 않으시는 분이면서도 본인의 전문적인 분야에서는 아주 출중하신 분으로 평가받고 있습니다. 한국처럼 술자리와 인맥이 중요시 되는 문화와 사회에 아주 신선한 내용이 될것 같습니다.
 

책 값은 다 합쳐서 5만원정도 되는데 홍콩에 산다고 배송비 2만원을 추가로 받더군요. 약간 억울한 생각이 들지만 마음에 쏙 드는 3권의 책과 10년만에 구입하는 한국책이라 큰마음 먹고 결제를 했습니다. 아쉽게도 책은 이번주 금요일인 4월 30일에 도착할 예정입니다. 이 책들을 받고 읽을수 있는 날들을 손꼽아 기다립니다.

제가 지금 일하는 직장에서 처음와서 만난 교수님들 가운데는 양창 (Qiang Yang)이라 불리는 교수님이 계십니다.  당시 저희 학과 대학원 디렉터셨고 저는 대학원생이 필요하다보니 자연스레 접촉이 많았습니다. AI 쪽을 연구하신다길래 저랑 전공도 멀고 해서 그런가보다 생각했습니다.



사진에서 보듯이 옆집 아저씨 같은 서글한 인상에 뭐든 부탁하면 잘 들어 줍니다. 덕분에 전 너무나 편하게 대학원생을 찾고 받을 수 있었습니다. 복장도 사진에 나오는 것처럼 딱 저런 스타일입니다. 청바지에다 위에 작업복 같은 점퍼를 하나 입고 다시시죠.

학과 이외에서 자주 만나는 곳은 운동장과 학교가 연결된 다리인데 저는 주로 운동을 하고 집으로 가는 길에, 이 분은 비닐같은데다가 수영복이랑 이런거 넣어 수영가시는 길에 만나서 '하이'하고 웃고 지나가는 사이입니다. 수영을 많이 하셔서 그런지 저처럼 피부도 상당히 검은 편입니다. (저는 캘리포니아에서 서핑을 많이해서 검은 편이고. :-))

공식적으로 이 분은 저의 멘토이십니다. 처음 온 어리버리한 교수와 학과의 훌륭한 교수를 멘토로 묶어주고 일년에 한두번씩 멘토링을 솔직하게 해줍니다. 지난 주에 그분에게 멘토를 받고 심심해서 Qiang Yang님의 홈페이지를 구경하다가 저는 완전 놀라고 말았습니다.

어느 분야던 Top학회에는 논문을 내기가 엄청 어려운 법입니다.  어떤 분은 이런곳의 논문 1개를 가문의 영광이라 표현 하기도 했습니다. AI분야나 ML분야에 제가 아는 Top학회는 AAAI, SIGIR, ICML, WWW 등이라 하겠습니다. (제가 이 분야를 잘 몰라서, 더 있을 수도 있습니다.) 그런데 이분의 논문들을 보면 http://www.cs.ust.hk/~qyang/publications.htm 이런 최고 학회에 논문이 한해에 몇십편씩 있습니다. 2010년 AAAI 만해도 몇개인지 헤아리기 힘든 정도입니다. 연구자들의 논문을 정리해주는 http://www.informatik.uni-trier.de/~ley/db/indices/a-tree/y/Yang:Qiang.html 에보면 연도별로 발표한 논문의 갯수도 함께 정리해주는데 대략 이렇습니다:

2007(29)

대부분은 top학회/저널 논문입니다. 그런데 이 분은 학과등에서 만나면 얼마나 겸손하신지, 항상 밝으시고 제가 뭐 말하면 웃으시면서 "Sounds good" 이런 말 많이 해주시고, 정말 옆집 아저씨 같은 편안한 인상입니다. 그러나 이 분은 이제껏 제가 만난 분들 중 논문으로 가장 뛰어나시면서 또 가장 겸손하신 분입니다. 이런 "겸손한 슈퍼스타"가 저의 멘토라는 것이 너무나 행운이고,  또 제가 닮고 싶은 분이 저희 학과에 가까이 계신 것이 저에게는 큰 행복입니다.

AI, ML 등에 관심이 있는 학생은 이 교수님의 연구실로도 지원해보시기 바랍니다.
http://www.cs.ust.hk/~qyang

사실 조금 자랑 같지만 우리 학과에는 스타 교수님들이 매우 많습니다. 뭐 어떤 분은 최근 5년간 ACM 모 top 저널의 논문 게재수로 세계 1위를 하시는 분이 계시고 (이런 분들이 몇 분계심), 어떤 분은 모 탑 학회에서 한 해에 7개의 논문이 accept되고, 어떤 분은 ACM의 저널을 창간하시며 초대 편집장이 되시는 (이런 저널에 편집위원으로 가기도 엄청 힘든데) 등등등... 우리 학과는 직접적인 압력은 없지만 이런 소문이 쫙 돌면서 서로에게 좋은 연구 압박으로 작용하는것 같습니다.

대학교 다닐때 부터 "MBA" 하면 저에게는 무언가 선망의 대상이 되는 단어습니다. 경영자적인 마인드가 있는 공학도 가 되려는 마음에, 그리고 주위에 MBA를 하신 분중에 좋은 분들도 많이 있고 해서 언제나 기회가 되면 MBA 를 하겠다고 생각하고 있습니다.

저희 학교 MBA과정을 하고 있는 한국분 한분을 오늘 만났는데 아주 반가운 소식을 들었습니다. MBA관련 학과 랭킹중 가장 전문적이고 권위있는 Financial Times (FT)에 의하면 홍콩과기대 MBA가 2010년 세계 9위에 랭크 되었다는 것입니다.



http://rankings.ft.com/businessschoolrankings/global-mba-rankings 참조

랭킹자체가 가지는 한계와 또 bias등이 있을수는 있지만 세계 10위권에 들어 간다는 것은 매우 대단한 일이라 생각합니다. 혹시 MBA를 꿈꾸시는 분들이 있다면 홍콩과기대 MBA 프로그램도 확인해보고 지원해 보시기를 권합니다.

저도 기회가 된다면 저희 학교, 세계 9위를 자랑하는 MBA 프로그램에서 공부를 할수 있으면 좋겠다는 생각이 듭니다.

소프트웨어 테스팅은 정말 필요한 부분이지만 개발자들은 테스트를 작성하거나 실행하는 것을 정말싫어하는것 같습니다. (저도 개발자 시절에 작성해본 테스트가 그리 많지 않은 같습니다.)

이런 개발자분들을 위해 많은 SE 연구자들이 자동으로프로그램을 테스트해주는 프로그램을 연구하기 시작했고 symbolic, conconlic, random등 많은자동 테스팅 방법이 나오고 사용되고 있습니다.

보통 자동 testing을 위해서는 testing할 프로그램의 부분 (unit)을 지정하고 이를 호출기 위한 입력값을 자동으로 생성해야 합니다.이 입력값이 int, float등의 기본타입의 경우는 쉽게 값을 만들수 있으나 입력값이Object인 경우에는 이를 생성하는 것이 쉽지 않습니다.

저의 한 친구가 2007년 개발한 Randoop (http://people.csail.mit.edu/cpacheco/randoop/1.2/doc/)이라는 도구는 이 문제를 해결하기 위해 프로그램에 있는 임의의 함수를 호출하여 object를생성하는 방식을 제안하였고 이는 매우 효과적이었습니다. 그러나 Randoop도 모든 object를 생성하지는 못하였고 그 결과로 test의 성능을 측정하는 branch coverage가 40~60% 정도에머물러있습니다. (반대로 40%~60%의 코드는 테스트가 되지 않는다는이야기가 됩니다.)

저희는 object가 testing의성능에 큰 영향을 미친다는 것을 발견하고 일반적인 프로그램의 실행상에 생성되는 메모리상의 object를 캡춰하여testing에 사용하는 방법에 대해 연구하였습니다. 이 방법을 저희는귀엽게 OCAT (Object Capturing-based Automated Testing) 이라 부릅니다.

OCAT을 3개의 오픈소스, Apache Commons Collections (ACC), Apache XML Security (AXS), 그리고 JSAP 에서 실험해보았습니다. 아래 그림에서 보는것 같이 OCAT (노란색선) 을 사용하게 되면Randoop (파란색선) 보다 약 20% 이상 testing의coverage를 높일수 있게 됩니다. 간단한 아이디어지만매우 powerful한 결과입니다.

Iowa대학과 North Carolina 대학과 공동으로 한 이 연구는 2010년 ISSTA (http://selab.fbk.eu/issta2010/)에서발표될 예정입니다. (ISSTA는 SE 분석및 테스팅 관련 최고의 학회입니다.)

여러분들은 여러분들의 소프트웨어를 어떻게 testing하고 있는지 궁금합니다. 어떤 tool을 사용하시는지,어떤 방법으로 하시는지, 어떤 개선점이 있을지 등을 알려 주세요. 그런 정보를 바탕으로 개발자들을 소프트웨어 테스팅의 고통에서 조금이라도 벗어날수 있도록 해줄수 있는 연구를 하고 싶습니다.

연구를 하는 사람이 가장 싫어하는 두글짜 단어는 바로 “리젝”일 것입니다. 몇개월에서 몇년동안 공들인 연구논문이 “리젝”되거나 연구>자금이 꼭 필요한 시점에서 밤세워 작성해서 보낸 연구제안서가 “리젝”되면 정말 눈앞이 캄캄하거나 심지어 이 아픔을 극복하는데 몇주>에서 몇달이 걸리기도 합니다.

특히 논문등의 심사가 peer-review를 통해 이루어 지다 보니 모든 리뷰어들을 만족시키기는 쉽지 않은 일이고 공정하지 못하다고 생각하는 리뷰들도 많고... 그나마 top 학회/저널의 경우에는 합격률마저 낮으니 좋은 논문들도 “리젝”을 당합니다. (그렇게 믿고싶습니다.:-) 그 예로 저의 한 논문에 5명의 리뷰어가 있었는데 이중 4명이 A(완전 쏙 마음에 듬) 그리고 한명이 D (완전 리젝) 이렇게 점수를 준적도 있습니다.

그러나 저는 이러한 아픔후 큰 기쁨을 경험한 적이 있어서 리젝에서 희망과 설레임을 발견합니다. 오늘은 그 경험을 조금 나누려고 합니다.

2009년 ECOOP (Europe OOP Top 학회)에 발표된 논문은 이전 모 학회에서 떨어진 논문이었습니다. 최근 AAAI (AI Top)도 이전 모 학회에>서 리젝을 당했던 논문입니다. OS의 최고 학회로 존경받는 SOSP 에 발표되고 추가로 MIT review와 Slashdot에까지 토론된 논문도 이전 >두번의 아픔이 있었습니다. 무엇보다도 SE top인 ICSE 2007년에 발표되고 distinguished award수상까지 했던 저의 자랑스러운 논문도 아픔이 있었습니다.

이제 한달후면 SE의 최고학회중 하나인 FSE의 제출해두었던 저의 논문들의 심사 결과가 발표될예정입니다. FSE홈페 이지에 적어 놓은 것처럼 (“FSE is a very selective conference”), 아마도 제 논문들 중에서도 리젝이 있을수도 있고  그 결과로 아픔이 있겠지만, 이 리젝 들이 다른 top에서 활약할것이라는 설레임 또한 있을 것입니다. “리젝의 아픔, 그러나 설레임”을 생각하며 저는 리젝을 잘주는 top 들에게만 계속 계속 논문을 보낼 생각입니다.