1. 연구 논문 효율적으로 읽는 방법 [0]

thumbnail 딥러닝 분야는 빠르게 발전하므로, 연구 논문을 효율적으로 읽는 방법을 익히는 것이 지속적인 학습과 발전에 필수적이다.

1.1. 논문 읽기 접근 방식 [17]

  1. 여러 논문을 훑어보며 핵심 파악 [17]
    1. 박사 과정 학생들이 논문 읽는 법을 '삼투압'처럼 자연스럽게 배우는 경우가 많지만, 효율적인 학습을 위해 체계적인 접근이 필요하다 [17].
    2. 특정 분야(예: 음성 인식 시스템 구축)를 마스터하려면, 먼저 관련 논문, 미디엄 포스트, GitHub 자료 등 학습 자료 목록을 작성한다 [19].
    3. 처음에는 여러 논문을 빠르게 훑어보며 각 논문의 10% 정도를 읽고 이해하려 노력한다 [25].
    4. 이 과정에서 중요하지 않거나 잘못된 논문은 과감히 건너뛰고, 핵심적인 논문을 찾아 집중적으로 읽고 이해한다 [27].
  2. 분야 이해를 위한 논문 읽기 목표 설정 [33]
    1. 20~50편의 논문을 읽으면 해당 분야에 대한 기본적인 이해를 얻을 수 있다 [33].
    2. 50~100편의 논문을 읽고 이해하면 해당 분야에 대한 매우 깊은 이해를 갖출 수 있다 [34].
    3. 3~20편의 논문은 구현에는 충분할 수 있지만, 심층 연구나 최첨단 기술 이해에는 부족할 수 있다 [36].

1.2. 한 편의 논문을 효율적으로 읽는 방법 [39]

  1. 여러 번에 걸쳐 읽는 다단계 접근법 [39]
    1. 논문을 처음부터 끝까지 순서대로 읽는 것은 비효율적이다 [41].
    2. 앤드류 응(Andrew Ng) 교수는 항상 읽지 않은 논문 더미를 가지고 다니며, 매주 5~6편의 논문을 읽어 스터디 그룹에서 논의할 2편을 선정한다고 한다 [43].
    3. 논문을 읽을 때는 여러 번에 걸쳐 읽는 것이 좋다 [53].
    4. 첫 번째 단계: 제목, 초록, 그리고 특히 딥러닝 논문의 경우 그림을 먼저 읽는다 [55]. 그림과 캡션만으로도 논문의 전체 내용과 핵심 아이디어를 80% 정도 이해할 수 있는 경우가 많다 [57].
  2. 도입부와 결론에 집중하고 관련 연구는 나중에 [59]
    1. 두 번째 단계: 도입부와 결론을 더 주의 깊게 읽고, 모든 그림을 다시 살펴본 후 나머지 부분을 훑어본다 [59].
    2. 논문 저자들은 심사위원에게 논문의 가치를 설득하기 위해 초록과 결론에 핵심 내용을 명확하게 요약하는 경향이 있다 [60].
    3. 관련 연구(Related Work) 섹션은 해당 분야에 익숙하지 않다면 처음에는 건너뛰거나 훑어보는 것이 좋다 [63]. 때로는 저자들이 논문 심사자들을 만족시키기 위해 불필요하게 많은 참고 문헌을 인용하는 경우도 있기 때문이다 [67].
  3. 수학적 내용과 중요하지 않은 부분은 건너뛰기 [69]
    1. 세 번째 단계: 논문을 읽되, 수학적 내용은 일단 건너뛴다 [69].
    2. 연구 논문은 최첨단 연구를 다루기 때문에, 저자들도 어떤 부분이 정말 중요한지 모르는 경우가 많다 [71].
    3. 예를 들어, LeNet-5 논문은 컨볼루션 네트워크의 기반을 다진 획기적인 논문이지만, 논문의 절반은 현재 거의 사용되지 않는 트랜스듀서(transducers)와 같은 다른 주제를 다루고 있다 [73].
    4. 따라서 논문의 일부 내용이 이해되지 않더라도 괜찮으며, 처음에는 훑어보고 넘어가는 것이 효율적이다 [76].

1.3. 논문 이해도 확인 및 학습 지속 방법 [82]

  1. 논문 이해도 확인 질문 [82]
    1. 논문을 읽고 이해한 후에는 다음 질문들에 답해보며 이해도를 점검한다 [83].
      1. 핵심 요소는 무엇인가?
      2. 이 논문의 아이디어를 어떻게 활용할 수 있는가?
    2. 동료들과 함께 논문을 읽고 이 질문들에 대해 토론하는 것이 좋다 [85].
  2. 실습: DenseNet 논문 읽기 [87]
    1. 앤드류 응(Andrew Ng) 교수는 학생들에게 "Densely Connected Convolutional Networks" (DenseNet) 논문을 7분 동안 읽고 핵심 내용을 파악하는 실습을 진행했다 [95].
    2. 이 논문은 특히 그림 1과 그림 2에 핵심 아이디어가 거의 모두 요약되어 있다 [110].
    3. 논문 읽기는 연습할수록 빨라진다 [113]. 예를 들어, 표 1과 같은 네트워크 아키텍처 설명 형식은 처음에는 복잡해 보이지만, 여러 논문을 읽다 보면 익숙해져 빠르게 이해할 수 있게 된다 [115].
    4. 앤드류 응(Andrew Ng) 교수는 DenseNet과 같은 논문을 이해하는 데 약 30분이 걸리며, 머신러닝 초보자는 1시간 정도 걸릴 수 있다고 언급했다 [119].
  3. 최신 연구 동향 파악 방법 [129]
    1. 새로운 지식을 습득하려면 웹 검색을 활용하고, 음성 인식 분야의 중요한 논문들을 정리한 블로그와 같은 훌륭한 자료들을 찾아본다 [130].
    2. 빠르게 발전하는 딥러닝 분야의 최신 동향을 파악하기 위해 트위터(Twitter), r/MachineLearning 서브레딧, 그리고 NeurIPS, ICML, ICLR과 같은 주요 머신러닝 학회 논문들을 확인하는 것이 유용하다 [133].
    3. 스터디 그룹을 만들거나 직장 동료들과 흥미로운 논문을 공유하는 커뮤니티를 형성하는 것도 매우 도움이 된다 [139].
  4. 수학 및 코드 심층 이해 방법 [154]
    1. 수학적 내용 이해: 논문의 수학적 내용을 깊이 이해하려면, 논문을 주의 깊게 읽고 상세한 노트를 작성한 다음, 아무것도 없는 백지 상태에서 직접 유도 과정을 재현해보는 것이 좋다 [157]. 이는 새로운 수학적 아이디어를 개발하는 능력과도 관련이 있다 [164].
    2. 코드 이해: 오픈 소스 코드를 다운로드하여 실행하는 것은 기본적인 학습 방법이다 [172]. 하지만 알고리즘을 처음부터 직접 다시 구현(reimplement)해보는 것이 해당 문제를 진정으로 이해했음을 보여주는 강력한 증거이다 [173].
  5. 꾸준한 학습의 중요성 [176]
    1. 지속적인 학습과 발전을 위해 가장 중요한 것은 꾸준히 학습하는 것이다 [176].
    2. 추수감사절 연휴 동안 50편의 논문을 몰아서 읽는 것보다, 매주 몇 편의 논문을 꾸준히 읽는 것이 장기적인 학습에 훨씬 효과적이다 [177].
    3. 교육학적으로 분산 학습(spaced repetition)이 벼락치기보다 장기 기억에 훨씬 좋다는 것이 입증되었다 [178].
    4. 앤드류 응(Andrew Ng) 교수는 항상 몇 편의 논문을 가지고 다니며, 태블릿보다는 종이 논문이 페이지를 넘기며 훑어보기에 더 효율적이라고 언급했다 [180].
    5. 스터디 그룹에 참여하거나 동료들과 함께 학습하며 서로 돕는 것이 지속적인 학습에 도움이 된다 [189].

2. 머신러닝 분야에서 성공적인 커리어 쌓기 [193]

thumbnail

머신러닝 분야에서 성공적인 커리어를 쌓기 위해서는 기술 역량, 의미 있는 프로젝트 경험, 그리고 훌륭한 동료들과 함께 중요한 일을 꾸준히 하는 것이 중요하다.

2.1. 커리어 목표 설정 및 채용 담당자가 찾는 역량 [198]

  1. 커리어 목표: 중요한 일 하기 [198]
    1. 대부분의 학생들은 머신러닝 관련 직업을 찾거나, 대학원 진학을 목표로 한다 [199].
    2. 궁극적으로는 중요한 일(important work)을 하는 것이 목표가 되어야 한다 [203].
  2. 채용 담당자가 찾는 역량 [208]
    1. 기술 역량: 대부분의 채용 담당자는 기술 역량(technical skills)을 중요하게 본다 [212].
      1. 머신러닝 면접에서는 경사 하강법(gradient descent)이나 배치 크기(batch size)에 대한 질문, GRU(Gated Recurrent Unit)와 같은 특정 알고리즘에 대한 질문이 자주 나온다 [213].
      2. 머신러닝 개념과 프로그래밍 능력 모두를 평가한다 [215].
    2. 의미 있는 프로젝트 경험: 이론적 지식뿐만 아니라, 의미 있는 환경에 적용(meaningful setting)하여 실제로 작동하게 만들 수 있는 능력을 보여주는 것이 중요하다 [218]. 실질적인 프로젝트 경험은 고용주에게 신뢰를 준다 [221].
    3. 지속적인 학습 능력: 빠르게 발전하는 머신러닝 분야에서 새로운 기술을 배우고 최신 동향을 따라가는 능력도 중요하게 평가된다 [222].

2.2. T자형 인재가 되는 방법 [223]

  1. T자형 인재의 중요성 [223]
    1. 성공적인 AI/머신러닝 엔지니어는 T자형 인재(T-shaped individuals)인 경우가 많다 [225].
    2. 이는 다양한 AI/머신러닝 분야(머신러닝, 딥러닝, 확률적 그래픽 모델, NLP, 컴퓨터 비전 등)에 대한 폭넓은 이해(broad understanding)와 함께, 최소 한 가지 분야에 대한 깊이 있는 전문성(deep understanding)을 갖추고 있음을 의미한다 [224].
    3. CS230과 같은 수업을 통해 딥러닝 분야의 깊은 이해를 개발할 수 있다 [226].
  2. 깊이 있는 전문성 확보 방법 [227]
    1. 프로젝트 참여, 오픈 소스 기여, 연구 활동, 인턴십 경험 등이 특정 분야에 대한 지식을 심화하는 데 도움이 된다 [227].
    2. 이러한 경험들은 채용 담당자에게 폭넓은 기술과 중요한 문제에 적용할 수 있는 능력을 동시에 보여준다 [229].
    3. CS230의 프로젝트는 학생들이 특정 딥러닝 분야를 깊이 파고들어 의미 있는 프로젝트를 만들고, 실제 작동하는 시스템을 구축하는 실질적인 경험을 제공하도록 설계되었다 [230].
  3. 피해야 할 커리어 접근 방식 (실패 사례) [235]
    1. 너무 넓게만 아는 경우: 여러 수업을 듣고 다양한 분야를 얕게만 아는 것은 최선의 방법이 아니다 [235]. 취업은 가능할 수 있지만, 깊이 있는 전문성이 부족하다.
    2. 너무 깊게만 파고드는 경우: 기초 지식 없이 특정 분야에 너무 일찍 깊이 파고드는 것도 비효율적이다 [241]. 특히 신입생의 경우, 코딩이나 머신러닝 기초 없이 바로 연구 프로젝트에 뛰어드는 것은 생산적이지 않다 [248].
    3. 작은 프로젝트만 여러 개 하는 경우: 10개의 작은 프로젝트를 하는 것보다 1~2개의 훌륭하고 의미 있는 프로젝트(great projects)를 하는 것이 훨씬 더 인상적이다 [254]. 채용 담당자는 양보다는 질을 중요하게 평가하며, 이는 실제 역량을 반영한다 [258].

2.3. 수평적/수직적 기술 개발 전략 [261]

  1. 수평적 기술(기초 지식) 개발: [261]
    1. 강의 수강: 코스워크는 기초 기술을 쌓는 데 매우 효율적인 방법이다 [262].
    2. 연구 논문 읽기: 연구 논문을 읽는 것도 기초 지식을 넓히는 데 도움이 된다 [264].
    3. 커뮤니티 활용: 스터디 그룹이나 동료들과의 교류는 학습에 큰 도움이 된다 [264].
  2. 수직적 기술(심층 전문성) 개발: [265]
    1. 관련성 있는 프로젝트: 머신러닝 커리어를 쌓으려면 CS, 머신러닝, 딥러닝과 관련된 의미 있는 프로젝트를 수행해야 한다 [265].
    2. 취미와 일의 균형: 춤이나 해외 교환 프로그램과 같은 활동은 즐거움을 주지만, 직접적으로 커리어에 기여하지는 않는다 [267]. 하지만 즐거움을 추구하는 것도 중요하다.
  3. 꾸준함의 중요성 (토요일 아침 문제) [273]
    1. 토요일 아침 문제(Saturday Morning Problem): 매주 토요일 아침마다 연구 논문을 읽거나, 오픈 소스 프로젝트에 참여하거나, TV를 보는 등의 선택에 직면한다 [274].
    2. 하루 종일 열심히 일해도 다음 주 월요일에 딥러닝 실력이 크게 향상되지 않는 것처럼 느껴질 수 있으며, 이러한 노력은 단기적인 보상이 거의 없다 [277].
    3. 성공의 비결은 한 번의 강렬한 노력보다는 꾸준함(consistently)에 있다 [281].
    4. 매주 2편의 논문을 1년 동안 읽으면 100편의 논문을 읽게 되고, 이는 딥러닝 실력을 크게 향상시킨다 [283].
    5. 매주 조금씩 시간을 내어 논문을 읽고, 오픈 소스에 기여하고, 온라인 강의를 수강하는 것이 장기적으로 훨씬 더 큰 성과를 가져온다 [287].
    6. 이러한 꾸준한 노력은 머신러닝 전문가로서의 역량을 키우고, 의미 있는 일을 할 수 있는 힘을 길러준다 [291].

2.4. 직업 선택 시 고려 사항 [293]

  1. 함께 일할 사람들의 중요성 [293]
    1. 새로운 것을 계속 배우고 싶다면, 훌륭한 사람들과 훌륭한 프로젝트를 함께 하는 것이 성공의 가장 큰 예측 변수이다 [297].
    2. 사회 과학 연구에 따르면, 주변 사람들의 습관(예: 흡연, 체중)이 자신에게 큰 영향을 미친다 [298]. 마찬가지로, 열심히 일하고 배우며 발전하려는 친구들은 긍정적인 영향을 준다 [300].
    3. 앤드류 응(Andrew Ng) 교수는 스탠퍼드 학생들의 커리어를 보며, 미래 성공을 예측하는 패턴을 배웠다고 한다 [302].
  2. 팀과 매니저에 집중 [308]
    1. 직업을 선택할 때는 함께 일할 팀(team)에 집중해야 한다 [308].
    2. 팀은 10~30명, 많게는 50명 정도의 규모로, 이들과 가장 밀접하게 교류하며 가장 큰 영향을 받게 된다 [309].
    3. 특히 매니저(manager)는 가장 큰 영향을 미치는 사람 중 한 명이므로, 매니저를 직접 만나보고 함께 일하고 싶은 사람인지 확인해야 한다 [312].
    4. 회사의 브랜드(brand)는 개인적인 경험과 크게 관련이 없으므로, 브랜드만 보고 회사를 선택하는 것은 좋지 않다 [314].
  3. 대기업 내 팀 선택의 함정 [321]
    1. 대기업의 AI 팀: 5만 명 규모의 대기업에 300명 규모의 AI 팀이 있다면, 그 팀은 매우 훌륭할 수 있다 [327]. 30명 규모의 AI 팀이라면 매니저와 동료들을 직접 알 수 있어 더 좋다 [330].
    2. 실패 사례: 한 스탠퍼드 학생은 훌륭한 AI 그룹이 있는 대기업에 합격했지만, 결국 지루한 자바 백엔드 결제 팀에 배정되어 1년 반을 허비하고 퇴사했다 [334]. 이는 AI/머신러닝 분야의 폭발적인 성장을 놓친 안타까운 사례이다 [347].
    3. 로테이션 프로그램 주의: 회사가 어떤 프로젝트를 할지, 누가 매니저가 될지 알려주지 않는 로테이션 프로그램(rotation programs)은 매력적이지 않을 수 있다 [350]. 회사가 정보를 숨기는 것은 그 내용이 지원자에게 매력적이지 않을 가능성이 높기 때문이다 [353].
    4. 로테이션 프로그램이 서류상으로는 좋아 보일 수 있지만, 결국 거대한 회사 내에서 어디든 배치될 수 있으므로 매우 신중해야 한다 [355].
  4. 덜 알려진 회사의 엘리트 팀 [363]
    1. AI 분야에서 잘 알려지지 않은 회사라도, 100명 규모의 엘리트 팀(elite team)이 훌륭한 머신러닝 작업을 수행하는 경우가 많다 [367].
    2. 이러한 팀을 찾아 합류한다면, 회사의 전반적인 브랜드가 덜 유명하더라도 많은 것을 배우고 중요한 일을 할 수 있다 [370].
    3. 실리콘밸리에서는 이력서에 적힌 브랜드보다 실질적인 기술과 역량이 점점 더 중요해지고 있다 [371].
    4. 따라서 이력서에 좋은 '도장'을 받기보다는, 최고의 학습 경험을 제공하고 가장 중요한 일을 할 수 있는 직책을 선택하는 것이 좋다 [375].
    5. 한 회사 내에서도 팀별 편차가 매우 크며, 이는 회사 간의 편차보다 클 수 있다 [378].
    6. 만약 회사가 어떤 팀에 합류하게 될지 알려주지 않는다면, 다른 옵션을 심각하게 고려해야 한다 [379].
  5. 일반적인 조언: 학습과 의미 있는 일 [381]
    1. 대형 소매업체나 대규모 헬스케어 시스템처럼 AI 분야에서 잘 알려지지 않은 회사에도 훌륭한 AI 팀이 있을 수 있으며, 그곳에서 매우 흥미로운 직책을 찾을 수 있다 [381].
    2. 커리어 초반에는 가장 많이 배울 수 있는 두 가지 일을 선택하는 것이 중요하다 [390].
    3. 훌륭한 팀원들과 함께 일하면 많은 것을 배울 수 있다 [392].
    4. 다른 사람들에게 도움이 되는 의미 있는 일(meaningful work)을 하면서 많이 배울 수 있는 직책을 찾는다면, 장기적인 성공을 위한 기반을 마련할 수 있다 [393].

2.5. AI의 미래와 중요한 문제 [397]

  1. 다양한 분야의 중요성 [397]
    1. 인생에서 가장 의미 있는 일 중 하나는 인류의 발전에 기여하거나 다른 사람들을 돕는 것이다 [398].
    2. 세상은 다양한 분야에서 일하는 많은 사람들을 필요로 한다 [400].
    3. 앤드류 응(Andrew Ng) 교수의 박사 과정 학생들은 주로 학계 밖의 헬스케어 분야에서 일하고 있으며, Landing.ai 팀은 제조, 농업, 헬스케어 등 다양한 산업에서 일하고 있다 [403].
    4. 기후 변화를 위한 AI와 같은 분야에서도 중요한 일이 많이 남아있다 [405].
  2. AI의 다음 물결: 전통 산업으로의 확장 [407]
    1. AI의 다음 물결은 이미 기술 산업을 변화시킨 것을 넘어, 전통 산업(traditional industries)으로 확장될 것이다 [407].
    2. 구글(Google), 바이두(Baidu), 페이스북(Facebook), 마이크로소프트(Microsoft)와 같은 주요 기술 기업들이 AI를 계속 발전시키겠지만, 가장 흥미로운 작업 중 일부는 이러한 주요 기술 기업 외부에서 이루어질 것이다 [413].
    3. 전통 산업에서 AI를 구현하는 것은 기술 기업에서 구현하는 것보다 더 큰 가치를 창출할 수 있다 [417].
  3. 새로운 연구 문제 발견 [418]
    1. 대형 기술 기업들은 기계 번역, 음성 인식, 얼굴 인식 등 동일한 문제에 집중하는 경향이 있다 [418].
    2. 하지만 제조, 의료 기기, 농업 등 다른 산업을 살펴보면, 대형 기술 기업들이 아직 다루지 않은 새로운 연구 문제들을 발견할 수 있다 [420].
    3. 이러한 문제들을 해결하는 것이 AI의 최첨단에서 일하는 가장 흥미로운 방법 중 하나이다 [423].
    4. 대형 기술 기업에 AI 인재가 더 많이 필요하지만, AI의 흥미로운 작업 중 상당수는 전통적인 기술 분야 밖에서도 이루어지고 있다 [425].