ㆍ트랜스포머로 시작하는 사전 학습 언어 모델, 거대 언어 모델, 소형 거대 언어 모델을 분석! ㆍChatGPT 이후 급격하게 변화된 인공지능 기술을 상세히 분석! ㆍOpenAI와 대결하는 거대 테크 기업간의 다양한 언어 모델을 분석! 이 책은 트랜스포머의 기본 원리부터 이를 기반으로 한 언어 모델의 발전 과정과 생성형 인공지능의 시대까지 그 흐름을 쉽고 체계적으로 설명합니다. 특히, 인공지능의 핵심적 원리와 기술을 단순히 나열하는 것이 아니라 시대별로 구분된 100개의 주제와 그림을 통해 직관적으로 이해할 수 있도록 구성하였습니다. 복잡한 수식이나 알고리즘 때문에 인공지능 학습에 두려움을 느꼈던 독자라면 이번 도서가 한 걸음 더 나아갈 수 있는 디딤돌이 될 것입니다.

▶ 저자 추 형 석(신구대학교 AI 소프트웨어학과 교수) [경력] ㆍ국가수리과학연구소 박사후 연구원(2013~2015) ㆍ소프트웨어정책연구소 선임연구원(2015~2023) [주요 업적] ㆍ서울신문 IT 신트렌드 정기 기고(2016~2019) ㆍ정보통신기획평가원 인공지능 분야 R&D 과제기획위원(2019) ㆍ행정안전부 정부혁신 컨설팅단 위원(2020, 2021) [주요 업무] ㆍ인공지능 분야의 최신 기술 동향을 분석 ㆍ인공지능 R&D 기획, 인공지능 인재 양성, 인공지능 컴퓨팅 인프라 구축 등 인공지능 관련 정책 연구

제1장 인공지능의 혁신 트랜스포머 01 트랜스포머가 바꾼 인공지능 02 트랜스포머의 개념적 이해 03 언어 모델의 이해 04 언어 모델과 데이터 05 언어 모델 구현 방법의 변화 06 사전 학습 언어 모델 07 거대 언어 모델 08 기반 모델과 생성형 인공지능 제2장 트랜스포머의 구조와 분석 01 딥러닝과 트랜스포머 02 인공지능 모델의 트랜스포머 03 트랜스포머의 구조 04 트랜스포머의 입력 - 토큰화 05 트랜스포머의 입력 - 토큰간 관계 설정 06 원 핫 인코딩과 토큰 임베딩(CBOW) 07 토큰 임베딩과 토큰 임베딩 차원 08 위치 인코딩 - 토큰의 위치와 접근법 09 위치 인코딩 - 토큰 임베딩 벡터 10 트랜스포머의 인코더 11 멀티헤드 어텐션의 입력과 쿼리 12 멀티헤드 어텐션의 키와 점곱 어텐션 13 멀티헤드 어텐션의 가치와 어텐션 헤드 14 정규화와 앞먹임신경망 15 셀프 어텐션 16 인코더의 반복과 초모수 17 트랜스포머의 디코더 18 트랜스포머의 인코더와 디코더 결합 19 트랜스포머의 출력 제3장 사전 학습 언어 모델 01 사전 학습 언어 모델의 개요 02 사전 학습 언어 모델의 접근 방법 03 다양한 자연어 처리 과업 04 전형적인 자연어 처리 과업 05 BERT의 구조와 특징 06 OpenAI의 GPT 구조 07 GPT-2의 개념과 구조 08 RoBERTa의 성능과 구조 09 ALBERT의 접근과 구조 10 DistilBERT의 접근과 성능 11 MobileBERT의 개념과 특징 12 SpanBERT의 개념과 특징 13 ELECTRA의 개념과 활용 14 DeBERTa의 개념과 기능 15 TransformerXL의 등장과 성능 16 XLNet의 개념과 성능 17 BART의 개념과 특징 18 CTRL의 개념과 특징 19 T5의 구조와 성능 20 HuggingFace와 Transformers 제4장 거대 언어 모델 01 거대 언어 모델의 개요 02 거대 언어 모델의 규모 03 거대 언어 모델의 구조 04 거대 언어 모델의 특징과 재학습 방법 05 거대 언어 모델의 한계 06 계산적 관점에서의 딥러닝 07 행렬곱 연산 08 거대 언어 모델의 계산량과 효과 09 거대 언어 모델의 활용 10 GPT-3의 구조와 성능 11 LaMDA의 구조와 특징 12 MT NLG의 개념과 성능 13 Gopher의 등장과 접근법 14 InstructGPT의 접근법과 특징 15 PanGu 알파의 배경과 특징 16 PaLM의 개념과 특징 17 OPT 175B의 시작과 특징 18 BLOOM의 배경과 특징 19 HyperCLOVA의 개념과 특징 20 규모 경쟁과 ChatGPT의 등장 제5장 ChatGPT와 생성 인공지능 01 ChatGPT의 성공과 변화 02 ChatGPT의 효과와 계산량 03 ChatGPT 이후의 인공지능 04 환각 효과 완화의 기본적 접근 05 설명 가능한 인공지능과 거대 언어 모델 06 모델 경량화의 기본적 접근 07 모델 경량화와 하드웨어 08 트랜스포머의 기본적 접근 09 RWKV의 개념과 구조 10 Retentive Network의 접근과 특징 11 거대 테크 기업의 움직임 12 GPT-4의 배경과 특징 13 GPT-4 Turbo와 GPT-4o의 특징 14 GPT-o1과 GPT-5의 특징 15 OpenAI의 GPT 스토어 16 Bard의 특징과 기능 17 PaLM 2의 규모와 특징 18 Gemini의 등장과 특징 19 Copilot의 등장과 특징 20 Claude의 개발과 특징 21 소규모 거대 언어 모델의 등장 22 LLaMA의 특징과 구조 23 LLaMA 2와 LLaMA 3의 성능 24 Gemma의 특징과 기능 25 Mistral AI의 등장과 특징 26 phi의 특징과 기능 27 한국의 sLLM과 Solar 28 대화형 인공지능과 sLLM 활용 도구 29 인공지능의 기술적 미래 전망 30 인공지능의 플랫폼 미래 전망 31 인공지능의 규제 전망 32 인공지능의 정책 전망 33 범용 인공지능의 미래 전망

이 책은 단순히 트랜스포머를 설명하는데 그치지 않습니다. 트랜스포머의 등장 이후 인공지능은 생성형 AI라는 새로운 시대를 맞이하게 되었고, 플랫폼과 오픈 소스를 통해 개발의 진입장벽이 현저하게 낮아지고 있습니다. 특히, 생성형 AI를 언어 모델의 관점에서 집중적으로 분석하여 글로벌 빅테크 기업의 경쟁 구도를 설명합니다. 또한, 누구나 쉽게 노트북에서도 실행해 볼 수 있는 사전 학습 언어 모델과 sLLM 실습도 영상으로 담아 실제 인공지능을 활용해 볼 수 있는 기회도 제공합니다. 이 책이 트랜스포머와 생성형 인공지능의 세계를 탐구하고자 하는 학생, 연구자, 실무자 모두에게 의미 있는 지침서가 되기를 바랍니다. AI 기술의 발전 속도는 놀라울 정도로 빠릅니다. 하지만 그 혁신의 중심에는 언제나 트랜스포머가 있었고, 앞으로도 있을 것으로 전망합니다.