40대 아저씨의 AI 대응기: 솔직한 시작 가이드

“AI가 인간을 대체하는 것이 아니라, AI를 쓰는 사람이 안 쓰는 사람을 대체하게 될 것이다.”

―Ginni Rometty

항해를 시작해볼까?

#

중년의 아저씨는 왜 AI를 알아야 했을까?

#

7살에 아버지가 사주신 8비트 MSX2를 시작으로 컴퓨터와 가까이 지냈던 덕분에 인터넷 혁명과 모바일 혁명을 비교적 가까이서 지켜볼 수 있었습니다. 하지만 중학생이 넷스케이프로 인터넷을 처음 보고, 컴퓨터 공학도가 인터넷 붐을 마주했을 때는 그저 구경꾼일 수밖에 없습니다.

하지만 취업 이듬해 아이폰이 국내에 발매됐을 때는 달랐습니다. 카카오톡과 티켓몬스터를 보면서 ‘뭔가 심상치 않은데?‘라는 느낌이 강하게 들었거든요. 그래서 회사에 모바일 개발 직군이 생기자마자 바로 포지션을 옮겼습니다. 개발 경험을 쌓고 2년 뒤 모바일 스타트업을 창업했고, 후에 지분을 정리하면서 간직할 만한 성취를 이뤘습니다.

유발 하라리의 『넥서스』를 다 읽고 느낀 감정은 ‘AI 시대에 대한 공포’였습니다. 책에서 말하는 ‘비인간’과의 투쟁은 기존의 정치투쟁과는 차원이 다르겠죠. 지금도 앞선 두 번의 혁명과 비슷한 느낌이 들고 있습니다. 이제 중년의 아저씨가 되어버린 저는 구경꾼으로 남을까요? 아니면 또 한 번 기회를 잡게 될까요?

너무 얄팍하거나 너무 어려운 걸?

#

AI를 제대로 배워보자고 마음먹고 학습 자료를 찾아봤는데, 금세 막막해졌습니다. 시중에 나와 있는 AI 학습 콘텐츠들이 제 기대와는 거리가 멀었거든요.

‘기초 실용’이라고 광고하는 자료들은 너무 얄팍했습니다. 그냥 상황별 프롬프트를 나열한 유즈케이스 모음집 수준이에요. “업무용 이메일 쓸 때는 이렇게, 기획서 쓸 때는 저렇게” 식의 텍스트 모음이 전부였습니다. 이걸로는 AI가 무엇인지, 왜 이렇게 작동하는지 전혀 이해할 수 없었어요.

반대로 ‘전문 학습’이라고 하는 자료들은 너무 어려웠습니다. 미적분을 필두로 한 수학 개념부터 시작해서 파이썬 프로그래밍까지 다뤄야 했죠. 40대 아저씨가 퇴근 후 따라가기에는 진입 장벽이 너무 높았습니다. 대학원생도 아니고, 이 나이에 언제 공부해서 언제 써먹겠어요?

결국 제가 원하는 건 단순했습니다. AI가 무엇인지 개념적으로 이해하고, 실무에서 바로 써먹을 수 있는 수준까지만 배우는 것. 그런데 그 ‘적당한’ 수준의 자료를 찾는 게 쉽지 않더군요. 과정이 어려우니 좋은 이야깃거리가 되겠다 싶어서 이렇게 “AI라는 망망대해를 나아가는 항해일지"를 작성합니다.

용어부터 헷갈린다

#

매일 나오는 AI 뉴스를 용어를 잘 몰라서 그냥 대충 듣고 넘어간 경험이 많습니다. 용어를 알면 흐름을 따라갈 수 있게 되더군요. 학습을 시작하며 개인적으로 가장 헷갈렸던 용어들을 정리해보겠습니다.

머신러닝 vs 딥러닝, 헷갈려요

#

머신러닝은 컴퓨터가 데이터를 보고 패턴을 찾아 학습하는 기술 전체를 말합니다. AI의 한 방법으로서 데이터를 통해 학습하는 방법론이라고 이해하면 됩니다.

• 예시: 이메일 스팸 필터, 신용카드 사기 탐지

딥러닝은 머신러닝의 한 종류입니다. 인간의 뇌를 모방한 인공 신경망을 여러 층으로 쌓아서 복잡한 패턴을 학습하는 기술이죠.

• 예시: GPT, 이미지 인식, 자율주행차 등

현재 우리가 말하는 대부분의 AI 기술은 모두 딥러닝 덕분입니다.

인공 신경망은 뭐야?

#

인간의 뇌를 흉내 낸 수학적 구조를 말합니다. Neural Network라고 원문이 그대로 기사에 나오곤 합니다. 수백만, 수억 개의 인공 뉴런이 복잡하게 상호작용해서 결과를 보여줍니다.

재미있는 점은 최종 답은 나오는데, 그 결과가 왜 나왔는지, 어떤 논리로 도출되는 건지는 설명하지 못한다는 것입니다. 이를 블랙박스 문제라고 부릅니다.

• AI가 완벽하지 않다는 것을 반증합니다.
• AI 안정성에 대해 전문가들이 우려하는 이유이기도 해요.

LLM 은 또 뭐여?

#

이런 신경망으로 만든 대용량 언어 모델(Large Language Model)은 엄청난 양의 텍스트 데이터를 - 현재 인류가 쓴 글의 상당 부분을 - 학습해 인간처럼 말하고 이해하는 능력을 갖춘 AI 모델입니다. 그래서 텍스트가 아닌 이미지 생성 AI, 음성 인식, 유튜브 추천 알고리즘 등은 신경망이지만 LLM은 아닌거죠.

ChatGPT, Gemini, DeepSeek… 알파고랑 달라요?

#

ChatGPT, Gemini, DeepSeek, Claude, LLaMA 등… 이들은 모두 LLM 기술로 만든 생성형 AI입니다. 이들은 텍스트를 이해하고 답하죠. 먼저 알파고와는 완전히 다른 종류라는 점을 말씀드리죠. 알파고는 바둑만 두는 특수 목적 AI라 이들과는 다릅니다. 2025년 7월 현재, 3대장이라 불리우는 생성형 AI는 ChatGPT, Gemini, Claude 입니다.

• ChatGPT(OpenAI): 작금의 인공지능 시대를 연 원조집입니다. 소비자들이 사용하기에 가장 범용적인 제품이라 하나만 써야 한다면 단연 ChatGPT를 추천합니다.
• Gemini(Google): AI 시대가 오면 구글 검색이 망할거라고 한지가 반 년도 되지 않았습니다. 하지만 그 걱정이 무색하게 현재 가장 빠르게 성장하고 있는 생성형 AI가 이 Gemini 생태계입니다.
• Claude(Anthropic): 개발자들에게 가장 위협이 되는 생성형 AI 가 Claude 입니다. 문장을 작성하는 데 가장 좋은 성능을 보여주고 있습니다. 국문의 생성이 가장 자연스러운 제품이기도 합니다.
• LLaMA(Meta): 페이스북이 만든 오픈소스 모델입니다. 3대장에게 확실히 밀리고 있습니다. 마크 저커버그가 LLaMA4의 뒤떨어진 성능을 보고 격분했다죠? 위기감을 느낀 Meta는 AI 조직을 대대적으로 개편하고 있습니다. 스포츠스타 못지 않은 몸값을 지불해가며 AI 슈퍼스타들을 영입해 화제가 되고 있습니다. 과연 돈 값을 하게 될 지 귀추가 주목됩니다.
• DeepSeek(중국): 중국의 AI 모델들은 가성비로 시장에 충격을 주고 있습니다. 절대적인 성능은 위에 미치지 못하지만 비용이 압도적으로 저렴해서 “역시 중국"이라는 소리를 듣게 했죠.

프롬프트 엔지니어링

#

2년 전만 해도 AI 시대의 유망 직종으로 프롬프트 엔지니어를 꼽는 기사가 있었습니다. 당시에도 전화 교환원이 왜 유망직종인가 하는 의문이 들었는데, 역시나 프롬프트 엔지니어링은 제품들의 성능이 고도화되면서 이제 그 중요성이 줄어드는 추세입니다.

그럼에도 불구하고 기본 작동원리를 알아두면 여전히 남들보다 더 좋은 품질의 답변을 얻을 수 있습니다. 이를 무시하고 사용하게 되면 AI가 내놓는 대답이 내 의도에 맞기를 기도하는 확률 싸움이 되어버리거든요.

프롬프트 엔지니어링? 컨택스트 엔지니어링?

#

• 프롬프트 엔지니어링: AI에게 무엇을 해달라고 요청하는 기술
• 컨텍스트 엔지니어링: AI에게 상황 정보를 잘 제공하는 기술

모델이 똑똑해져서 질문을 잘 던지는 법보다 전체 맥락을 구성하는 법이 더 중요해졌습니다. 프롬프트 외에도 컨텍스트 창에 엄청난 양의 정보가 주입되거든요. 이제는 “지시"보다 “업무 환경 세팅"에 신경을 써야 하는 거죠.특히 에이전틱 AI 시대에 접어들면서 AI가 의사결정을 내릴 수 있는 정보 환경 전체를 설계하는 컨텍스트 엔지니어링이 더 중요해졌습니다.

프롬프트 엔지니어링의 대표 방법들

#

미리 알려드리자면, 이제 이거 다 몰라도 됩니다.

1. 제로샷(Zero-shot) 프롬프팅

#

예시를 하나도 주지 않고 그냥 요청합니다.

Q: 아래 영어 내용을 한국어로 번역해줘.
   I'm fine thank you, and you?

AI는 학습된 배경 지식을 바탕으로 답을 생성합니다.

2. 퓨샷 러닝(Few-shot Learning)

#

몇 개의 예시를 같이 제공하여, AI가 ‘이런 식으로 답하면 되는구나’를 파악하게 합니다. 일종의 “본보기 제시"입니다.

Q. 다음 고객 문의를 제목을 보고 유형별로 분류해줘. 예시는 다음과 같아:
- "비밀번호를 잊어버렸어요." → 계정/로그인 문제
- "배송이 아직 안 왔어요." → 배송 지연
- "결제는 됐는데 주문 확인이 안 돼요." → 결제/주문 문제

제목: "로그인하려는데 계정이 없다고 나와요."

• 특히 비정형 문서 요약, 분류 등에서는 퓨샷이 훨씬 정확합니다.
• 예시의 품질이 곧 출력 품질로 이어집니다.

3. CoT (Chain of Thought)

#

AI에게 생각 과정을 단계별로 적게 하여, 더 정확한 결과를 유도하는 방식입니다. 즉, “계산 과정을 써가며 풀어봐"라고 지시하는 것입니다.

Q: 민수는 사탕 12개를 가지고 있고, 친구 3명과 똑같이 나누려고 한다. 몇 개씩 가질 수 있나?
A: 먼저 사탕의 총 개수는 12개다. 친구는 3명이므로, 12를 3으로 나눈다. 12 ÷ 3 = 4.  
정답은 4개이다.

• 복잡한 추론, 논리 문제, 수학 문제 등에 효과적입니다.
• 사람이 문제를 풀 듯 단계적으로 생각하게 만들어 정확도가 올라갑니다.

4. 제로샷 CoT (Zero-shot Chain-of-Thought)

#

예시 없이, 단지 “생각 과정을 보여줘” 라고 지시하는 제로샷 + CoT 방식입니다. 핵심은 "Let's think step by step" 같은 지시어를 추가하는 것입니다.

Q: 철수가 50개의 연필을 샀다. 5명에게 똑같이 나눠주면, 몇 개씩 줄 수 있나?  
A: Let's think step by step.
→ 총 연필은 50개. 나눌 사람은 5명. 50 ÷ 5 = 10.  
→ 정답: 10개

• 짧은 한 마디로 AI의 사고 모드를 전환하는 마법 같은 기법입니다.
• 실제 성능 향상 효과가 논문에서 입증되기도 했습니다.

가성비 좋은 프롬프트 딱 한 개만 외우자

#

프롬프트 관련 서적 몇 권을 보며 상황별 효과적인 프롬프트를 저장해서 사용해봤습니다. 그런데 이런 작업을 반복해보니 매번 찾아가며 쓰기가 귀찮아지더군요. 그냥 제일 효율 좋은 거 하나만 외워서 써먹는 것이 훨씬 낫습니다.

역.대.(급) 정.지(다) 일.톤.규.제 (때)문.예.

마치며: AGI 시대가 올지는 잘 모르겠다만…

#

전 세계 테크계는 AGI 시대가 오는 것을 기정사실화하고 있습니다. 서두에 인용했듯이 AI를 모르면 도태될 것이고, 앞으로 어떻게 살아남아야 할지를 고민할 시기라고 합니다. 하지만 사실 저는 아직 100% 확신하지는 못하겠습니다. 인터넷이나 모바일처럼 세상을 바꾼 기술도 있지만 NFT나 메타버스, VR처럼 시장에 안착하지 못한 기술도 있거든요.

최근 3년간 LLM에 투자한 많은 기업이 엄청난 비용을 메꿀 만한 비즈니스 모델을 아직 찾지 못하고 있습니다. 혹시 초음속 여객기처럼 LLM도 PMF를 가지지 못한 우수한 기술 정도로 그쳐서 그 발전이 멈추지는 않을까요?

그러거나 말거나 AI를 사용함으로써 큰 생산성 향상을 이룰 수 있다면 우리는 그 실용성만 취하면 됩니다. 우선 내 손에 익숙한 도구로 만들고 시대의 움직임을 기다려봅시다.