블로그

Ask a Techspert: 추론이란 무엇인가요?

Markdown

Google 전문가들이 패턴 매칭, 모델 유형, 예측, 분류, 평가, 개인정보 보호, AI Overviews, 에이전트 시스템, 효율성을 다루는 심층 인터뷰를 통해 AI 추론을 설명합니다.

추론은 AI의 역량을 높이는 데 큰 역할을 합니다. Google Techspert 인터뷰에서 Google 전문가 두 명이 추론이 무엇인지, 그리고 AI 시스템이 유용한 결과를 내는 데 어떻게 도움이 되는지 설명합니다.

4월, Google은 생성형 AI 추론을 지원하도록 설계된 7세대 Tensor Processing Unit(TPU)인 Ironwood를 선보였습니다. TPU는 AI 시스템을 구동하는 칩으로 Google에 새롭게 등장한 것은 아니지만, 이번 세대는 AI 시스템이 반응하는 데 그치지 않고 선제적으로 동작하도록 돕기 위해 설계됐습니다. 추론은 AI 시스템이 모델을 사용해 지식에 기반한 결과를 내도록 하는 과정입니다.

추론이라는 단어의 뜻은 알아요. 주어진 정보를 바탕으로 어떤 결론에 도달할 수 있다는 거죠. AI를 이야기할 때도 이와 비슷한 의미인가요?

Google 전문가: 어느 정도는 그렇습니다. 단순화한 설명이긴 하지만, 추론은 패턴 매칭이라고 생각하면 가장 이해하기 쉽습니다. 생성형 AI와 추론을 가장 넓은 의미에서 이야기할 때 우리가 묻는 것은 이겁니다. AI 모델이 패턴을 찾아내 원하는 것을 예측할 수 있을까요? 예를 들어 제가 “땅콩버터와 ____”라고 말하고 미국인들에게 빈칸을 채워 달라고 하면 아마 “젤리”라고 답할 겁니다. 이는 언어 패턴을 추론하는 좋은 예입니다. AI 추론도 이런 일을 할 수 있지만, 그보다 훨씬 더 많은 일을 합니다.

Google 전문가: 일반적으로 추론은 모델을 실제로 사용해 유용한 일을 하는 방식입니다. 먼저 모델을 학습시켜야 합니다. AI 모델에는 모델 파라미터, 모델 아키텍처, 그리고 작업 실행에 필요한 코드인 구성이 들어 있습니다. 이 요소들이 결합해 기능을 수행합니다. 추론을 통해 이 모든 것을 실제로 활용할 수 있습니다.

어떤 종류의 AI 모델이 추론을 사용하나요?

Google 전문가: 언어 모델, 이미지 생성 모델, 오디오 모델과 같은 딥러닝 AI는 모두 추론을 사용합니다. 과거 데이터 패턴에서 학습한 내용을 바탕으로 앞으로 어떤 일이 “일어날지” 예측하기 때문입니다.

Google 전문가: 추천 모델도 추론을 사용합니다.

추천 모델의 예를 들 수 있나요?

Google 전문가: 대부분의 광고 모델은 추천 모델이고, YouTube 동영상을 추천하는 모델도 그렇습니다. 이는 LLM이나 이미지·동영상 생성 모델 같은 생성형 AI가 아니라 “전통적인”(때로는 “고전적인”이라고도 하는) AI이며, 오랫동안 추론을 사용해 왔습니다.

그러니까 추론은 AI에서 새로운 것이 아니라, AI의 역량이 커지면서 더 나아진 것뿐인가요?

Google 전문가: 그렇습니다. 추론은 AI 모델이 예측만 하도록 하는 것이 아닙니다. 분류도 가능하게 합니다. 모델은 학습한 내용을 바탕으로 사물에 라벨을 붙일 수 있습니다. 잘 알려진 예가 있습니다. 여러 해 전 Google은 AI 모델에 사진을 보여 주고 사진 속 고양이를 식별할 수 있는지 물었습니다. 이 모델은 데이터와 추론을 사용해 고양이가 무엇이고 어떻게 생겼는지 스스로 학습한 다음 고양이를 정확하게 식별할 수 있었습니다.

그거 기억나요!

Google 전문가: 그 사례는 모델이 추론을 사용한 예였습니다.

Google 전문가: 좀 더 최근 이야기로, 몇 년 전 AI가 만든 이미지가 물리 법칙을 사실상 무시한다는 이야기가 나왔던 것 기억하시나요? 예를 들어 사람의 손이 제대로 표현되지 않는 경우가 많았습니다. 오늘날 모델은 이런 부분을 훨씬 더 잘 처리합니다. 물리 법칙과 질감 등을 더 잘 표현합니다. 텍스트 번역도 마찬가지입니다. 예를 들면 언어 번역은 예전에 통계 기반이었습니다. 쓸 만했지만 정확하지 않았고, 대화체와는 거리가 멀었습니다. 하지만 통계 기반 번역은 생성형 AI 번역으로 이어졌고, 오늘날 많은 사람이 고객 대상 제품에도 안심하고 사용합니다. 여전히 추론이라는 과정을 사용하지만, 기반이 되는 AI와 컴퓨팅 역량은 크게 발전했습니다.

추론이 얼마나 잘 작동하는지 측정할 수 있나요?

Google 전문가: 모델이 특정 작업에서 얼마나 잘 수행하는지 측정하면 알 수 있습니다. 모델을 개선하기 위해 평가하고 학습시키는 데에도 추론을 사용합니다. 따라서 모델을 학습시키는 동안 추론을 계속 실행해 모델의 품질도 동시에 개선합니다.

이런 학습 방식 덕분에 업계 벤치마크로 봐도 추론 수준이 계속 좋아지는 것 같네요.

Google 전문가: 그렇습니다. 하지만 사람들이 체감하는지도 중요합니다. 우리 모두 이런 변화가 좋아졌다는 걸 얼마나 알아차렸을까요? 전반적으로는 상당히 많이 체감했을 겁니다. Google이 추론을 연구할 때 중요하게 생각하는 또 다른 요소는 개인정보 보호입니다. 이런 경험이 제대로 작동하려면 무엇을 저장해야 하는지 신중하게 살핍니다.

추론이 개선된 모습을 볼 수 있는 Google AI의 사례로는 어떤 것이 있나요?

Google 전문가: Google에서 추론을 활용하는 가장 좋은 사례 중 하나는 AI Overviews입니다. 검색창에 질문을 입력하면 매우 복잡한 시스템이 여러 모델에 이를 분배해 결과를 얻습니다. 이 시스템은 추론을 사용해 질문을 이해하고 원하는 답이 무엇인지 파악한 뒤, 학습한 내용을 매우 유용한 형태로 요약합니다. 추론은 Google이 진행 중인 여러 에이전트 관련 작업에도 중요합니다. 에이전트를 사용하면 AI 모델에 추론을 바탕으로 정보를 제공하도록 요청할 수 있을 뿐 아니라, 나를 대신해 일을 하도록 할 수도 있습니다. 이는 이전에 우리가 이해하던 추론을 확장한 개념입니다.

그러니까 추론은 데이터를, 즉 지식을 더 잘 활용해 답을 제시하고 실제 행동까지 하도록 발전하고 있군요. 또 어떻게 달라지고 있나요?

Google 전문가: 음, 비용이 매우 중요한 요소입니다. 추론 비용을 가능한 한 낮추려 하고 있습니다. 예를 들어 더 작고 저렴한 Gemini 버전을 사람들에게 제공하려 한다고 해 보죠. 비용을 줄이기 위해 모델의 추론을 개선하면서 계산 패러다임, 즉 모델을 구성하는 코드를 바꾸되 의미론, 다시 말해 모델이 수행해야 하는 핵심 작업은 바꾸지 않는 방법을 찾을 겁니다. 기본적으로 모델의 더 작고 효율적인 버전을 만들어 더 많은 사람이 그 기능을 사용할 수 있게 하는 것입니다.

비용을 어떻게 낮출 수 있나요?

Google 전문가: 한 가지 방법은 하드웨어를 최적화하는 것입니다. Google이 올해 Ironwood를 출시하는 이유도 그 때문입니다. 추론을 우선시하는 설계 덕분에 추론에 최적화돼 있습니다. 더 높은 연산 성능과 더 많은 메모리를 갖췄고, 특정 숫자 유형에 맞게 최적화됐습니다. 소프트웨어 측면에서는 Google이 컴파일러와 프레임워크를 개선하고 있습니다. 장기적으로 AI 추론의 효율을 높이는 것이 목표입니다. 더 작은 자원으로 더 나은 품질을 제공하고, 비용을 낮춰 유용하게 만드는 것이죠.

ailoot.ai/docs에서 Ailoot API 문서를 살펴보세요.