위치 인코딩과 RoPE: 순서 없는 어텐션에 거리 정보를 넣는 법
기본 셀프어텐션만으로는 입력 순서를 구분하기 어려워 위치 정보를 추가하며, RoPE는 위치에 따라 Query와 Key의 성분을 회전시켜 내적에 상대 위치 차이가 반영되게 합니다. 위치 인코딩은 토큰 번호표를 붙이는 부속 기능이 아니라 같은 단어 배열의 순서 차이를 모델이 구별하게 만드는 구조적 장치입니다. AI 핵심 지식 52편 중 15편입니다. 제품 화면이…
최신 글
AI/좌표 · LATEST
Self-Attention과 Q·K·V: 토큰이 참고할 정보를 고르는 계산
Q·K·V는 같은 입력 토큰 표현에 서로 다른 학습 행렬을 적용해 만든 벡터이며, Query와 Key의 유사도로 가중치를 구한 뒤 그 가중치로 Value를 합쳐 새 표현을 만듭니다. Q는 무엇을 찾을지, K는 무엇과 맞는지, V는 어떤 내용을 전달할지라는 비유가 유용하지만 실제로는 모두 학습된 연속 벡터 계산입니다. AI 핵심 지식 52편 중 14편입니다. …
Transformer: 순환 없이 토큰 관계를 병렬로 계산하는 구조
Transformer는 토큰 사이 관계를 어텐션으로 계산하고 각 위치를 피드포워드 층으로 변환하는 블록을 쌓은 구조이며, 위치 정보·잔차 연결·정규화까지 포함해야 전체 동작을 설명할 수 있습니다. 핵심 혁신은 어텐션이라는 이름 하나가 아니라 시퀀스 의존성을 순환 상태 없이 계산하도록 구성 요소를 재배치한 데 있습니다. AI 핵심 지식 52편 중 13편입니다.…
컨텍스트 윈도: 모델이 한 번에 볼 수 있는 범위와 실제 활용 한계
컨텍스트 윈도는 한 번의 계산에 참조할 수 있는 토큰 범위이며, 범위 안에 정보가 들어갔다는 사실만으로 모든 위치를 정확히 찾아 쓰거나 영구 기억한다는 뜻은 아닙니다. 긴 입력을 받을 수 있는 능력, 그 안의 핵심을 검색하는 능력, 근거를 충실히 사용해 답하는 능력은 서로 다른 평가 항목입니다. AI 핵심 지식 52편 중 12편입니다. 제품 화면이 바뀌어도 …
다음 토큰 예측: 언어 모델이 문장을 이어 쓰는 학습 원리
언어 모델은 앞선 토큰을 조건으로 다음 토큰의 확률 분포를 학습하고 선택된 토큰을 문맥에 다시 붙이는 과정을 반복해 긴 출력을 만듭니다. 다음 토큰 예측은 단순 자동완성보다 풍부한 패턴을 학습할 수 있지만, 확률이 높은 문장이 외부 세계에서 참이라는 보장은 별도의 문제입니다. AI 핵심 지식 52편 중 11편입니다. 제품 화면이 바뀌어도 남는 원리와 판단 기…
임베딩이란 무엇인가: 의미와 관계를 벡터 공간에 놓는 방법
임베딩은 단어·항목·문서 같은 대상을 학습 목적에 유용한 밀집 벡터로 매핑하며, 벡터의 가까움은 보편 의미가 아니라 사용한 데이터와 목표가 만든 관계를 반영합니다. 벡터 공간은 의미 사전이 아닙니다. 무엇을 비슷하다고 학습했는지 알아야 검색·추천·분류에서 거리값을 올바르게 사용할 수 있습니다. AI 핵심 지식 52편 중 10편입니다. 제품 화면이 바뀌어도 남…
토큰이란 무엇인가: 글자와 단어 사이에서 모델이 읽는 단위
토큰은 토크나이저가 텍스트를 정해진 어휘의 ID 열로 바꿀 때 사용하는 단위로, 한 글자나 한 단어와 고정 대응하지 않으며 규칙과 언어에 따라 분절이 달라집니다. 언어 모델은 문장을 그대로 계산하지 않습니다. 먼저 텍스트를 토큰 ID로 바꾸고, 그 순서를 벡터로 처리한 뒤 다시 토큰을 생성해 문자열로 복원합니다. AI 핵심 지식 52편 중 9편입니다. 제품 …
피드 구독하기:
글 (Atom)