우리가 보는 문장은 자연스러운 문장 그대로지만, AI 입장에서는 전혀 다른 모습으로 보입니다. 이 글에서는 입문자 관점에서 AI가 텍스트를 처리할 때 사용하는 기본 단위 ‘토큰(token)’과, 다음 내용을 예측하는 기준이 되는 ‘확률(probability)’을…