SUMIN/HuggingFace_transformer
1
0
Fork 0
Code Issues Pull Requests Actions 7 Packages Projects Releases Wiki Activity

🌐[i18n-KO] Translate autoclass_tutorial to Korean and Fix the typo of quicktour (#22533)

Browse Source 
translate the autoclass_tutorial and fix the typo of the quicktour
This commit is contained in:
gabrielwithappy
2023-04-07 21:12:35 +09:00
committed by GitHub
parent ee8e80a060
commit d59034ff6f
3 changed files with 142 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files

2
docs/source/ko/quicktour.mdx
View File

@@ -168,7 +168,7 @@ label: NEGATIVE, with score: 0.5309
### AutoTokenizer
토큰나이저는 전처리를 담당하며, 텍스트를 모델이 받을 숫자 배열로 바꿉니다. 토큰화 과정에는 단어를 어디에서 끊을지, 얼만큼 나눌지 등을 포함한 여러 규칙이 있습니다. 자세한 내용은 [토크나이저 요약](./tokenizer_summary)를 확인해주세요. 제일 중요한 점은 모델이 훈련됐을 때와 동일한 토큰화 규칙을 쓰도록 동일한 모델 이름으로 토크나이저 인스턴스를 만들어야 합니다.
토크나이저는 전처리를 담당하며, 텍스트를 모델이 받을 숫자 배열로 바꿉니다. 토큰화 과정에는 단어를 어디에서 끊을지, 얼만큼 나눌지 등을 포함한 여러 규칙이 있습니다. 자세한 내용은 [토크나이저 요약](./tokenizer_summary)를 확인해주세요. 제일 중요한 점은 모델이 훈련됐을 때와 동일한 토큰화 규칙을 쓰도록 동일한 모델 이름으로 토크나이저 인스턴스를 만들어야 합니다.
[`AutoTokenizer`]로 토크나이저를 불러오고,