From b002353dca5a9a17590752769ee89a2c1fc57b36 Mon Sep 17 00:00:00 2001 From: Rockerz <64583161+rajveer43@users.noreply.github.com> Date: Wed, 18 Oct 2023 03:31:21 +0530 Subject: [PATCH] =?UTF-8?q?Translating=20`en/internal`=20folder=20docs=20t?= =?UTF-8?q?o=20Japanese=20=F0=9F=87=AF=F0=9F=87=B5=20(#26747)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit * Add translation to fitst 3 file of internal folder * Update Toctree.md and add files * Update docs/source/ja/internal/generation_utils Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> * Rename generation_utils file * rename pipelines_utils.md * Change file names --------- Co-authored-by: Steven Liu <59462357+stevhliu@users.noreply.github.com> --- docs/source/ja/_toctree.yml | 21 + docs/source/ja/internal/audio_utils.md | 39 ++ docs/source/ja/internal/file_utils.md | 49 +++ docs/source/ja/internal/generation_utils.md | 369 ++++++++++++++++++ .../ja/internal/image_processing_utils.md | 48 +++ docs/source/ja/internal/modeling_utils.md | 83 ++++ docs/source/ja/internal/pipelines_utils.md | 44 +++ docs/source/ja/internal/time_series_utils.md | 29 ++ docs/source/ja/internal/tokenization_utils.md | 42 ++ docs/source/ja/internal/trainer_utils.md | 49 +++ 10 files changed, 773 insertions(+) create mode 100644 docs/source/ja/internal/audio_utils.md create mode 100644 docs/source/ja/internal/file_utils.md create mode 100644 docs/source/ja/internal/generation_utils.md create mode 100644 docs/source/ja/internal/image_processing_utils.md create mode 100644 docs/source/ja/internal/modeling_utils.md create mode 100644 docs/source/ja/internal/pipelines_utils.md create mode 100644 docs/source/ja/internal/time_series_utils.md create mode 100644 docs/source/ja/internal/tokenization_utils.md create mode 100644 docs/source/ja/internal/trainer_utils.md diff --git a/docs/source/ja/_toctree.yml b/docs/source/ja/_toctree.yml index 22a6a188b0..2947a20c64 100644 --- a/docs/source/ja/_toctree.yml +++ b/docs/source/ja/_toctree.yml @@ -134,3 +134,24 @@ - local: model_memory_anatomy title: モデルトレーニングの解剖学 title: コンセプチュアルガイド +- sections: + - local: internal/modeling_utils + title: カスタムレイヤーとユーティリティ + - local: internal/pipelines_utils + title: パイプライン用のユーティリティ + - local: internal/tokenization_utils + title: ト=ークナイザー用のユーティリティ + - local: internal/trainer_utils + title: トレーナー用ユーティリティ + - local: internal/generation_utils + title: 発電用ユーティリティ + - local: internal/image_processing_utils + title: 画像プロセッサ用ユーティリティ + - local: internal/audio_utils + title: オーディオ処理用のユーティリティ + - local: internal/file_utils + title: 一般公共事業 + - local: internal/time_series_utils + title: 時系列用のユーティリティ + title: 内部ヘルパー + title: API diff --git a/docs/source/ja/internal/audio_utils.md b/docs/source/ja/internal/audio_utils.md new file mode 100644 index 0000000000..967c716cd2 --- /dev/null +++ b/docs/source/ja/internal/audio_utils.md @@ -0,0 +1,39 @@ + + +# `FeatureExtractor` 用のユーティリティ + +このページには、*短時間フーリエ変換* や *ログ メル スペクトログラム* などの一般的なアルゴリズムを使用して生のオーディオから特別な特徴を計算するために、オーディオ [`FeatureExtractor`] で使用できるすべてのユーティリティ関数がリストされています。 + +これらのほとんどは、ライブラリ内のオーディオ プロセッサのコードを学習する場合にのみ役に立ちます。 + +## オーディオ変換 + +[[autodoc]] audio_utils.hertz_to_mel + +[[autodoc]] audio_utils.mel_to_hertz + +[[autodoc]] audio_utils.mel_filter_bank + +[[autodoc]] audio_utils.optimal_fft_length + +[[autodoc]] audio_utils.window_function + +[[autodoc]] audio_utils.spectrogram + +[[autodoc]] audio_utils.power_to_db + +[[autodoc]] audio_utils.amplitude_to_db diff --git a/docs/source/ja/internal/file_utils.md b/docs/source/ja/internal/file_utils.md new file mode 100644 index 0000000000..51a025bfc6 --- /dev/null +++ b/docs/source/ja/internal/file_utils.md @@ -0,0 +1,49 @@ + + +# 一般的なユーティリティ + +このページには、ファイル `utils.py` にある Transformers の一般的なユーティリティ関数がすべてリストされています。 + +これらのほとんどは、ライブラリで一般的なコードを学習する場合にのみ役に立ちます。 + +## 列挙型と名前付きタプル + +[[autodoc]] utils.ExplicitEnum + +[[autodoc]] utils.PaddingStrategy + +[[autodoc]] utils.TensorType + +## 特別なデコレーター + +[[autodoc]] utils.add_start_docstrings + +[[autodoc]] utils.add_start_docstrings_to_model_forward + +[[autodoc]] utils.add_end_docstrings + +[[autodoc]] utils.add_code_sample_docstrings + +[[autodoc]] utils.replace_return_docstrings + +## 特殊なプロパティ + +[[autodoc]] utils.cached_property + +## その他のユーティリティ + +[[autodoc]] utils._LazyModule diff --git a/docs/source/ja/internal/generation_utils.md b/docs/source/ja/internal/generation_utils.md new file mode 100644 index 0000000000..df3860410b --- /dev/null +++ b/docs/source/ja/internal/generation_utils.md @@ -0,0 +1,369 @@ + + +# 発電用ユーティリティ + +このページには、[`~generation.GenerationMixin.generate`] で使用されるすべてのユーティリティ関数がリストされています。 +[`~generation.GenerationMixin.greedy_search`], +[`~generation.GenerationMixin.contrastive_search`], +[`~generation.GenerationMixin.sample`], +[`~generation.GenerationMixin.beam_search`], +[`~generation.GenerationMixin.beam_sample`], +[`~generation.GenerationMixin.group_beam_search`]、および +[`~generation.GenerationMixin.constrained_beam_search`]。 + +これらのほとんどは、ライブラリ内の生成メソッドのコードを学習する場合にのみ役に立ちます。 + +## 出力を生成する + +[`~generation.GenerationMixin.generate`] の出力は、次のサブクラスのインスタンスです。 +[`~utils.ModelOutput`]。この出力は、返されたすべての情報を含むデータ構造です。 +[`~generation.GenerationMixin.generate`] によって作成されますが、タプルまたは辞書としても使用できます。 + +以下に例を示します。 + +```python +from transformers import GPT2Tokenizer, GPT2LMHeadModel + +tokenizer = GPT2Tokenizer.from_pretrained("gpt2") +model = GPT2LMHeadModel.from_pretrained("gpt2") + +inputs = tokenizer("Hello, my dog is cute and ", return_tensors="pt") +generation_output = model.generate(**inputs, return_dict_in_generate=True, output_scores=True) +``` + +`generation_output` オブジェクトは、できる限り [`~generation.GreedySearchDecoderOnlyOutput`] です。 +以下のそのクラスのドキュメントを参照してください。これは、次の属性があることを意味します。 + +- `sequences`: 生成されたトークンのシーケンス +- `scores` (オプション): 各生成ステップの言語モデリング ヘッドの予測スコア +- `hidden_​​states` (オプション): 生成ステップごとのモデルの隠れた状態 +- `attentions` (オプション): 生成ステップごとのモデルのアテンションの重み + +ここでは、`output_scores=True`を渡したので `scores` がありますが、`hidden_​​states` はありません。 +`attentions` は、`output_hidden_​​states=True`または`output_attentions=True`を渡さなかったためです。 + +通常と同じように各属性にアクセスできます。その属性がモデルから返されなかった場合は、 +は「なし」を取得します。ここで、たとえば`generation_output.scores`は、生成されたすべての予測スコアです。 +言語モデリングのヘッドであり、`generation_output.attentions`は`None`です。 + +`generation_output` オブジェクトをタプルとして使用する場合、`None` 値を持たない属性のみが保持されます。 +たとえば、ここには 2 つの要素、`loss`、次に`logits`があります。 + +```python +generation_output[:2] +``` + +たとえば、タプル `(generation_output.sequences,generation_output.scores)` を返します。 + +`generation_output` オブジェクトを辞書として使用する場合、`None` を持たない属性のみが保持されます。 +ここでは、たとえば、`sequences`と`scores`という 2 つのキーがあります。 + +ここではすべての出力タイプを文書化します。 + +### PyTorch + +[[autodoc]] generation.GreedySearchEncoderDecoderOutput + +[[autodoc]] generation.GreedySearchDecoderOnlyOutput + +[[autodoc]] generation.SampleEncoderDecoderOutput + +[[autodoc]] generation.SampleDecoderOnlyOutput + +[[autodoc]] generation.BeamSearchEncoderDecoderOutput + +[[autodoc]] generation.BeamSearchDecoderOnlyOutput + +[[autodoc]] generation.BeamSampleEncoderDecoderOutput + +[[autodoc]] generation.BeamSampleDecoderOnlyOutput + +[[autodoc]] generation.ContrastiveSearchEncoderDecoderOutput + +[[autodoc]] generation.ContrastiveSearchDecoderOnlyOutput + +### TensorFlow + +[[autodoc]] generation.TFGreedySearchEncoderDecoderOutput + +[[autodoc]] generation.TFGreedySearchDecoderOnlyOutput + +[[autodoc]] generation.TFSampleEncoderDecoderOutput + +[[autodoc]] generation.TFSampleDecoderOnlyOutput + +[[autodoc]] generation.TFBeamSearchEncoderDecoderOutput + +[[autodoc]] generation.TFBeamSearchDecoderOnlyOutput + +[[autodoc]] generation.TFBeamSampleEncoderDecoderOutput + +[[autodoc]] generation.TFBeamSampleDecoderOnlyOutput + +[[autodoc]] generation.TFContrastiveSearchEncoderDecoderOutput + +[[autodoc]] generation.TFContrastiveSearchDecoderOnlyOutput + +### FLAX + +[[autodoc]] generation.FlaxSampleOutput + +[[autodoc]] generation.FlaxGreedySearchOutput + +[[autodoc]] generation.FlaxBeamSearchOutput + +## LogitsProcessor + +[`LogitsProcessor`] を使用して、言語モデルのヘッドの予測スコアを変更できます。 +世代。 + +### PyTorch + +[[autodoc]] AlternatingCodebooksLogitsProcessor + - __call__ + +[[autodoc]] ClassifierFreeGuidanceLogitsProcessor + - __call__ + +[[autodoc]] EncoderNoRepeatNGramLogitsProcessor + - __call__ + +[[autodoc]] EncoderRepetitionPenaltyLogitsProcessor + - __call__ + +[[autodoc]] EpsilonLogitsWarper + - __call__ + +[[autodoc]] EtaLogitsWarper + - __call__ + +[[autodoc]] ExponentialDecayLengthPenalty + - __call__ + +[[autodoc]] ForcedBOSTokenLogitsProcessor + - __call__ + +[[autodoc]] ForcedEOSTokenLogitsProcessor + - __call__ + +[[autodoc]] ForceTokensLogitsProcessor + - __call__ + +[[autodoc]] HammingDiversityLogitsProcessor + - __call__ + +[[autodoc]] InfNanRemoveLogitsProcessor + - __call__ + +[[autodoc]] LogitNormalization + - __call__ + +[[autodoc]] LogitsProcessor + - __call__ + +[[autodoc]] LogitsProcessorList + - __call__ + +[[autodoc]] LogitsWarper + - __call__ + +[[autodoc]] MinLengthLogitsProcessor + - __call__ + +[[autodoc]] MinNewTokensLengthLogitsProcessor + - __call__ + +[[autodoc]] NoBadWordsLogitsProcessor + - __call__ + +[[autodoc]] NoRepeatNGramLogitsProcessor + - __call__ + +[[autodoc]] PrefixConstrainedLogitsProcessor + - __call__ + +[[autodoc]] RepetitionPenaltyLogitsProcessor + - __call__ + +[[autodoc]] SequenceBiasLogitsProcessor + - __call__ + +[[autodoc]] SuppressTokensAtBeginLogitsProcessor + - __call__ + +[[autodoc]] SuppressTokensLogitsProcessor + - __call__ + +[[autodoc]] TemperatureLogitsWarper + - __call__ + +[[autodoc]] TopKLogitsWarper + - __call__ + +[[autodoc]] TopPLogitsWarper + - __call__ + +[[autodoc]] TypicalLogitsWarper + - __call__ + +[[autodoc]] UnbatchedClassifierFreeGuidanceLogitsProcessor + - __call__ + +[[autodoc]] WhisperTimeStampLogitsProcessor + - __call__ + +### TensorFlow + +[[autodoc]] TFForcedBOSTokenLogitsProcessor + - __call__ + +[[autodoc]] TFForcedEOSTokenLogitsProcessor + - __call__ + +[[autodoc]] TFForceTokensLogitsProcessor + - __call__ + +[[autodoc]] TFLogitsProcessor + - __call__ + +[[autodoc]] TFLogitsProcessorList + - __call__ + +[[autodoc]] TFLogitsWarper + - __call__ + +[[autodoc]] TFMinLengthLogitsProcessor + - __call__ + +[[autodoc]] TFNoBadWordsLogitsProcessor + - __call__ + +[[autodoc]] TFNoRepeatNGramLogitsProcessor + - __call__ + +[[autodoc]] TFRepetitionPenaltyLogitsProcessor + - __call__ + +[[autodoc]] TFSuppressTokensAtBeginLogitsProcessor + - __call__ + +[[autodoc]] TFSuppressTokensLogitsProcessor + - __call__ + +[[autodoc]] TFTemperatureLogitsWarper + - __call__ + +[[autodoc]] TFTopKLogitsWarper + - __call__ + +[[autodoc]] TFTopPLogitsWarper + - __call__ + +### FLAX + +[[autodoc]] FlaxForcedBOSTokenLogitsProcessor + - __call__ + +[[autodoc]] FlaxForcedEOSTokenLogitsProcessor + - __call__ + +[[autodoc]] FlaxForceTokensLogitsProcessor + - __call__ + +[[autodoc]] FlaxLogitsProcessor + - __call__ + +[[autodoc]] FlaxLogitsProcessorList + - __call__ + +[[autodoc]] FlaxLogitsWarper + - __call__ + +[[autodoc]] FlaxMinLengthLogitsProcessor + - __call__ + +[[autodoc]] FlaxSuppressTokensAtBeginLogitsProcessor + - __call__ + +[[autodoc]] FlaxSuppressTokensLogitsProcessor + - __call__ + +[[autodoc]] FlaxTemperatureLogitsWarper + - __call__ + +[[autodoc]] FlaxTopKLogitsWarper + - __call__ + +[[autodoc]] FlaxTopPLogitsWarper + - __call__ + +[[autodoc]] FlaxWhisperTimeStampLogitsProcessor + - __call__ + +## StoppingCriteria + +[`StoppingCriteria`] を使用して、(EOS トークン以外の) 生成を停止するタイミングを変更できます。これは PyTorch 実装でのみ利用可能であることに注意してください。 + +[[autodoc]] StoppingCriteria + - __call__ + +[[autodoc]] StoppingCriteriaList + - __call__ + +[[autodoc]] MaxLengthCriteria + - __call__ + +[[autodoc]] MaxTimeCriteria + - __call__ + +## Constraints + +[`Constraint`] を使用すると、生成時に出力に特定のトークンまたはシーケンスが含まれるように強制できます。これは PyTorch 実装でのみ利用可能であることに注意してください。 + +[[autodoc]] Constraint + +[[autodoc]] PhrasalConstraint + +[[autodoc]] DisjunctiveConstraint + +[[autodoc]] ConstraintListState + +## BeamSearch + +[[autodoc]] BeamScorer + - process + - finalize + +[[autodoc]] BeamSearchScorer + - process + - finalize + +[[autodoc]] ConstrainedBeamSearchScorer + - process + - finalize + +## Utilities + +[[autodoc]] top_k_top_p_filtering + +[[autodoc]] tf_top_k_top_p_filtering + +## Streamers + +[[autodoc]] TextStreamer + +[[autodoc]] TextIteratorStreamer diff --git a/docs/source/ja/internal/image_processing_utils.md b/docs/source/ja/internal/image_processing_utils.md new file mode 100644 index 0000000000..c3df3fd54b --- /dev/null +++ b/docs/source/ja/internal/image_processing_utils.md @@ -0,0 +1,48 @@ +!--Copyright 2022 The HuggingFace Team. All rights reserved. + +Licensed under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with +the License. You may obtain a copy of the License at + +http://www.apache.org/licenses/LICENSE-2.0 + +Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on +an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the +specific language governing permissions and limitations under the License. + +⚠️ Note that this file is in Markdown but contain specific syntax for our doc-builder (similar to MDX) that may not be +rendered properly in your Markdown viewer. + +--> + +# 画像プロセッサ用ユーティリティ + +このページには、画像プロセッサーで使用されるすべてのユーティリティー関数がリストされています。主に機能的なものです。 +画像を処理するために使用される変換。 + +これらのほとんどは、ライブラリ内の画像プロセッサのコードを学習する場合にのみ役に立ちます。 + +## Image Transformations + +[[autodoc]] image_transforms.center_crop + +[[autodoc]] image_transforms.center_to_corners_format + +[[autodoc]] image_transforms.corners_to_center_format + +[[autodoc]] image_transforms.id_to_rgb + +[[autodoc]] image_transforms.normalize + +[[autodoc]] image_transforms.pad + +[[autodoc]] image_transforms.rgb_to_id + +[[autodoc]] image_transforms.rescale + +[[autodoc]] image_transforms.resize + +[[autodoc]] image_transforms.to_pil_image + +## ImageProcessingMixin + +[[autodoc]] image_processing_utils.ImageProcessingMixin diff --git a/docs/source/ja/internal/modeling_utils.md b/docs/source/ja/internal/modeling_utils.md new file mode 100644 index 0000000000..62aa2040c8 --- /dev/null +++ b/docs/source/ja/internal/modeling_utils.md @@ -0,0 +1,83 @@ + + +# カスタムレイヤーとユーティリティ + +このページには、ライブラリで使用されるすべてのカスタム レイヤーと、モデリングに提供されるユーティリティ関数がリストされます。 + +これらのほとんどは、ライブラリ内のモデルのコードを研究する場合にのみ役に立ちます。 + + +## Pytorch custom modules + +[[autodoc]] pytorch_utils.Conv1D + +[[autodoc]] modeling_utils.PoolerStartLogits + - forward + +[[autodoc]] modeling_utils.PoolerEndLogits + - forward + +[[autodoc]] modeling_utils.PoolerAnswerClass + - forward + +[[autodoc]] modeling_utils.SquadHeadOutput + +[[autodoc]] modeling_utils.SQuADHead + - forward + +[[autodoc]] modeling_utils.SequenceSummary + - forward + +## PyTorch Helper Functions + +[[autodoc]] pytorch_utils.apply_chunking_to_forward + +[[autodoc]] pytorch_utils.find_pruneable_heads_and_indices + +[[autodoc]] pytorch_utils.prune_layer + +[[autodoc]] pytorch_utils.prune_conv1d_layer + +[[autodoc]] pytorch_utils.prune_linear_layer + +## TensorFlow custom layers + +[[autodoc]] modeling_tf_utils.TFConv1D + +[[autodoc]] modeling_tf_utils.TFSequenceSummary + +## TensorFlow loss functions + +[[autodoc]] modeling_tf_utils.TFCausalLanguageModelingLoss + +[[autodoc]] modeling_tf_utils.TFMaskedLanguageModelingLoss + +[[autodoc]] modeling_tf_utils.TFMultipleChoiceLoss + +[[autodoc]] modeling_tf_utils.TFQuestionAnsweringLoss + +[[autodoc]] modeling_tf_utils.TFSequenceClassificationLoss + +[[autodoc]] modeling_tf_utils.TFTokenClassificationLoss + +## TensorFlow Helper Functions + +[[autodoc]] modeling_tf_utils.get_initializer + +[[autodoc]] modeling_tf_utils.keras_serializable + +[[autodoc]] modeling_tf_utils.shape_list diff --git a/docs/source/ja/internal/pipelines_utils.md b/docs/source/ja/internal/pipelines_utils.md new file mode 100644 index 0000000000..833c98c4d0 --- /dev/null +++ b/docs/source/ja/internal/pipelines_utils.md @@ -0,0 +1,44 @@ + + +# パイプライン用のユーティリティ + +このページには、ライブラリがパイプラインに提供するすべてのユーティリティ関数がリストされます。 + +これらのほとんどは、ライブラリ内のモデルのコードを研究する場合にのみ役に立ちます。 + + +## Argument handling + +[[autodoc]] pipelines.ArgumentHandler + +[[autodoc]] pipelines.ZeroShotClassificationArgumentHandler + +[[autodoc]] pipelines.QuestionAnsweringArgumentHandler + +## Data format + +[[autodoc]] pipelines.PipelineDataFormat + +[[autodoc]] pipelines.CsvPipelineDataFormat + +[[autodoc]] pipelines.JsonPipelineDataFormat + +[[autodoc]] pipelines.PipedPipelineDataFormat + +## Utilities + +[[autodoc]] pipelines.PipelineException diff --git a/docs/source/ja/internal/time_series_utils.md b/docs/source/ja/internal/time_series_utils.md new file mode 100644 index 0000000000..9355ea090e --- /dev/null +++ b/docs/source/ja/internal/time_series_utils.md @@ -0,0 +1,29 @@ + + +# 時系列ユーティリティ + +このページには、時系列ベースのモデルに使用できるすべてのユーティリティ関数とクラスがリストされます。 + +これらのほとんどは、時系列モデルのコードを研究している場合、または分散出力クラスのコレクションに追加したい場合にのみ役立ちます。 + +## Distributional Output + +[[autodoc]] time_series_utils.NormalOutput + +[[autodoc]] time_series_utils.StudentTOutput + +[[autodoc]] time_series_utils.NegativeBinomialOutput \ No newline at end of file diff --git a/docs/source/ja/internal/tokenization_utils.md b/docs/source/ja/internal/tokenization_utils.md new file mode 100644 index 0000000000..8e36e4149e --- /dev/null +++ b/docs/source/ja/internal/tokenization_utils.md @@ -0,0 +1,42 @@ + + +# Utilities for Tokenizers + +このページには、トークナイザーによって使用されるすべてのユーティリティ関数 (主にクラス) がリストされます。 +[`~tokenization_utils_base.PreTrainedTokenizerBase`] 間の共通メソッドを実装します。 +[`PreTrainedTokenizer`] と [`PreTrainedTokenizerFast`] およびミックスイン +[`~tokenization_utils_base.SpecialTokensMixin`]。 + +これらのほとんどは、ライブラリ内のトークナイザーのコードを学習する場合にのみ役に立ちます。 + +## PreTrainedTokenizerBase + +[[autodoc]] tokenization_utils_base.PreTrainedTokenizerBase + - __call__ + - all + +## SpecialTokensMixin + +[[autodoc]] tokenization_utils_base.SpecialTokensMixin + +## Enums and namedtuples + +[[autodoc]] tokenization_utils_base.TruncationStrategy + +[[autodoc]] tokenization_utils_base.CharSpan + +[[autodoc]] tokenization_utils_base.TokenSpan diff --git a/docs/source/ja/internal/trainer_utils.md b/docs/source/ja/internal/trainer_utils.md new file mode 100644 index 0000000000..b65d5ed059 --- /dev/null +++ b/docs/source/ja/internal/trainer_utils.md @@ -0,0 +1,49 @@ + + +# トレーナー用ユーティリティ + +このページには、[`Trainer`] で使用されるすべてのユーティリティ関数がリストされています。 + +これらのほとんどは、ライブラリ内のトレーナーのコードを学習する場合にのみ役に立ちます。 + +## Utilities + +[[autodoc]] EvalPrediction + +[[autodoc]] IntervalStrategy + +[[autodoc]] enable_full_determinism + +[[autodoc]] set_seed + +[[autodoc]] torch_distributed_zero_first + +## Callbacks internals + +[[autodoc]] trainer_callback.CallbackHandler + +## Distributed Evaluation + +[[autodoc]] trainer_pt_utils.DistributedTensorGatherer + +## Distributed Evaluation + +[[autodoc]] HfArgumentParser + +## Debug Utilities + +[[autodoc]] debug_utils.DebugUnderflowOverflow