@@ -342,60 +342,92 @@ generation_output[:2]
|
|||||||
|
|
||||||
## 캐시 (Caches) [[transformers.Cache]]
|
## 캐시 (Caches) [[transformers.Cache]]
|
||||||
|
|
||||||
[[autodoc]] Cache
|
[[autodoc]] CacheLayerMixin
|
||||||
- update
|
|
||||||
|
|
||||||
[[autodoc]] DynamicCache
|
|
||||||
- update
|
- update
|
||||||
- get_seq_length
|
- get_seq_length
|
||||||
|
- get_mask_sizes
|
||||||
|
- get_max_cache_shape
|
||||||
|
- reset
|
||||||
- reorder_cache
|
- reorder_cache
|
||||||
|
|
||||||
|
[[autodoc]] DynamicLayer
|
||||||
|
- update
|
||||||
|
- crop
|
||||||
|
- batch_repeat_interleave
|
||||||
|
- batch_select_indices
|
||||||
|
|
||||||
|
[[autodoc]] StaticLayer
|
||||||
|
- update
|
||||||
|
|
||||||
|
[[autodoc]] SlidingWindowLayer
|
||||||
|
- update
|
||||||
|
|
||||||
|
[[autodoc]] CacheProcessor
|
||||||
|
- pre_update
|
||||||
|
- post_update
|
||||||
|
|
||||||
|
[[autodoc]] OffloadedCacheProcessor
|
||||||
|
- pre_update
|
||||||
|
|
||||||
|
[[autodoc]] QuantizedCacheProcessor
|
||||||
|
- post_update
|
||||||
|
|
||||||
|
[[autodoc]] QuantoQuantizedCacheProcessor
|
||||||
|
- post_update
|
||||||
|
|
||||||
|
[[autodoc]] HQQQuantizedCacheProcessor
|
||||||
|
- post_update
|
||||||
|
|
||||||
|
[[autodoc]] Cache
|
||||||
|
- update
|
||||||
|
- get_seq_length
|
||||||
|
- get_mask_sizes
|
||||||
|
- get_max_cache_shape
|
||||||
|
- reset
|
||||||
|
- reorder_cache
|
||||||
|
- crop
|
||||||
|
- batch_repeat_interleave
|
||||||
|
- batch_select_indices
|
||||||
|
|
||||||
|
[[autodoc]] DynamicCache
|
||||||
- to_legacy_cache
|
- to_legacy_cache
|
||||||
- from_legacy_cache
|
- from_legacy_cache
|
||||||
|
|
||||||
[[autodoc]] QuantizedCache
|
[[autodoc]] QuantizedCache
|
||||||
- update
|
|
||||||
- get_seq_length
|
|
||||||
|
|
||||||
[[autodoc]] QuantoQuantizedCache
|
[[autodoc]] QuantoQuantizedCache
|
||||||
|
|
||||||
|
[[autodoc]] QuantoQuantizedCacheProcessor
|
||||||
|
|
||||||
[[autodoc]] HQQQuantizedCache
|
[[autodoc]] HQQQuantizedCache
|
||||||
|
|
||||||
|
[[autodoc]] HQQQuantizedCacheProcessor
|
||||||
|
|
||||||
[[autodoc]] OffloadedCache
|
[[autodoc]] OffloadedCache
|
||||||
- update
|
|
||||||
- prefetch_layer
|
|
||||||
- evict_previous_layer
|
|
||||||
|
|
||||||
[[autodoc]] StaticCache
|
[[autodoc]] StaticCache
|
||||||
- update
|
|
||||||
- get_seq_length
|
|
||||||
- reset
|
|
||||||
|
|
||||||
[[autodoc]] OffloadedStaticCache
|
[[autodoc]] OffloadedStaticCache
|
||||||
- update
|
|
||||||
- get_seq_length
|
|
||||||
- reset
|
|
||||||
|
|
||||||
[[autodoc]] HybridCache
|
[[autodoc]] HybridCache
|
||||||
- update
|
|
||||||
- get_seq_length
|
[[autodoc]] HybridChunkedCache
|
||||||
- reset
|
|
||||||
|
|
||||||
[[autodoc]] SlidingWindowCache
|
[[autodoc]] SlidingWindowCache
|
||||||
- update
|
|
||||||
- reset
|
|
||||||
|
|
||||||
[[autodoc]] EncoderDecoderCache
|
[[autodoc]] EncoderDecoderCache
|
||||||
- get_seq_length
|
|
||||||
- to_legacy_cache
|
- to_legacy_cache
|
||||||
- from_legacy_cache
|
- from_legacy_cache
|
||||||
- reset
|
|
||||||
- reorder_cache
|
|
||||||
|
|
||||||
[[autodoc]] MambaCache
|
[[autodoc]] MambaCache
|
||||||
- update_conv_state
|
- update_conv_state
|
||||||
- update_ssm_state
|
- update_ssm_state
|
||||||
- reset
|
- reset
|
||||||
|
|
||||||
|
[[autodoc]] CacheConfig
|
||||||
|
|
||||||
|
[[autodoc]] QuantizedCacheConfig
|
||||||
|
|
||||||
## 워터마크 유틸리티 (Watermark Utils) [[transformers.WatermarkDetector]]
|
## 워터마크 유틸리티 (Watermark Utils) [[transformers.WatermarkDetector]]
|
||||||
|
|
||||||
[[autodoc]] WatermarkDetector
|
[[autodoc]] WatermarkDetector
|
||||||
|
|||||||
Reference in New Issue
Block a user