Accelerator end training (#18910)
* add accelerator.end_training() Some trackers need this to end their runs. * fixup and quality * add space * add space again ?!?
This commit is contained in:
@@ -553,6 +553,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
@@ -648,6 +648,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
@@ -693,6 +693,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
@@ -637,6 +637,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
@@ -662,6 +662,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
@@ -590,6 +590,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
@@ -746,6 +746,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
@@ -728,6 +728,9 @@ def main():
|
|||||||
output_dir = os.path.join(args.output_dir, output_dir)
|
output_dir = os.path.join(args.output_dir, output_dir)
|
||||||
accelerator.save_state(output_dir)
|
accelerator.save_state(output_dir)
|
||||||
|
|
||||||
|
if args.with_tracking:
|
||||||
|
accelerator.end_training()
|
||||||
|
|
||||||
if args.output_dir is not None:
|
if args.output_dir is not None:
|
||||||
accelerator.wait_for_everyone()
|
accelerator.wait_for_everyone()
|
||||||
unwrapped_model = accelerator.unwrap_model(model)
|
unwrapped_model = accelerator.unwrap_model(model)
|
||||||
|
|||||||
Reference in New Issue
Block a user