Pretraining großer Sprachmodelle.

from datasets import Dataset, Features, Value
    dataset = Dataset.from_dict({"text": final_text}, features=Features({"text": Value("string")}))
    
    # Aufsplitten in einen Trainings- und Validierungsdatensatz:
    # dataset = dataset.train_test_split(test_size=TRAIN_TEST_SPLIT)
    
    # Tokenizen des gesamten Datensatzes:
    def tokenize(batch):
        return tokenizer(list(batch["text"]))
    
    dataset = dataset.map(tokenize, batched=True, remove_columns=["text"])
    
    # Aneinanderreihen der Texte:
    def group_texts(examples):
        concatenated_examples = {k: sum(examples[k], []) for k in examples.keys()}
        total_length = len(concatenated_examples[list(examples.keys())[0]])
    
        if total_length % BLOCK_SIZE != 0:
            padding_length = BLOCK_SIZE - (total_length % BLOCK_SIZE)
            for k in concatenated_examples.keys():
                concatenated_examples[k] += [tokenizer.pad_token_id] * padding_length
            total_length += padding_length
    
        result = {
            k: [t[i : i + BLOCK_SIZE] for i in range(0, total_length, BLOCK_SIZE)]
            for k, t in concatenated_examples.items()
        }
        result["labels"] = result["input_ids"].copy()
        return result
    
    dataset = dataset.map(group_texts, batched=True)
    
    flat_list = [item for sublist in dataset['input_ids'] for item in sublist]
    print("Anzahl der gesamten Token im Datensatz:", len(flat_list))

Map: 0%| | 0/799 [00:00<?, ? examples/s]
Anzahl der gesamten Token im Datensatz: 45056

from transformers import TrainingArguments, Trainer, default_data_collator
    
    print("Vorbereiten der Trainingseinstellungen")
    training_args = TrainingArguments(
        "./output",
        per_device_train_batch_size=BATCH_SIZE,
        logging_steps=1,
        save_total_limit=2,
        save_strategy="epoch",
        evaluation_strategy="no",
        per_device_eval_batch_size=BATCH_SIZE,
        learning_rate=LR,
        weight_decay=WEIGHT_DECAY,
        warmup_steps=WARMUP_STEPS,
        optim="adam", 
        num_train_epochs=EPOCHS,
        push_to_hub=False,
        bf16=True,
        gradient_checkpointing=True,
        deepspeed=deepspeed, # Hier json Konfiguration verlinken oder in Python die Konfiguration definieren
        gradient_accumulation_steps=GRADIENT_ACCUMULATION_STEPS
    )
    
    print("Laden des Modells")
    model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, use_cache=False)
    model.resize_token_embeddings(len(tokenizer))
    
    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=dataset['train'],
        eval_dataset=dataset['test'],
        tokenizer=tokenizer,
        data_collator=default_data_collator,
    )
    
    # Modell trainieren
    trainer.train()

enc_txt = tokenizer.encode("MARGARETE.\nMüßte vor dem Herren schamrot werden.\nMEPHISTOPHELES.", return_tensors="pt").to("cuda")
    ret_txt = model.generate(enc_txt, max_length=512, repetition_penalty=1.05)
    print(tokenizer.decode(ret_txt[0]))

MARGARETE.
    Müßte vor dem Herren schamrot werden.
    MEPHISTOPHELES.
    Das kommt nur auf die Weise an,
    Wie man sich in Gegenwart des Herrn verhält;
    Ich weiß mich sehr wohl zu betragen—
    Nur muß ich gleich wieder fort!
    <|endoftext|>FAUST.
    Du darfst nicht so von dir gehen!
    Was fragst du nach deiner Nachbarin?
    Sie ist doch eine Fremde hier.
    (Er geht weiter.)
    CHOR DER ENGEL.
    Christ ist erstanden! Freudig sei der Welt!
    Die Sonne steige nun höher denn je und scheine heller als sonst über den Auen, bis sie im Meer versinke.
    [...]