RLHF (Reinforcement Learning from Human Feedback)

RLHF steht für Reinforcement Learning from Human Feedback - auf Deutsch: bestärkendes Lernen aus menschlichem Feedback. Es ist das Verfahren, mit dem ein vortrainiertes Sprachmodell daraufhin ausgerichtet wird, Antworten zu geben, die Menschen tatsächlich als hilfreich, angemessen und sicher empfinden. Der Fachbegriff dafür ist Alignment: die Ausrichtung des Modellverhaltens an menschlichen Erwartungen.

Warum RLHF nötig ist

Ein reines Vortraining bringt einem Modell bei, plausible Textfortsetzungen zu erzeugen - nicht aber, hilfreiche oder unbedenkliche Antworten zu bevorzugen. Ein Modell, das nur das nächste wahrscheinliche Wort vorhersagt, ist nicht automatisch nützlich, höflich oder sicher. RLHF schließt genau diese Lücke zwischen "sprachlich plausibel" und "im Sinne des Nutzers hilfreich".

Wie RLHF grob funktioniert

1. Menschliche Bewertungen sammeln: Menschen bewerten oder vergleichen Modellantworten und drücken so aus, welche Antwort die bessere ist.
2. Belohnungsmodell trainieren: Aus diesen Bewertungen entsteht ein separates Modell, das einschätzt, wie gut eine Antwort im menschlichen Sinne ist.
3. Modell optimieren: Das Sprachmodell wird mit bestärkendem Lernen so angepasst, dass es Antworten bevorzugt, die dieses Belohnungsmodell hoch bewertet.

Abgrenzung zu Fine-Tuning

RLHF wird oft mit Fine-Tuning verwechselt. Fine-Tuning ist der breitere Oberbegriff für das Nachtrainieren eines Modells mit zusätzlichen Daten - etwa um Fachwissen, Stil oder ein Format zu vermitteln. RLHF ist eine spezielle Ausprägung davon, die nicht auf festen Zieltexten beruht, sondern auf menschlichen Präferenzen und Belohnungssignalen, und gezielt auf Alignment abzielt. Ressourcenschonende Anpassungen wie LoRA sind wiederum eine Technik, um solches Nachtrainieren effizient umzusetzen. RLHF und klassisches Fine-Tuning schließen sich nicht aus, sondern werden häufig kombiniert.

RLHF bei Elasticbrains

Ob ein Modell überhaupt Alignment per menschlichem Feedback braucht oder ob klare Anweisungen und gezieltes Fine-Tuning ausreichen, entscheiden wir am Anwendungsfall - nicht jede Anwendung braucht eigenes RLHF. Wie wir Modelle passend ausrichten und in eine Anwendung bringen, zeigen wir auf unserer Leistungsseite KI-Entwicklung.

Weiterführende Ressourcen

• Glossar: Fine-Tuning, LLM, LoRA
• Leistung: KI-Entwicklung