2026-05-15

Qwen3-4B + ROCm Fine-Tuning Pipeline

Ziel: QLoRA Fine-Tuning eines Qwen3-4B-Instruct auf RX 9060 XT für OpenSim NPC Bot

Erledigt:

• /daten eingerichtet (1 TB NVMe → ext4, 870 GB frei)
• ROCm 7.2 + PyTorch 2.12.0+rocm7.2 installiert
• Unsloth 2026.5.2 + alle Dependencies installiert (mit --no-deps wg. ROCm)
• Trainings-Dataset mit 98 Samples (38 lokal + 36 Wiki + 24 Code)
• Testlauf: 38 Samples, LoRA Rank 16, 30 Steps, Loss 12→7
• Finales Training: 98 Samples, LoRA Rank 32, 250 Steps, Loss 11.12→6.15
• LoRA-Adapter gespeichert in /daten/models/qwen3-4b-opensim/
• Skill angelegt: qwen3-4b-opensim-finetune

Resultat: Modell antwortet korrekt mit rez cube statt "create object". Qualitative Verbesserung sichtbar, aber mehr Daten nötig.

Nächste Schritte (morgen):

• OpenSim-Wiki Scraper verbessern
• Mehr Trainingsdaten generieren
• Finales merged Modell für NPC-Bot-Deployment