Teamleiter: Alex Eisner
Teammitglieder: Roman Leuch, Dimitri Kasper
Projektbeschreibung
In unserem Projekt fine-tunen wir ein bereits bestehendes KI-Sprachmodell, statt eine KI von Grund auf neu zu programmieren. Mithilfe eines selbst erstellten Datensatzes bringen wir der KI bei, kurze, klare und humorvolle Antworten zu geben, die unserer gewünschten „Persönlichkeit“ entsprechen.
Ein wichtiger Teil des Projekts ist zudem, dass das Modell lokal auf einem Gerät laufen soll. Dafür experimentieren wir mit Python, verschiedenen KI-Libraries, dem Fine-Tuning-Workflow in Google Colab sowie der Quantisierung nach GGUF, um das Modell anschliessend mit Ollama lokal nutzen zu können.
Was hat gut funktioniert?
- Die Zusammenarbeit im Team und die Aufgabenteilung haben gut geklappt.
- Wir konnten viel über Fine-Tuning, Python und den Umgang mit Datensätzen lernen.
- Am Ende konnten wir ein eigenes, lokal laufendes KI-Modell erfolgreich erstellen.
Was hat weniger gut funktioniert?
- Einige unserer ursprünglichen Ideen und Ziele konnten wir nicht vollständig umsetzen.
- Das Speichern und Quantisieren des Modells über den Onlineservice hat wegen Speicherproblemen oft nicht funktioniert.
- Der richtige Workflow zwischen Google Colab, lokalem PC und den Libraries war anfangs kompliziert.
Fazit
Trotz einiger Schwierigkeiten war das Projekt sehr lehrreich. Wir haben besser verstanden, wie KI-Fine-Tuning funktioniert, wie wichtig saubere Daten sind und wie man Probleme Schritt für Schritt löst. Am Schluss ein funktionierendes, lokal laufendes Modell zu haben, war für uns ein grosser Erfolg.
Man findet die Anleitung wie man die KI installiert in der Dokumentation im Bereich der Realisierung.
Neueste Kommentare