feat: expanded and added more tasks

This commit is contained in:
2026-07-08 23:33:26 +02:00
parent 8fdf69e11f
commit d0b776485a
97 changed files with 3121 additions and 427 deletions
+31 -37
View File
@@ -1,49 +1,43 @@
# Robotics + AI Learning Roadmap
# Robotics + AI Learning Course
Dieses Repository ist als praktischer Lernpfad gedacht, um von 0 zu einem kleinen AI-Robotik-Assistenten zu kommen.
Dieses Repository ist ein deutschsprachiger, praktischer Lernkurs für erfahrene Softwareentwickler, die Rust, Backend-Entwicklung, Linux, Docker und APIs kennen, aber Robotik, Computer Vision, ROS2 und Hardware schrittweise lernen wollen.
Zielbild:
Ziel ist ein sprechender AI-Roboterkopf, der zuhört, Sprache in Text wandelt, ein LLM mit Tool Calling nutzt, per Text-to-Speech antwortet, Personen über eine Kamera zählen und bekannte Personen erkennen kann, einen Pan-Tilt-Kopf bewegt und später über ROS2 erweiterbar ist.
- Du kannst mit dem System sprechen.
- Es versteht Sprache über Speech-to-Text.
- Es antwortet über Text-to-Speech.
- Es kann Tools/Aktionen ausführen.
- Es kann über eine Kamera Personen erkennen/zählen.
- Es kann einen kleinen Servo-Kopf bewegen.
- Später kann es über ROS2 strukturiert erweitert werden.
## Kursstruktur
## Lernphasen
1. [00-course-overview](00-course-overview/) - Zielbild, Setup, Lernstrategie, Architektur, Sicherheit und Datenschutz
2. [01-ai-agent-basics](01-ai-agent-basics/) - LLM API, Chat Messages, System Prompt, Tool Calling, Agent Loop, Logging und Memory
3. [02-voice-interface](02-voice-interface/) - Audioaufnahme, Push-to-Talk, Whisper, TTS, Audio Queue und Voice Pipeline
4. [03-computer-vision](03-computer-vision/) - Kamera, OpenCV, Bounding Boxes, YOLO, Personen zählen und Vision Service
5. [04-face-recognition](04-face-recognition/) - Face Detection, Embeddings, Enrollment, Schwellenwerte, Datenschutz und Agent Tool
6. [05-robot-motion](05-robot-motion/) - Servos, PWM, Stromversorgung, Pan-Tilt-Kopf, Motion API und visuelles Zentrieren
7. [06-system-architecture](06-system-architecture/) - Rust-Orchestrator, Python-Services, REST/gRPC/MQTT, Docker Compose und Observability
8. [07-ros2-basics](07-ros2-basics/) - ROS2 Nodes, Topics, Services, Actions, Launch Files, Parameter, TF und Bridge-Architektur
9. [08-final-project](08-final-project/) - Integration zum sprechenden, sehenden und beweglichen Roboterkopf
10. [09-extensions](09-extensions/) - optionale Themen wie fahrende Plattform, SLAM, Navigation und Greifarm
1. `01-ai-agent-basics` - LLMs, Tool Calling, einfache Agenten
2. `02-voice-interface` - Mikrofon, Whisper, TTS
3. `03-computer-vision` - Kamera, OpenCV, Personenerkennung
4. `04-face-recognition` - bekannte Personen erkennen
5. `05-robot-motion` - Servos, PWM, Pan-Tilt-Kopf
6. `06-system-architecture` - Services, APIs, Events, Rust/Python-Aufteilung
7. `07-ros2-basics` - ROS2 verstehen und einfache Nodes bauen
8. `08-final-project` - sprechender Roboterkopf als integriertes Projekt
## Arbeitsweise
## Empfohlene Arbeitsweise
Jede Aufgaben-Datei ist als kleine, praktische Lerneinheit aufgebaut und sollte in etwa 1 bis 4 Stunden bearbeitbar sein. Lies nicht nur passiv: Baue das Ergebnis, miss die wichtigsten Werte und notiere Entscheidungen in einem Projekttagebuch.
Arbeite die Aufgaben nicht nur lesend durch. Jede Markdown-Datei enthält ein kleines Ergebnis, das du wirklich bauen solltest.
Empfohlene Rollenverteilung:
Pro Aufgabe:
- Rust für Orchestrierung, APIs, Tool Calling, Services, State und Konfiguration
- Python für AI, Whisper, OpenCV, YOLO, Face Recognition und schnelle Experimente
- Docker Compose für lokale Integration mehrerer Services
- ROS2 erst dann, wenn die Grundfähigkeiten verstanden und als Services lauffähig sind
1. Ziel lesen
2. Mini-Projekt bauen
3. Erkenntnisse notieren
4. Optional: Erweiterung umsetzen
## Empfohlenes Startsetup
## Tech-Empfehlung
- Linux-PC, Laptop oder Raspberry Pi 5
- USB-Kamera
- USB-Mikrofon und Lautsprecher
- Python 3.11+
- Rust stable
- Docker oder Podman optional
- später: zwei Servos, Pan-Tilt-Halterung, passende externe Stromversorgung und optional PCA9685 Servo-Controller
Für den Anfang:
## Leitprinzip
- Python für AI, Whisper, OpenCV, YOLO
- Rust für Backend-/Service-Logik, APIs, Orchestrierung
- Raspberry Pi 5 oder normaler Linux-PC für frühe Tests
- USB-Kamera, USB-Mikrofon, Lautsprecher
- später: PCA9685 Servo-Controller oder direkt GPIO/PWM
## Wichtig
Nicht direkt mit einem fahrenden Roboter anfangen. Baue zuerst einen sprechenden, sehenden und beweglichen Roboterkopf. Das reduziert die Komplexität massiv.
Starte nicht mit einem fahrenden Roboter. Baue zuerst einen sprechenden, sehenden und beweglichen Roboterkopf. Dadurch lernst du die wichtigen AI-, Vision-, Audio-, Motion- und Architekturthemen mit deutlich weniger Risiko.