feat: expanded and added more tasks
This commit is contained in:
@@ -1,49 +1,43 @@
|
||||
# Robotics + AI Learning Roadmap
|
||||
# Robotics + AI Learning Course
|
||||
|
||||
Dieses Repository ist als praktischer Lernpfad gedacht, um von 0 zu einem kleinen AI-Robotik-Assistenten zu kommen.
|
||||
Dieses Repository ist ein deutschsprachiger, praktischer Lernkurs für erfahrene Softwareentwickler, die Rust, Backend-Entwicklung, Linux, Docker und APIs kennen, aber Robotik, Computer Vision, ROS2 und Hardware schrittweise lernen wollen.
|
||||
|
||||
Zielbild:
|
||||
Ziel ist ein sprechender AI-Roboterkopf, der zuhört, Sprache in Text wandelt, ein LLM mit Tool Calling nutzt, per Text-to-Speech antwortet, Personen über eine Kamera zählen und bekannte Personen erkennen kann, einen Pan-Tilt-Kopf bewegt und später über ROS2 erweiterbar ist.
|
||||
|
||||
- Du kannst mit dem System sprechen.
|
||||
- Es versteht Sprache über Speech-to-Text.
|
||||
- Es antwortet über Text-to-Speech.
|
||||
- Es kann Tools/Aktionen ausführen.
|
||||
- Es kann über eine Kamera Personen erkennen/zählen.
|
||||
- Es kann einen kleinen Servo-Kopf bewegen.
|
||||
- Später kann es über ROS2 strukturiert erweitert werden.
|
||||
## Kursstruktur
|
||||
|
||||
## Lernphasen
|
||||
1. [00-course-overview](00-course-overview/) - Zielbild, Setup, Lernstrategie, Architektur, Sicherheit und Datenschutz
|
||||
2. [01-ai-agent-basics](01-ai-agent-basics/) - LLM API, Chat Messages, System Prompt, Tool Calling, Agent Loop, Logging und Memory
|
||||
3. [02-voice-interface](02-voice-interface/) - Audioaufnahme, Push-to-Talk, Whisper, TTS, Audio Queue und Voice Pipeline
|
||||
4. [03-computer-vision](03-computer-vision/) - Kamera, OpenCV, Bounding Boxes, YOLO, Personen zählen und Vision Service
|
||||
5. [04-face-recognition](04-face-recognition/) - Face Detection, Embeddings, Enrollment, Schwellenwerte, Datenschutz und Agent Tool
|
||||
6. [05-robot-motion](05-robot-motion/) - Servos, PWM, Stromversorgung, Pan-Tilt-Kopf, Motion API und visuelles Zentrieren
|
||||
7. [06-system-architecture](06-system-architecture/) - Rust-Orchestrator, Python-Services, REST/gRPC/MQTT, Docker Compose und Observability
|
||||
8. [07-ros2-basics](07-ros2-basics/) - ROS2 Nodes, Topics, Services, Actions, Launch Files, Parameter, TF und Bridge-Architektur
|
||||
9. [08-final-project](08-final-project/) - Integration zum sprechenden, sehenden und beweglichen Roboterkopf
|
||||
10. [09-extensions](09-extensions/) - optionale Themen wie fahrende Plattform, SLAM, Navigation und Greifarm
|
||||
|
||||
1. `01-ai-agent-basics` - LLMs, Tool Calling, einfache Agenten
|
||||
2. `02-voice-interface` - Mikrofon, Whisper, TTS
|
||||
3. `03-computer-vision` - Kamera, OpenCV, Personenerkennung
|
||||
4. `04-face-recognition` - bekannte Personen erkennen
|
||||
5. `05-robot-motion` - Servos, PWM, Pan-Tilt-Kopf
|
||||
6. `06-system-architecture` - Services, APIs, Events, Rust/Python-Aufteilung
|
||||
7. `07-ros2-basics` - ROS2 verstehen und einfache Nodes bauen
|
||||
8. `08-final-project` - sprechender Roboterkopf als integriertes Projekt
|
||||
## Arbeitsweise
|
||||
|
||||
## Empfohlene Arbeitsweise
|
||||
Jede Aufgaben-Datei ist als kleine, praktische Lerneinheit aufgebaut und sollte in etwa 1 bis 4 Stunden bearbeitbar sein. Lies nicht nur passiv: Baue das Ergebnis, miss die wichtigsten Werte und notiere Entscheidungen in einem Projekttagebuch.
|
||||
|
||||
Arbeite die Aufgaben nicht nur lesend durch. Jede Markdown-Datei enthält ein kleines Ergebnis, das du wirklich bauen solltest.
|
||||
Empfohlene Rollenverteilung:
|
||||
|
||||
Pro Aufgabe:
|
||||
- Rust für Orchestrierung, APIs, Tool Calling, Services, State und Konfiguration
|
||||
- Python für AI, Whisper, OpenCV, YOLO, Face Recognition und schnelle Experimente
|
||||
- Docker Compose für lokale Integration mehrerer Services
|
||||
- ROS2 erst dann, wenn die Grundfähigkeiten verstanden und als Services lauffähig sind
|
||||
|
||||
1. Ziel lesen
|
||||
2. Mini-Projekt bauen
|
||||
3. Erkenntnisse notieren
|
||||
4. Optional: Erweiterung umsetzen
|
||||
## Empfohlenes Startsetup
|
||||
|
||||
## Tech-Empfehlung
|
||||
- Linux-PC, Laptop oder Raspberry Pi 5
|
||||
- USB-Kamera
|
||||
- USB-Mikrofon und Lautsprecher
|
||||
- Python 3.11+
|
||||
- Rust stable
|
||||
- Docker oder Podman optional
|
||||
- später: zwei Servos, Pan-Tilt-Halterung, passende externe Stromversorgung und optional PCA9685 Servo-Controller
|
||||
|
||||
Für den Anfang:
|
||||
## Leitprinzip
|
||||
|
||||
- Python für AI, Whisper, OpenCV, YOLO
|
||||
- Rust für Backend-/Service-Logik, APIs, Orchestrierung
|
||||
- Raspberry Pi 5 oder normaler Linux-PC für frühe Tests
|
||||
- USB-Kamera, USB-Mikrofon, Lautsprecher
|
||||
- später: PCA9685 Servo-Controller oder direkt GPIO/PWM
|
||||
|
||||
## Wichtig
|
||||
|
||||
Nicht direkt mit einem fahrenden Roboter anfangen. Baue zuerst einen sprechenden, sehenden und beweglichen Roboterkopf. Das reduziert die Komplexität massiv.
|
||||
Starte nicht mit einem fahrenden Roboter. Baue zuerst einen sprechenden, sehenden und beweglichen Roboterkopf. Dadurch lernst du die wichtigen AI-, Vision-, Audio-, Motion- und Architekturthemen mit deutlich weniger Risiko.
|
||||
|
||||
Reference in New Issue
Block a user