LIBERO: Robots Leren Om Oude Trucs Niet Te Vergeten

Stel je voor dat je een manipulatorrobot hebt geleerd om voorzichtig een boek op een plank te zetten. Geweldig! Nu vraag je hem om een kopje op tafel te zetten, en... hij is compleet vergeten hoe hij met boeken moet omgaan. Herkenbaar probleem in de wereld van machine learning? Dit fenomeen, bekend als "catastrofale vergetelheid", is een van de grootste hoofdpijnen voor robotica-onderzoekers. Een robot die goed is in slechts één taak is in de echte wereld vrijwel nutteloos.

Dit is precies waar het LIBERO-project (Lifelong-Robot-Learning) voor is gemaakt. Het is niet alleen code, maar een heel framework en benchmark voor het ontwikkelen en testen van robots die tot "levenslang leren" in staat zijn — dus kennis en vaardigheden opbouwen zonder bestaande te verliezen. Laten we uitzoeken wat dit wezen is en waarom je er aandacht aan zou moeten besteden.

Wat is LIBERO en wie heeft het nodig?

Als we het simpel zeggen, is LIBERO een "sportschool" en "examenarena" voor robotkunstmatige intelligentie. Het biedt onderzoekers en ontwikkelaars alles wat ze nodig hebben om een AI-agent meerdere taken opeenvolgend te laten uitvoeren, met overdracht van kennis van de ene naar de andere.

Het project is vooral nuttig voor:

AI/ML- en robotica-onderzoekers: LIBERO biedt een gestandaardiseerde set taken en metrieken voor het vergelijken van verschillende levenslang leren-benaderingen.
Studenten en afstudeerstudenten: Het is een kant-en-klare sandbox om te leren en te experimenteren met geavanceerde robotleerconcepten.
Praktiserende ingenieurs: Degenen die hun eigen algoritmes willen testen onder realistische omstandigheden waarbij de robot voortdurend moet aanpassen.

In plaats van telkens van scratch omgevingen en taken te creëren, krijg je een kant-en-klare toolkit waarmee je je kunt richten op wat het belangrijkst is — de leeralgoritmen.

LIBERO workflow diagram

Belangrijkste functies: Wat zit erin?

LIBERO is niet zomaar een verzameling scripts, maar een uitgebreid platform. Hier zijn de meest interessante componenten.

1. Oneindige taakgenerator

Een van de hoogtepunten van het project is procedurele taakgeneratie. Dit betekent dat LIBERO theoretisch een oneindig aantal unieke manipulatie-scenario's kan creëren. Dit lost het "dataset memorisatie"-probleem op: het model kan niet simpelweg de juiste acties voor een beperkte set voorbeelden memoriseren. Het zal moeten leren om te generaliseren.

2. Kant-en-klare taaksets

Voor het gemak groepeerden de auteurs 130 taken in vier thematische sets:

LIBERO-Spatial: Taken die begrip van ruimtelijke relaties vereisen ("plaats de kubus op de doos", "duw het object onder de tafel").
LIBERO-Object: Focus op interactie met verschillende objecten. Hier moet de robot vaardigheden overdragen van het werken met het ene type item naar het andere.
LIBERO-Goal: Taken waarbij het einddoel verandert terwijl de objecten en omgeving hetzelfde blijven.
LIBERO-100: De meest uitdagende set van 100 diverse taken die gemengde kennisoverdracht vereist. Deze is verder onderverdeeld in LIBERO-90 voor pre-training en LIBERO-10 voor de uiteindelijke test van het continue-leervermogen van de agent.

Deze verdeling maakt gericht testen mogelijk van hoe een model specifieke soorten kennis overdraagt — procedureel (hoe te bewegen) of declaratief (wat waar is).

3. "Batterijen meegeleverd": Algoritmes en architecturen

Om gemakkelijker te kunnen beginnen met experimenteren, heeft LIBERO al basisalgoritmes en neurale netwerkarchitecturen ingebouwd:

Drie visie-motor-architecturen: bc_rnn_policy, bc_transformer_policy, bc_vilt_policy. Dit zijn kant-en-klare "hersenen" voor de robot die camerabeelden omzetten in manipulator-acties.
Vijf leeralgoritmen: Inclusief basisbenaderingen (sequentiële fine-tuning, multi-task leren) en meer geavanceerde methoden voor continue leren (er, ewc, packnet).

Dit betekent dat je direct verschillende benaderingen kunt vergelijken zonder tijd te besteden aan het zelf implementeren ervan.

Hoe werkt het in de praktijk?

Aan de slag gaan met LIBERO is vrij eenvoudig. Na standaard installatie via conda en pip krijg je toegang tot de hele toolkit.

Om bijvoorbeeld datasets met menselijke demonstraties te downloaden (ja, het project richt zich op imitation learning), hoef je alleen maar een script uit te voeren. Trouwens, ze hebben onlangs de mogelijkheid toegevoegd om ze direct te downloaden van HuggingFace — erg handig!

# Скачать все датасеты с HuggingFace
python benchmark_scripts/download_libero_datasets.py --use-huggingface

En zo ziet een minimaal voorbeeld eruit van het laden en uitvoeren van een van de taken:

from libero.libero import benchmark
from libero.libero.envs import OffScreenRenderEnv

# Получаем список доступных наборов задач
benchmark_dict = benchmark.get_benchmark_dict()
task_suite_name = "libero_10"
task_suite = benchmark_dict[task_suite_name]()

# Выбираем конкретную задачу по её ID
task_id = 0
task = task_suite.get_task(task_id)
task_description = task.language

print(f"Загружена задача: {task_description}")

# Инициализируем окружение для симуляции
env_args = {
    "bddl_file_name": os.path.join(get_libero_path("bddl_files"), task.problem_folder, task.bddl_file),
    "camera_heights": 128,
    "camera_widths": 128
}
env = OffScreenRenderEnv(**env_args)
env.reset()

# Выполняем 10 шагов с пустым действием
for step in range(10):
    obs, reward, done, info = env.step([0.] * 7)
env.close()

Zoals je kunt zien, is de API vrij eenvoudig en intuïtief. Je kunt gemakkelijk je eigen modellen en algoritmes in deze pipeline integreren.

Conclusies: Is het de moeite waard om te proberen?

Absoluut ja, als je werk of studie ook maar enigszins gerelateerd is aan robotleren. LIBERO is een krachtig en goed gedocumenteerd hulpmiddel dat een echt probleem in dit vakgebied oplost. Het leert de robot niet voor je, maar het biedt een uitstekende omgeving voor experimenten.

Wie is LIBERO bijzonder geschikt voor:

Onderzoekers: Om reproduceerbare en vergelijkbare resultaten te publiceren.
Liefhebbers: Om met state-of-the-art benaderingen in robotica aan de slag te gaan.
Instructeurs: Als praktisch platform voor machine learning- en robotica-cursussen.

Het project ontwikkelt zich actief, en de auteurs hebben enorm werk verricht door een uniforme standaard te creëren voor een van de meest complexe en interessante gebieden van AI. Dus, als je een robot wilt leren om niet alleen kopjes neer te zetten maar ook niet te vergeten over boeken, bekijk dan de GitHub van het project. Het is een geweldig startpunt.