Suite au déploiement prod du recall hybride (5.129.0), l'overlay commité
pointait TEI cpu-1.6 — qui CRASH-LOOPE sur granite-107m : son export ONNX
embarqué a des sorties non standard (logits/894) que le backend ONNX de
TEI refuse (« Unknown output keys »). Bascule sur Infinity (michaelf34,
sentence-transformers = la lib EXACTE du harnais → embeddings fidèles).

Corrigé aussi : OOM-loop au warmup torch (pic ~1,5 Go ; docker
State.OOMKilled=false MENTAIT, la vraie cause = kill kernel memcg vu
seulement dans dmesg) → mem_limit 2000m + --batch-size 8. Croisière
~200-700 Mo (VPS 3,3 Go dispo).

Doc overlay : ajout du gotcha config.json (l'app réécrit le fichier sur
ses auto-tunes → éditer app ARRÊTÉE, sinon la course écrase le provider,
constaté : le runtime restait sur Qdrant malgré l'édition).

Overlay uniquement — zéro impact sur le code applicatif (le provider est
lu depuis la config user, fail-open inchangé).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>

kevin merged commit f2260f0f8b into main

2026-07-16 12:35:26 +00:00

kevin deleted branch fix/embeddings-infinity-overlay

2026-07-16 12:35:27 +00:00

kevin referenced this pull request from a commit

2026-07-16 12:35:28 +00:00

fix(embeddings): overlay sidecar Infinity/torch (TEI rejette l'ONNX granite) + gotcha config (#21)