FINDING #3524 · UNIT ID 1213526705
SeraphimSerapis/tool-eval-bench
Tool-calling quality benchmark for LLM serving stacks. 80+ deterministic scenarios testing multi-turn orchestration, safety boundaries, and structured output. Supports vLLM, SGLang, and llama.cpp.
SURPRISE SCORE
0.00
Score Breakdown
SCORE = SURPRISE × ENGAGEMENT^0.7 × FRESHNESS × VISIBILITY × CONFIDENCE
SURPRISE = WINDOW STARS / DAYS / (AUDIENCE + FLOOR)
11% OF STARS IN ARCHIVE
Growth Telemetry
VELOCITY /D
1.50
ACCEL
+0.07
RETENTION
27.3%
PEAK 2026-10-06 · FORK-RETENTION 62.5% · 45 STARS / WINDOW
Author Audience
AUDIENCE
213
FOLLOWERS
150
OWNER ★
629
Engagement Signals
FORKS
54
ISSUE AUTH
0
PR AUTH
0
UNIQUE STARGAZERS 45 / 45 (DIVERSITY 1.00)
Why This Is A Finding
SeraphimSerapis/tool-eval-bench собрал 45 звёзд за окно, тогда как у автора всего 150 подписчиков — эффективная аудитория ≈ 213. Это даёт surprise-индекс 0.00593 (звёзды относительно охвата автора, а не в абсолюте). Удержание форков 62.5% и 0 внешних контрибьюторов отделяют реальный инструмент от разовой вспышки. Акселерация положительная — рост ещё не выдохся.
Related Findings
RANKS ABOVE 64% OF 9675 FINDINGS
METRICS IN CONTEXT
MEDIAN ACROSS ALL 9675 FINDINGS · Δ vs MEDIAN · PERCENTILE = SHARE RANKED BELOW
METRICVALUEMEDIANΔ MEDPERCENTILE
SCORE0.010.00+0.00ABOVE 64%
VELOCITY1.503.80-2.30ABOVE 0%
RETENTION27.3%20.3%+7.0 PPABOVE 65%
FORKS54138-84ABOVE 29%
SURPRISE0.010.01-0.00ABOVE 45%