Together AI benchmark: GLM-5.3 trails GPT-5.6 Sol on the first try, wins on retries at half the price

Vad hände

Together AI published a head-to-head evaluation of GLM-5.3 and GPT-5.6 Sol on the DeepSWE software-engineering benchmark. Sol solved more tasks on the first attempt; GLM-5.3 pulled ahead once multiple attempts were allowed, at about half the cost per rollout. A cascade that runs GLM-5.3 first and escalates failures to Sol scored highest of all.

Together AI, a company that sells inference and GPU capacity for open models, published a blog post on 21 August 2026 comparing GLM-5.3 against GPT-5.6 Sol on DeepSWE, a benchmark of software-engineering tasks spanning multiple languages and task types. The authors, listed as Zain Hasan and Shobhit Dixit, say they ran all 113 tasks four times per model with both systems at maximum effort, for 904 rollouts in total and 452 per side, drawing on the published per-trial records of a DeepSWE v1.1 export rather than running the harness end to end themselves.

On the headline metric, Sol led: 72.7% pass@1 against GLM-5.3's 69.0%, a 3.7-point gap the post itself says 'sits inside a couple of standard deviations' given reported error bars of ±2.2 and ±2.7 points. The order reverses with retries. At two attempts the two are level (81.1% for GLM-5.3, 81.0% for Sol); at four, GLM-5.3 leads 87.6% to 85.8%. Scoring errors as failures barely moves either figure (68.8% and 72.3%), because the run logged only one infrastructure error for GLM-5.3 and two for Sol.

The cost and speed picture splits the other way. Together AI reports $3.99 per GLM-5.3 rollout against $8.37 for Sol — 2.1 times cheaper, or 17 solved tasks per $100 against nine — with run totals of $1,806 and $3,783. Sol was the faster and terser worker: an average 19 minutes and 61 steps per rollout, and 60,000 output tokens, against GLM-5.3's 35 minutes, 124 steps and 80,000 output tokens. Sol was also more consistent, solving 61 tasks on all four trials to GLM-5.3's 48, and scoring 84.5% reliability against 78.8%.

The post's failure analysis is where the two diverge most usefully. Sol broke a repository's existing test suite in 20% of its failures; GLM-5.3 did so in 11%, and more often produced a near miss with the baseline intact (61% against 54%). By domain the board splits four wins each, with Sol stronger on exact-contract and systems work and GLM-5.3 stronger on query and configuration languages, runtime internals and stateful reactivity; GLM-5.3's clear weak spot is protocol conformance at 44%, fifteen points behind Sol. By language, GLM-5.3 leads on JavaScript (90 to 75) and Rust (70 to 60), and Sol on Python, Go and TypeScript.

Because per-task agreement between the two is only 0.43, their union covers 106 of the 113 tasks. Together AI's central recommendation follows from that: run GLM-5.3 first and escalate to Sol only when a test suite rejects the answer. That cascade, it reports, solves 85.9% of tasks at $6.61 each — above Sol alone and below the price of a single Sol rollout — and beats a hypothetical perfect one-shot router at 83.8%. The method note flags real limits: per-turn trajectory files for the GLM-5.3 batch were not on the public CDN, so the analysis is index-level; task domains were classified by a language model; and the cascade figure assumes a reliable verifier and independence between attempts.

Källinformation: together.ai ↗

Varför det spelar roll

The result puts a concrete price on the remaining gap between an open-weight coding model and a closed frontier model, and shows that the ranking depends heavily on which metric a team optimizes. It also quantifies a practical safety difference: how often each model breaks tests that already passed.

For teams choosing models for agentic coding work, this is one of the more specific public accountings of what a frontier model's premium buys. The claim is not that the open model is better, but that the gap on first-attempt accuracy is under four points and inside the reported noise, while the price gap is a factor of two. Expressed as work per dollar — 17 solved tasks per $100 against nine — the comparison reframes model selection as a budget question rather than a capability question for a large share of routine tasks.

The result also shows how much the answer depends on the metric. A team that must accept the first output, with a human waiting, should read Sol's higher pass@1, higher reliability and roughly half the wall-clock time as decisive. A team running batch jobs behind a test suite should read GLM-5.3's pass@4 and coverage lead the same way. These are not competing interpretations of one number; they are different numbers, and the post is explicit that best-of-k advantages only convert into value if something can automatically tell a good patch from a bad one.

The failure anatomy matters more than the headline for anyone shipping model-written diffs. A model that breaks previously passing tests in 20% of its failures imposes a different review burden than one that does so in 11%, regardless of which scores higher. Together AI's practical advice — put a full regression run around Sol's output before accepting it — is the kind of operational detail that benchmark leaderboards usually omit, and it is checkable by any team that runs its own suite.

Flera varningar begränsar hur långt fynden färdas. Detta är ett enda riktmärke av 113 uppgifter mätt av en leverantör vars affärsfördelar när öppna modeller ser konkurrenskraftiga ut; det har inte reproducerats oberoende, och inlägget säger att dess egna siffror kan skilja sig från andra offentliga styrkort av samma par. Kostnaderna beror på priser som kan ändras utan föregående meddelande. Inlägget kallar GLM-5.3 'the open-weight challenger' men anger inte dess utvecklare, licens eller var vikterna kan erhållas; AI Understanding har tidigare rapporterat Zhipu AI open-sourcing GLM-5.2, och det är inte fastställt här att GLM-5.3 är tillgängligt på samma villkor. Varken OpenAI eller GLM-utvecklaren citeras, och inget svar från någon av dem visas i källan.

Vad du ska titta på härnäst

Whether independent groups reproduce the numbers, whether the reported price gap survives pricing changes, whether GLM-5.3 weights are in fact broadly available, and whether verifier-gated cascades become a standard deployment pattern rather than a benchmark artifact.

Det första att titta på är replikering. Tillsammans arbetade AI från publicerade per-trial-poster och säger att per-turn-banafilerna för dess GLM-5.3-batch saknades från den offentliga CDN när den körde analysen, vilket höll arbetet på indexnivå. Om dessa artefakter publiceras kan andra forskare kontrollera klassificeringen av misslyckandeanatomi och nästan misslyckande, som vilar på definitioner som posten tillhandahåller (en nästan miss är minst 80 % av de nya testerna som passerar med baslinjen intakt) snarare än på mått på benchmarkstandard.

Det andra är om kaskadresultatet överlever kontakt med riktiga förvar. Dess siffra på 85,9 % förutsätter en verifierare som är tillräckligt bra för att bestämma när den ska eskalera, och att det andra försöket är oberoende av det första. Projekt med tunna eller långsamma testsviter har inte den verifieraren, och en testsvit som klarar en fel patch förvandlar kaskaden till en pipeline för enbart billig modell. Verifier-gated routing har blivit en synlig produktkategori i år, och denna analys ger ett testbart påstående om hur mycket den faktiskt kan återhämta sig.

Den tredje är hållbarheten hos prisgapet. Både 2,1x kostnadsförhållandet och lösentalet per 100 USD är funktioner för nuvarande slutsatsprissättning och att köra båda modellerna med maximal ansträngning; lägre ansträngningsinställningar, kvantifierad servering eller en prisändring på båda sidorna skulle kunna ändra ordningen på bordet utan någon förändring i modellkvaliteten. Detsamma gäller hastighetsgapet, som speglar hur många steg varje modell tar snarare än någon fast egenskap hos de underliggande systemen.

Slutligen, titta på de specifika svagheterna som varje sida visar. GLM-5.3:s 44 % på protokollöverensstämmelse är den domän där inlägget rapporterar en avgörande Sol-fördel, och det är den typ av lucka som en punktutgåva kan stänga eller befästa. Huruvida efterföljande versioner av endera modellen ändrar dessa uppdelningar per domän och per språk – och om DeepSWE själv förblir oförorenad när den används mer allmänt – kommer att avgöra hur länge routingregler som härrör från denna körning förblir användbara.

Relaterade guider och frågesporter