AI inženýrství

Stavím na existujících modelech: workflow pro agenty, integrace nástrojů a evaly. Modely netrénuji. Většina z toho běží v každodenní práci týmu, zbytek jsou osobní projekty.

SELECT * FROM work WHERE topic = 'agents'

Coding agenti v týmu

V práci jsem postavil workflow, které vede změnu od zadání po merge request. Používá ho většina týmu.

Plán schvaluje člověk a o merge rozhoduje také člověk. Agenti nemergují.

Nezávislé review

Dva agenti kontrolují diff odděleně: jeden věcnou správnost, druhý provozní spolehlivost. Jejich nálezy zůstávají koncepty, dokud je člověk nezveřejní nebo neodmítne.

Sdílené skilly a MCP

Skilly a MCP integrace pro vývoj, řešení incidentů a code review jsou sdílené, takže celý tým pracuje stejně.

Kontrola výsledku, ne diffu

Pro lidskou část jsem postavil verifair. Agenti publikují reporty o změnách i s důkazy a lidé je podepisují, komentují a schvalují.

Agent kit pro celou firmu

Moje vlastní iniciativa. Navrhl a postavil jsem sdílenou sadu skillů a pravidel pro agenty, onboardingový web generovaný ze stejných souborů a sandbox, kde agent převezme úkol z chatu. Funkční verze, kterou jsem navrhl k použití v celé firmě.

Testování agentní platformy

Na platformě Paperclip pro orchestraci agentů jsem zkoušel skutečné úkoly s nízkým rizikem, hlásil, co nefungovalo, a přispíval skilly a opravami do firemního nasazení.

SELECT subject, result FROM evals

Evaly

v práci

Judge pro kontroly API

Smoke testy interních API používají Pydantic AI judge, který čte skutečné odpovědi. Sada evalů ověřuje judge na případech, které jsou správně i špatně.

osobní projekt

Instrukce pro agenty

Každý případ běží několikrát, se skillem i bez něj. Jeden workflow skill měl skóre 0,87 proti 0,40 bez něj. Poznámky (anglicky) →

osobní projekt

Ještě jedna stránka

V ai-newsletteru, denním přehledu AI novinek, který si ověřuje zdroje, si model smí přečíst další stránky. V zachování klíčové podmínky měl skóre 0,92 proti 0,70 u jednoho průchodu. Poznámky (anglicky) →

open source

Braintrust Python SDK

Při spouštění evalů jsem nahlásil dvě chyby v trasování Pydantic AI. Obě jsou v upstreamu opravené.

SELECT * FROM personal_projects WHERE topic = 'ai'

Osobní nástroje

Osobní asistent

používám

Asistent, kterého sám používám, s dlouhodobou pamětí, nástroji a opakovanými úkoly: koncepty e-mailů, souhrny s odkazy na zdroje, hlasové dotazy. Postavený z open-source částí, například Hermes Agent, Hindsight a Home Assistant.

maineudržovaný

Proof of concept AI shellu: rychlý model odpovídá a práci předává Claude agentům na pozadí. Riskantní kroky čekají na schválení.

SELECT lesson FROM experience

Principy