AI inženýrství
Stavím na existujících modelech: workflow pro agenty, integrace nástrojů a evaly. Modely netrénuji. Většina z toho běží v každodenní práci týmu, zbytek jsou osobní projekty.
SELECT * FROM work WHERE topic = 'agents'
Coding agenti v týmu
V práci jsem postavil workflow, které vede změnu od zadání po merge request. Používá ho většina týmu.
Nezávislé review
Dva agenti kontrolují diff odděleně: jeden věcnou správnost, druhý provozní spolehlivost. Jejich nálezy zůstávají koncepty, dokud je člověk nezveřejní nebo neodmítne.
Sdílené skilly a MCP
Skilly a MCP integrace pro vývoj, řešení incidentů a code review jsou sdílené, takže celý tým pracuje stejně.
Kontrola výsledku, ne diffu
Pro lidskou část jsem postavil verifair. Agenti publikují reporty o změnách i s důkazy a lidé je podepisují, komentují a schvalují.
Agent kit pro celou firmu
Moje vlastní iniciativa. Navrhl a postavil jsem sdílenou sadu skillů a pravidel pro agenty, onboardingový web generovaný ze stejných souborů a sandbox, kde agent převezme úkol z chatu. Funkční verze, kterou jsem navrhl k použití v celé firmě.
Testování agentní platformy
Na platformě Paperclip pro orchestraci agentů jsem zkoušel skutečné úkoly s nízkým rizikem, hlásil, co nefungovalo, a přispíval skilly a opravami do firemního nasazení.
SELECT subject, result FROM evals
Evaly
Judge pro kontroly API
Smoke testy interních API používají Pydantic AI judge, který čte skutečné odpovědi. Sada evalů ověřuje judge na případech, které jsou správně i špatně.
Instrukce pro agenty
Každý případ běží několikrát, se skillem i bez něj. Jeden workflow skill měl skóre 0,87 proti 0,40 bez něj. Poznámky (anglicky) →
Ještě jedna stránka
V ai-newsletteru, denním přehledu AI novinek, který si ověřuje zdroje, si model smí přečíst další stránky. V zachování klíčové podmínky měl skóre 0,92 proti 0,70 u jednoho průchodu. Poznámky (anglicky) →
Braintrust Python SDK
Při spouštění evalů jsem nahlásil dvě chyby v trasování Pydantic AI. Obě jsou v upstreamu opravené.
SELECT * FROM personal_projects WHERE topic = 'ai'
Osobní nástroje
Osobní asistent
používámAsistent, kterého sám používám, s dlouhodobou pamětí, nástroji a opakovanými úkoly: koncepty e-mailů, souhrny s odkazy na zdroje, hlasové dotazy. Postavený z open-source částí, například Hermes Agent, Hindsight a Home Assistant.
Proof of concept AI shellu: rychlý model odpovídá a práci předává Claude agentům na pozadí. Riskantní kroky čekají na schválení.
SELECT lesson FROM experience
Principy
- Když agent řekne „hotovo“, je to tvrzení, ne výsledek. Rozhodují testy a kontroly.
- Omezená oprávnění a lidská kontrola citlivých akcí.
- Pro jednoduché nebo kritické operace je často lepší obyčejný kód.
- AI pomáhá nejvíc s neuspořádaným vstupem: čtení, shrnutí, dohledání kontextu, koncepty.