01EröffnungOpening Remarks
IT Revolution
Gene Kim
Vibe Coder, Autor & Forscher · IT Revolution – Opening RemarksVibe Coder, Author & Researcher · IT Revolution – Opening Remarks
Agentic Coding wird Technologie-Organisationen umbauen wie DevOps, nur hundertmal größer und hundertmal schneller. Wenn Code fast sofort und kostenlos entsteht, wandert der Engpass in alle Teile der Organisation außerhalb der IT, und Führungskräfte stehen vor Problemen ohne Vorbild.Agentic coding will reshape technology organizations like DevOps did, but a hundred times bigger and a hundred times faster. As code heads toward instantaneous and free, the bottleneck moves into every part of the organization outside technology, and leaders face problems with no precedent.
47 min
Pair Programming mit Steve Yegge (Sept. 2024) an etwas, das Kim seit über zehn Jahren bauen wolltePair programming with Steve Yegge (Sept 2024) on something Kim had wanted to build for over a decade
5
Tage Vibe Coding bei Fidelity statt der vom Team geschätzten rund 7 Monate mit zusätzlichen EntwicklernDays of vibe coding at Fidelity instead of the team's estimate of about 7 months with extra developers
1500
Speaker seit dem Start des DevOps Enterprise Summit 2014Speakers since the DevOps Enterprise Summit started in 2014
1000
Technologie-Führungskräfte als Community-Ziel binnen eines Jahres (Idee von GitLab)Technology leaders as a community goal within one year (GitLab's idea)
“Wir stehen jetzt vor der größten Führungsherausforderung der vielleicht letzten hundert Jahre.We are now facing the greatest leadership challenge of perhaps the last hundred years.”
Key Takeaways
- Ein CTO einer großen Private-Equity-Firma überzeugte Kim: Über 60 Jahre konnten Führungskräfte Prozesse erben und sich die Erfolge zuschreiben. Wenn Coding gegen sofort und kostenlos geht, sind alle bestehenden Prozesse unzureichend.A CTO at a large private equity firm convinced Kim: for 60+ years leaders could inherit processes and take credit. With coding heading toward instantaneous and free, every existing process becomes insufficient.
- Dr. Erik Meijer (VB, C#, LINQ, Hack): Wenn wir die letzte Generation sind, die Code von Hand schreibt, dann lasst es uns genießen. Zeit ist die wertvollste Ressource, weil sie sich weder speichern noch erzeugen lässt.Dr. Erik Meijer (VB, C#, LINQ, Hack): if we are the last generation of developers to write code by hand, let's have fun doing it. Time is the most valuable resource because it cannot be stored or created.
- Beispiel Fidelity (Vortrag auf der Konferenz 2025): Der damalige VP of Architecture baute per Vibe Coding in fünf Tagen eine neue Oberfläche für die Software-Supply-Chain-Inventarisierung direkt auf Neo4j, die vor einem Jahr in Produktion ging.Fidelity example (talk at the 2025 conference): the then VP of Architecture vibe coded a new front end for the software supply chain inventory directly on Neo4j in five days; it went to production a year ago.
- Alle starten gleichzeitig: Frontier-Labs haben zwar früher Zugang zu Modellen, beim Umbau ihrer Organisation aber höchstens zweieinhalb Monate Vorsprung. John Deere: Wir wurden alle zur selben Zeit neu gestartet.Everyone starts at the same time: frontier labs get model access early, but have at most a two-and-a-half-month head start on rewiring their organizations. John Deere: we all got rebooted at the same time.
- Steve Yegges Bemerkung, John Deere sei vielleicht weiter als Google, erreichte 2,5 Millionen Views und eine scharfe Antwort von Demis Hassabis (Google DeepMind). Das zeigt, wie aufgeladen das Thema KI-Adoption ist.Steve Yegge's remark that John Deere might be ahead of Google drew 2.5 million views and a sharp reply from Demis Hassabis (Google DeepMind), showing how charged AI adoption is.
- DevOps-Vorbild Siemens Healthineers (CT-Scanner): über 150.000 Tests, ein sechswöchiger Deployment-Zyklus wurde auf tägliche automatisierte Deployments verkürzt. Diese Konferenz setzt auf Erfahrungsberichte mit Hypothese, Vorgehen und Ergebnis.DevOps precedent Siemens Healthineers (CT scanners): 150,000+ tests, a six-week deployment cycle cut to daily automated deployments. This conference focuses on experience reports stating hypothesis, approach and outcome.
02ErfahrungsberichtCase Study
NRC Health
Dustin Warner
Director of Software Engineering · NRC Health — From Fire Drill to Operating Model
Nachdem drei Engineers die von einem Konkurrenten gekaufte Kernplattform AI-first in rund 90 Tagen neu gebaut hatten, stand NRC Health vor der Frage, wie man die Dringlichkeit ohne Notfall hält. Die Antwort: eine produktbezogene „synthetische Organisation“ aus Sales, Service, Operations und Tech, die mit KI in Tagen statt Sprints entscheidet und liefert.After three engineers rebuilt a core platform bought by a competitor AI-first in about 90 days, NRC Health faced the question of how to keep the urgency without the emergency. The answer: a product-focused synthetic org of sales, service, operations and tech that decides and ships with AI in days, not sprints.
~90 d
für den AI-first-Neubau der Kernplattform, mit 3 Personento rebuild the core platform AI-first, with 3 people
7 → 1
7 Monate Planungsordner vs. 1 Woche mit den richtigen Leuten in einem Raum7 months of planning binder vs. 1 week with the right people in one room
2.5 wk
für ein SQL-Upgrade, das zweimal gescheitert war (Schätzung: 9–12 Monate)for a SQL upgrade that had failed twice (estimated 9–12 months)
4 h
statt 6 Monate: Was früher ein finanziertes Projekt war, ist jetzt ein Nachmittaginstead of 6 months: what used to be a funded project is now an afternoon
“Die Kreativität floss in den Workaround, nicht in das System.Creativity went into the workaround, not into the system.”
Key Takeaways
- Der Auslöser: Die Plattform unter einem Top-3-Umsatzprodukt (laut Warner 30–40 % des Umsatzes) wurde von einem Konkurrenten gekauft. Drei Personen bauten sie AI-first nach, erreichten Feature-Parität in 90 Tagen und sind inzwischen komplett migriert.The trigger: the platform under a top-3 revenue product (30–40% of revenue, per Warner) was bought by a competitor. Three people rebuilt it AI-first, reached feature parity in 90 days and have since fully migrated off it.
- Statt das Organigramm umzubauen („kostet zu viel politisches Kapital“) gründete NRC eine synthetische Organisation: Sales, Customer Service, Operations und Engineering arbeiten jeweils nur an einem Produkt (Market Insights) und treffen sich wöchentlich.Instead of redrawing the org chart (too much political currency), NRC created a synthetic org: sales, customer service, operations and engineering each focus on one product (Market Insights) and meet weekly.
- KI ersetzt die Kontextfilter über Rollen hinweg: Meetings werden aufgezeichnet und zusammengefasst an die Engineering-Manager geschickt, Agents machen den ersten Durchgang bei Kundenproblemen, risikoarme PRs gehen teils raus, bevor das Meeting vorbei ist, Demos liegen am nächsten Tag in Slack.AI replaces the context filters between roles: meetings are recorded and summarized for engineering managers, agents take the first pass on customer issues, low-risk PRs sometimes ship before the meeting ends, and demos are in Slack the next day.
- Neben technischer Schuld gibt es Prozessschuld: Ein Engineer spart Operations in zwei Tagen Arbeit acht Stunden pro Woche. Fünf Visual-Basic-Apps und rund 20 Spreadsheets wurden bereits abgelöst – „Systems, not spreadsheets“, denn was im Spreadsheet steckt, kann auch die KI nicht nutzen.Beyond technical debt there is process debt: one engineer spending two days saves operations eight hours a week. Five Visual Basic apps and about 20 spreadsheets are gone already – systems, not spreadsheets, because a number in someone's spreadsheet is invisible to everyone else and to AI.
- Geschwindigkeit wurde zur Erwartung: Ein Team aus drei Leuten schloss ein zweimal gescheitertes SQL-Upgrade in 2,5 Wochen ab, bei etwa 30 Minuten nächtlicher Downtime. Klickbare Prototypen sind in vier Stunden bei den Nutzern, und in 4-Stunden-Hackathons baute Operations Snowflake-Cortex-Skills für Custom Studies.Speed became the expectation: a team of three finished a SQL upgrade that had failed twice in 2.5 weeks with about 30 minutes of overnight downtime. Clickable prototypes reach users within four hours, and in 4-hour hackathons operations built Snowflake Cortex skills for custom studies.
- Offen ist noch: Freiwillige skalieren nicht (die synthetische Organisation lebt vom Opt-in), Product und Technology verschmelzen ohne klares Rollenbild, und die Adoption bleibt der langsame Teil – „Wir bauen in Tagen und onboarden Kunden immer noch in Monaten.“Still unsolved: volunteers don't scale (the synthetic org works because people opt in), product and technology have merged without a clear role model, and adoption is the slow burn – we build in days and still onboard clients in months.
03Kontrollen & GovernanceControls & Governance
Morgan Stanley
Khalid Elsawaf
Executive Director · Morgan Stanley · „Controlled Acceleration: How Morgan Stanley is Evolving SDLC Controls for an Agentic World“Executive Director · Morgan Stanley · "Controlled Acceleration: How Morgan Stanley is Evolving SDLC Controls for an Agentic World"
In einer stark regulierten Bank darf KI-Tempo nicht auf Kosten der Kontrolle gehen: Morgan Stanley automatisiert die SDLC-Kontrollen selbst, verlagert sie in den Entwickler-Workflow, standardisiert die Entwicklung und stellt jede bestehende Kontrolle in Frage. Ziel ist eine „Förderband“-Pipeline, die bei jeder Änderung automatisch prüft und Nachweise sammelt.In a heavily regulated bank, AI speed cannot come at the cost of control: Morgan Stanley automates the SDLC controls themselves, shifts them into the developer workflow, standardizes development and questions every existing control. The goal is a "conveyor belt" pipeline that checks every change and gathers the evidence automatically.
23K+
Technologen weltweit bei Morgan StanleyTechnologists worldwide at Morgan Stanley
15mm
Software-Builds pro JahrAnnual software builds
50%
seiner Arbeitszeit ging anfangs in Code Reviewsof his time initially went into code reviews
3×
Teamwachstum in 18 MonatenTeam growth in 18 months
“Was man nicht standardisiert, kann man nicht automatisieren.You can't automate what you don't standardize.”
Key Takeaways
- Automatisiere die Kontrollen, nicht nur die Delivery: Code Reviews kosteten ihn rund 50 % seiner Zeit, während sich das Team verdreifachte. Er zerlegte das Review in einzelne Skills (Architektur-Alignment, Testqualität, Spec-Abdeckung, Infrastruktur-Review, ADR-Check), die auf jedem Pull Request laufen und Kommentare automatisch posten.Automate the controls, not just the delivery: code reviews took about 50% of his time while the team tripled. He decomposed the review into skills (architecture alignment, test quality, spec coverage, infrastructure review, ADR check) that run on every pull request and post findings automatically.
- Kontrollen dorthin bringen, wo Entwickler arbeiten: Die Entwickler wollten die Skills selbst nutzen, also kamen sie unter Source Control und laufen jetzt in IDEs und agentischen Terminals, bevor überhaupt ein PR entsteht. Dazu kommen Security-Scans bei jeder Änderung.Bring controls to where developers live: developers asked to run the skills themselves, so they were put under source control and now run in IDEs and agentic terminals before a PR is even raised, alongside security scanning on every change.
- Architektur als Code: Die Erkennung von Architektur-Drift baut auf CALM (Common Architecture Language Model) auf, einem Standard der Finanz-Open-Source-Organisation FINOS, statt auf Diagrammen in PowerPoint.Architecture as code: architecture drift detection is built on CALM (Common Architecture Language Model), a standard from the financial open-source organisation FINOS, instead of diagrams in PowerPoint.
- Standardisierung ist Voraussetzung für KI-ROI: Auf einer fünfstündigen Zugfahrt von Montreal nach Toronto ließ er einen Agenten Standards aus der eigenen Codebasis ableiten. Daraus wurden Standard-Development-Skills für Services, Batch Jobs, Dokumentation, Testing und Observability, und die gefundenen Abweichungen landen als Tech-Debt-Backlog.Standardization is a prerequisite for AI ROI: on a five-hour train ride from Montreal to Toronto he had an agent derive standards from the existing codebase. These became standard development skills for services, batch jobs, documentation, testing and observability, and the divergences found became a tech-debt backlog.
- Alles in Frage stellen: Viele Kontrollen setzen voraus, dass Menschen den Code schreiben, und das stimmt nicht mehr. Leitfragen sind, ob die Kontrolle das Risiko wirklich adressiert, ob das Risiko noch existiert und ob sie ein Gate sein muss. Nicht jede Kontrolle muss eine Änderung auf dem Weg nach Prod blockieren.Question everything: many controls assume code is written by humans, which is no longer true. Guiding questions: does the control truly address the risk, does the risk still exist, does it need to be a gate? Not every control has to block a change from reaching prod.
- Als Nächstes: ein standardisierter PR-Risk-Score auf Basis der datengetriebenen Risikobewertung, kontinuierliche Überprüfung der SDLC-Policy und Continuous Automated Governance mit Nachweisen direkt aus CI/CD statt aus Spreadsheets. Branchenweit arbeitet Morgan Stanley mit Deutsche Bank und Kosli im FINOS SDLC Common Controls Framework an einem gemeinsamen Kontrollkatalog.Next up: a standardized PR risk score built on the data-driven risk assessment, continuous SDLC policy review and continuous automated governance with evidence coming straight out of CI/CD instead of spreadsheets. Industry-wide, Morgan Stanley works with Deutsche Bank and Kosli in the FINOS SDLC Common Controls Framework on a shared controls catalog.
04Keynote
UnabhängigIndependent
Steve Yegge
Co-Autor von „Vibe Coding“, Autor des Gas-Town-Agent-Swarms · „Wheelhouse and Counting House: Two ways to put models to work“Co-author of "Vibe Coding", author of the Gas Town agent swarm · "Wheelhouse and Counting House: Two ways to put models to work"
Es gibt zwei grundverschiedene Wege, Agents in ein Unternehmen zu bringen: Im Wheelhouse (SDLC) sind Agents Kollegen, die man wie Menschen führt, im Counting House (Operations) sind sie streng gekapselte Sachbearbeiter mit harten Regeln und messbarer Qualität. Entgegen der Erwartung hat die Branche mit dem Operations-Weg heute deutlich mehr Erfolg.There are two fundamentally different ways to bring agents into a company: in the Wheelhouse (SDLC) agents are coworkers you manage like people, in the Counting House (operations) they are tightly fenced clerks with hard rules and measurable quality. Contrary to expectations, the industry is succeeding far more on the operations side today.
~50
Agent-Seats im Wheelhouse, ein einziger Mensch (der Gründer)agent seats in the Wheelhouse, with one human (the founder)
2,084
Commits auf master in einer Woche (28.09. bis 05.10.)commits on master in one week (09-28 to 10-05)
4,076
geschlossene Tickets (Beads) in derselben Wochetickets (beads) closed in the same week
≥ 98%
nötiger Recall für Erstattungen mit Rechtsanspruch (14 Fehler in 150 = Brief vom Regulator)recall required for entitled refunds (14 misses in 150 is a regulator letter)
“Man muss sie auf menschliches Tempo drosseln. Man kann sie nicht einfach aufeinander loslassen.You have to pace them to human speeds. You can't just let them go at each other.”
Key Takeaways
- Wheelhouse ist ein Organigramm, kein Tool: ein Executive-Team aus Agents (Chief of Staff, Operations Lead, Infrastructure Officer, Internal-Affairs Judge), 15 benannte Engineers und 31 Headless Worker in drei Pools betreiben ein Live-Multiplayer-Spiel (Java/Kotlin) mit nur einem Menschen.Wheelhouse is an org chart, not a tool: an executive team of agents (chief of staff, operations lead, infrastructure officer, internal-affairs judge), 15 named engineers and 31 headless workers in three pools run a live multiplayer game (Java/Kotlin) with just one human.
- Agents wie Kollegen führen: geschriebene Doktrin, die bei jedem Boot gelesen wird, und blameless Postmortems. Wer Agents beschuldigt, bekommt schlampige Arbeit, ein Fehler ist ein Maschinerie-Problem, das als Regel am selben Tag behoben wird. Vertrauen kommt aus 14 Fences, durchgesetzt per Scripts und Hooks, nie per Prompt.Manage agents like colleagues: written doctrine read on every boot and blame-free postmortems. Blaming agents produces shoddy work; a mistake is a machinery problem fixed as a rule the same day. Trust comes from 14 fences enforced by scripts and hooks, never by prompts.
- Rund 2.000 Commits pro Woche überfordern Spieler, Maschinen und Datenbanken. Agents auf menschliches Tempo drosseln und auf Qualität und Security ausrichten statt auf Features, sonst wird das ganze Unternehmen mit Features überrollt.Around 2,000 commits a week overwhelm players, machines and databases. Pace agents to human speeds and point them at quality and security rather than features, or they will bury the whole company in features.
- Counting House für Contact Center (z. B. 10 Millionen Kontakte pro Jahr in rund 50 Kategorien): PII-Gateway, damit kein Modell je personenbezogene Daten sieht, Channel-Adapter für WhatsApp, SMS, Mail und Telefon, und Agents, die nur einmal urteilen und dann beendet werden.Counting House for contact centers (e.g. 10 million contacts a year in about 50 categories): a PII gateway so no model ever sees personal data, channel adapters for WhatsApp, SMS, email and phone, and one-shot agents that make a single judgment and are then killed.
- Agents schreiben nie direkt in Systeme, sondern nur Write Intents. Ein Plan wie Ticket erstatten, Flug und Hotel umbuchen, Differenz auszahlen wird von Temporal als deterministischem Saga-Orchestrator ausgeführt und ist rückrollbar.Agents never write to systems directly, only write intents. A plan like refunding a ticket, rebooking flight and hotel and paying out the difference is executed by Temporal as a deterministic saga orchestrator and can be rolled back.
- Modellwahl per Eval-Matrix aus einigen hundert menschlich bearbeiteten Fällen: Modelle erreichen höchstens die Übereinstimmung der Menschen, 90 % Accuracy sagt nichts, entscheidend sind die Fehlerkosten je Zelle. Rollout über Autonomiestufen Off, Shadow, Assist, Transact, mit Schutz gegen „Cognitive Surrender“ der menschlichen Agents.Choose models with an eval matrix built from a few hundred human-handled cases: models can only reach the ceiling of human agreement, 90% accuracy tells you nothing, the cost of the error per cell decides. Roll out via autonomy tiers off, shadow, assist, transact, with safeguards against cognitive surrender by human agents.
05KamingesprächFireside Chat
Hyland
Jitesh Ghai
CEO · Hyland · Kamingespräch mit Gene KimCEO · Hyland · Fireside with Gene Kim
Hyland verwaltet unstrukturierte Daten für rund 15.000 Kunden in regulierten Branchen und will nicht nur KI-native Produkte bauen, sondern selbst KI-nativ arbeiten. Ghai fing bei sich selbst an, nahm dann sein Führungsteam mit und versteht seine Rolle als „Chief Unblocking Officer“.Hyland manages unstructured data for about 15,000 customers in regulated industries and wants to not only build AI-native products but run as an AI-native company itself. Ghai started with himself, then took his executive team along, and sees his role as "chief unblocking officer".
15k
Kunden weltweit, vor allem in regulierten Branchen wie Gesundheitswesen, Versicherung, Banken und Behördencustomers worldwide, mostly in regulated industries such as healthcare, insurance, banking and government
$1.35B
Umsatz, laut Ghai der größte reine Content-Management-Anbieterrevenue, the largest pure content management vendor according to Ghai
48 h
maximal, bis ein Dreier-Team ein Ergebnis zeigt, statt mehrere Wochen Analyseat most until a trio shows a result, instead of weeks of analysis
15 min
Reaktionszeit der Führungskräfte, wenn ein Team eine Entscheidung brauchtexecutive response time when a team needs a decision
“Jede Führungskraft sollte für ihr Team ein Chief Unblocking Officer sein.Every leader should be a chief unblocking officer for their respective teams.”
Key Takeaways
- Selbst KI-nativ werden, bevor man es von anderen verlangt: Ghai baute mit Claude den Agent „Ziggy“, der seinen Kalender prüft, Meeting-Briefings zusammenstellt und eine Strategie für die internationale Expansion entwarf, die er gegen den Plan seines Teams antreten ließ.Become AI-native yourself before asking it of others: Ghai built the agent "Ziggy" with Claude; it checks his calendar, assembles meeting briefings and drafted an international expansion strategy he pitted against his team's plan.
- Kontext ist der Engpass: Salesforce anzubinden war schnell erledigt, für ERP, HCM, Confluence und weitere Systeme brauchte es mehrere Engineers und Tage bis Wochen für Zertifikate und MCP-Server.Context is the bottleneck: connecting Salesforce was quick, while ERP, HCM, Confluence and other systems took several engineers and days to weeks for certificates and MCP servers.
- Beim Offsite mit rund zehn Führungskräften (CRO, CMO, CFO, CTO und weitere) hat jeder die Live-Coding-Übung abgeschlossen, auch die, bei denen man es bezweifelt hatte.At the offsite with about ten executives (CRO, CMO, CFO, CTO and others) every one of them finished the live coding exercise, including those people had bet against.
- Ein Team aus drei Rollen macht KI-Vorhaben produktiv: Fachexperte, KI-Experte und Technologe, der die Lösung in die bestehenden Systeme integriert. Ergebnis innerhalb von 48 Stunden, Führungskräfte binnen 15 Minuten erreichbar statt Gantt-Chart.A trio makes AI initiatives productive: business expert, AI expert and a technologist who integrates with existing systems. Result within 48 hours, executives reachable within 15 minutes instead of a Gantt chart.
- Kaskadieren statt delegieren: Jede Führungskraft wiederholt die Übung mit ihrem Team, und L&D und HR tragen sie programmatisch durch alle Managementebenen. Sogar der CTO baute sich danach digitale Zwillinge seiner Mitarbeitenden.Cascade instead of delegate: every executive repeats the exercise with their staff, and L&D and HR roll it programmatically through every management layer. Even the CTO went on to build digital twins of his staff.
- Transformation ist Change Management: KI-first-Ziel offen gegenüber Management und Stakeholdern erklären, nichts „in die Luft sprengen“, sondern die bestehende hybride Infrastruktur KI-fähig machen, die Initiativen mit dem höchsten ROI zuerst angehen und Blockaden eskalieren.Transformation is change management: declare the AI-first goal to management and stakeholders, don't blow anything up but AI-enable the existing hybrid infrastructure, tackle the highest-ROI initiatives first and escalate blockers.
Art Smalley
President · Autor, Art of Lean · The Tech Stack Below TPSPresident · Author, Art of Lean · The Tech Stack Below TPS
Smalley zeigt, dass unter dem sichtbaren Toyota Production System ein Technik-Stack aus Maschinen, Tooling und Materialwissenschaft liegt, den Ingenieure im Werk schon 1989 mit eigenen Tools gestützt haben, als die IT keine Kapazität hatte. Heute können Fachexperten solche kleinen Tools für 3–4 Nutzer mit AI bauen, aber in großen Organisationen fehlt der Freigabeweg, und das ist für ihn das eigentliche Governance-Problem.Smalley shows that beneath the visible Toyota Production System sits a tech stack of machines, tooling and materials science that plant engineers were already supporting with their own tools in 1989, when IT had no capacity. Today domain experts can build such small tools for 3–4 users with AI, but large organizations lack an approval path, which he sees as the real governance problem.
3–4
Nutzer pro kleinem Tool im Long Tailusers per small tool in the long tail
100k
Ersatzteile, Japan nach Georgetown, 1989spare parts, Japan to Georgetown, 1989
100%
automatisiert sind Motorenwerke heute, 80 % bei seinem Einstiegautomated in engine plants today, 80% when he joined
1/100
Mitarbeitende programmiert gern, außerhalb der ITpeople like to code, outside of IT
“Sucht nach Leuten wie mir. Es gibt sie in eurem Tech-Stack, an seltsamen Stellen.Find people like me. They're out there in your tech stack in weird places.”
Key Takeaways
- Was in den Büchern über TPS steht, nennt Smalley richtig, aber nur die Oberfläche, vergleichbar mit der HTML-Schicht einer Webseite: Darunter liegen Line Design, Maschinen, Tooling und Materialwissenschaft, und je tiefer die Schicht, desto wichtiger, unsichtbarer und schwerer zu reparieren. Läuft die Maschine nicht, bricht das ganze System zusammen.Smalley calls what the books say about TPS correct but only the surface, like the HTML layer of a web page: beneath it lie line design, machines, tooling and materials science, and the deeper the layer, the more important, invisible and harder to fix it is. If the machines don't run, the whole system collapses.
- 1989 hatte die IT in Georgetown für die 100.000 Ersatzteile des Motorenwerks keine Kapazität und vertröstete auf neun bis zwölf Monate. Vier Ingenieure aus Kamigo bauten das System selbst mit dBASE III auf Toshiba-Laptops, Daten liefen per Diskette und Hayes-2400-Modem, und später wurde es zum Standard in Georgetown.In 1989 IT in Georgetown had no capacity for the engine plant's 100,000 spare parts and offered nine to twelve months. Four engineers from Kamigo built the system themselves with dBASE III on Toshiba laptops, moving data by floppy disk and Hayes 2400 modem, and it later became the standard system at Georgetown.
- Im Werk Kamigo bauen heute Ingenieure, nicht die IT, kleine Tools zur vorbeugenden Fehlererkennung: Sie erkennen Abweichungen bei Vibration, Temperatur oder Takt, etwa ein Alarm bei Drift des Spindel-Drehmoments pro Zyklus, bevor eine Maschine ausfällt. Früher von Hand auf Raspberry Pis, zunehmend mit AI, für eine Handvoll Nutzer im Werk.At the Kamigo plant, engineers rather than IT now build small tools for pre-occurrence prevention: they catch abnormal vibration, temperature or timing, such as an alarm on spindle torque drift per cycle, before a machine breaks down. Once hand-coded on Raspberry Pis, increasingly built with AI, for a handful of users inside the plant.
- 2026 ist das Problem nicht mehr Kapazität, sondern Governance: Für ein Programm für 3–4 Leute in einem Motorenwerk ist der Markt für Hersteller zu klein, der IT fehlen Zeit und Fachwissen, und das Werksteam kann zwar mit AI bauen, darf aber nicht deployen. Ein Team sollte laut IT drei Monate pausieren, bis diese aufgeholt hat.In 2026 the problem is no longer capacity but governance: for a program serving 3–4 people in one engine plant the vendor market is too small, IT lacks time and domain knowledge, and the plant team can build with AI but cannot deploy. IT asked one team to pause for three months while it caught up.
- Enterprise-Systeme wie ERP, MES und PLM sind geregelt, ebenso freigegebene Plattformen wie Copilot Studio. Für den Long Tail aus tausenden kleinen Tools, heute Spreadsheets, Makros und Access, gibt es aber keinen Weg, und Smalley erwartet in großen Organisationen eine unklare Übergangsphase von einem Jahr oder länger.Enterprise systems such as ERP, MES and PLM are handled, as are approved platforms such as Copilot Studio. The long tail of thousands of small tools, today spreadsheets, macros and Access, has no path, and Smalley expects a murky middle of a year or more in large organizations.
- Kleine Tools brauchen einen freigegebenen Ort zum Bauen, ein Review nach Risiko statt nach Schema, Kompetenzaufbau und Owner, die ihr Tool selbst pflegen statt es über den Zaun zu werfen. Smalley schult Fachexperten dafür in fünf Stufen von Chat bis Agents, nur wenige kommen bis zum eigenen Agent.Small tools need an approved place to build, review based on risk rather than one process for all, capability building, and owners who maintain their tool instead of throwing it over the wall. Smalley trains domain experts in five levels from chat to agents, and only a few get as far as their own agent.
07Resilienz-TestsResiliency testing
Vanguard
Christina Yakomin
Senior Manager - Resiliency Testing Suite · Vanguard · Scaling Confidence Through AI-Powered Resiliency Testing
Wenn KI Code schneller produziert, muss KI auch die Validierung beschleunigen: Vanguard automatisiert Resilienz-Tests von der Testerzeugung aus der API-Spezifikation bis zur Fehlerbehebung durch einen Agenten. Seit Juli 2026 sind deutlich mehr Testläufe aussagekräftig, bei gleichzeitig höherem Testvolumen.If AI makes code faster to produce, AI also has to speed up validation: Vanguard automates resiliency testing from generating tests out of the API spec to an agent that remediates failed runs. Since July 2026 far more test runs are meaningful, while overall test volume also grew.
~50k
Resilienz-Tests 2025 (2024: ~20.000)resiliency tests in 2025 (2024: ~20,000)
<2%
der Produktions-Deployments getestet (1. Halbjahr 2026)of production deployments tested (first half 2026)
~75%
gültige Testläufe seit Juli 2026 (vorher ~50%)valid test runs since July 2026 (before: ~50%)
+50%
mehr Tests, die ihr Ziel erreichenmore tests achieving their goals
“Vertrauen darf nicht der Geschwindigkeit zum Opfer fallen, und umgekehrt.Confidence cannot become a casualty of speed, and vice versa.”
Key Takeaways
- Volumen ist nicht Qualität: Im ersten Halbjahr 2026 waren nur etwa 50% der Testläufe gültig, weniger als 5% erreichten ihr Ziel, obwohl die Zahl der Tests von ~20.000 (2024) auf ~50.000 (2025) gestiegen war.Volume is not quality: in the first half of 2026 only about 50% of runs were valid and fewer than 5% achieved their goals, even though tests had grown from ~20,000 (2024) to ~50,000 (2025).
- Testerzeugung aus der API-Spezifikation: KI erzeugt daraus mithilfe einer Wissensbasis mit Unternehmenskontext ein ausführbares Testskript, ohne Scripting-Expertise im Produktteam.Test generation from the API spec: AI turns it into an executable test script using a knowledge base of enterprise context, with no scripting expertise needed in the product team.
- Realistische Last statt Schätzung: Virtuelle User, Ramp-up, Dauer und Erfolgskriterien wie p95-Antwortzeit und Fehlerrate werden aus Produktionsdaten wie Durchsatz, Lastspitzen und SLOs abgeleitet.Realistic load instead of guesswork: virtual users, ramp-up, duration and success criteria like p95 response time and error rate are derived from production data such as throughput, peaks and SLOs.
- Produktionsnahe Skalierung auf Zeit: Die Nicht-Produktionsumgebung wird nur für die Testdauer auf Produktionskapazität hochskaliert und danach automatisch wieder herunter.Production-like scale on demand: the non-production environment scales up to production capacity only for the duration of the test and scales back down automatically.
- Test-Intent statt Testlauf: Ein Ziel wie doppelte bisherige Spitzenlast für 30 Minuten wird bewertet; bei Verfehlen repariert ein Remediation-Agent Skript oder Konfiguration oder schlägt Änderungen an Code und Konfiguration vor.Intent, not just execution: a goal like double the previous peak throughput for 30 minutes is assessed; if missed, a remediation agent fixes script or configuration, or suggests application code and config changes.
- Nächster Schritt Vibe Check: Eine Orchestrierung soll für jede Änderung sechs nicht-funktionale Säulen von Performance bis Barrierefreiheit über spezialisierte Agenten prüfen; sie existiert noch nicht.Next step Vibe Check: an orchestrator is meant to validate every change across six non-functional pillars, from performance to accessibility, via specialized agents; it does not exist yet.
08Führung & HackathonLeadership & hackathon
Mastercard
Nirav Mehta & Dylan Sykes
EVP, CTO Services & SVP Business Rules Engineering · Mastercard · Lessons from a Leadership Hackathon
Mastercard ließ rund 68 Produkt- und Engineering-Cofounder in einem Leadership-Hackathon an einem Tag mit KI-Tools ein Fintech-Business bauen, mit einsatzfähigem Prototyp statt PowerPoint. Die Lehre: KI beschleunigt die Arbeit, aber echte Probleme, Zeitdruck und menschliches Urteil entscheiden über das Ergebnis.Mastercard had about 68 product and engineering co-founders build a fintech business in one day with AI tools at a leadership hackathon, delivering a deployable prototype instead of PowerPoint. The lesson: AI speeds up the work, but real problems, time constraints and human judgment decide the outcome.
68
Teilnehmende, je zur Hälfte Produkt und Engineeringparticipants, split evenly between product and engineering
8–9
Teams mit gleicher Besetzungteams with equal representation
4 h
Bauzeit für einen einsatzfähigen Prototypbuild time for a deployable prototype
4–5
KI-Tools vorgegeben, aber kein ProzessAI tools provided, but no process
“Wenn dieser alte Hase das hinbekommt, weiß ich, dass meine Teams es auch hinbekommen.If this old hat can get it right, I know my teams can get it right.”
Key Takeaways
- Der Hackathon untersuchte drei Fragen: Wie verändert KI den Product Development Lifecycle (PDLC), welche Rolle hat der Mensch, und wie gelingt das Change Management bei Prozessen und Teamstrukturen.The hackathon explored three questions: how AI changes the product development lifecycle (PDLC), what the role of the human is, and how to manage change in processes and team structures.
- Jedes Team brauchte ein echtes Kundenproblem, einen einsatzfähigen Prototyp statt Wireframe oder Folien, belastbare Evidenz und einen Pitch vor dem Executive Team.Each team needed a real customer problem, a deployable prototype rather than a wireframe or slides, credible evidence, and a pitch to the executive team.
- Die Teams bekamen Tools wie GitHub Copilot und Claude, aber bewusst keinen Prozess: Jedes Team fand seinen eigenen Weg, von Recherche über UX-Wireframes bis zum direkten Prototyping.Teams got tools such as GitHub Copilot and Claude but deliberately no process: each found its own path, from research to UX wireframes to building a prototype right away.
- Der knappe Zeitrahmen erzwang Entscheidungen in Echtzeit und Fokus, auch darauf, was im Prototyp weggelassen wird. Dylan Sykes empfiehlt seinen Teams seitdem feste Zeitgrenzen und klare Endpunkte.The tight timebox forced real-time decisions and focus, including what to leave out of the prototype. Dylan Sykes now tells his teams to set time constraints and a clear endpoint.
- Sich als Gründerteam aufzustellen statt in großen Konzernstrukturen zu arbeiten, beschreibt Sykes als prägend für die Ergebnisse. Sein Fazit: Der Tag war erst angstbesetzt, am Ende aber das Belebendste der Woche.Organizing as a founding team instead of within large corporate structures was profound for the results, Sykes said. The day went from dreaded to the most invigorating thing he was part of.
- Mehtas drei Lehren: KI auf echte Kundenprobleme richten statt KI um ihrer selbst willen, den Menschen ins Zentrum stellen und Experimente in sicheren Leitplanken erlauben, denn ein Playbook gibt es noch nicht.Mehta's three lessons: point AI at real customer problems rather than using AI for its own sake, keep humans at the center, and allow experimentation within safe guardrails, because there is no playbook yet.
09Founder Mode im KonzernFounder mode in the enterprise
GitLab
Angelo Rivera & Jean-Gabriel Doyon
GitLab Orbit Lead / Distributed Systems Lead · GitLab · Going Founder Mode in a Big Company
Rivera und Doyon zeigen, wie ein Team aus sechs Engineers bei GitLab mit Orbit einen semantischen Graphen über alle GitLab-Daten gebaut hat, den Agents per GraphQL oder OpenCypher abfragen – vom ersten Commit bis Produktion in unter drei Monaten. Sie argumentieren, dass nach mehreren gescheiterten Anläufen im klassischen Feature-Team-Modus erst ein handverlesenes Team mit echter Verantwortung und früh eingebundenem Gesamtunternehmen den Durchbruch brachte.Rivera and Doyon show how a six-engineer team at GitLab built Orbit, a semantic graph over all GitLab data that agents query via GraphQL or OpenCypher, going from first commit to production in under three months. They argue that after several failed attempts in classic feature-team mode, only a hand-picked team with real authority and the whole company brought in early made the breakthrough.
6
Engineers im Orbit-Team (gestartet mit vier)engineers on the Orbit team (started with four)
<3
Monate vom ersten Commit bis Produktionmonths from first commit to production
8.7×
gemergte MRs gegenüber dem Median-Contributor in gitlab-orgmerged MRs vs. the median gitlab-org contributor
89
geänderte Repositories in 35 Gruppen, vom Monolith bis zur Infrastrukturrepositories changed across 35 groups, from the monolith to infrastructure
“Wo generischer Code billig ist, gehört das richtige Team zusammenzustellen zum Wichtigsten, was man tun kann.Where generic code is cheap, assembling the right team is one of the most important things you can do.”
Key Takeaways
- Orbit wurde mehrfach angestoßen (Project DaVinci 2024, Code-Indexer im August 2025 mit vier Engineers und vier Managern), kam im Feature-Team-Modus aber nicht ans Ziel; erst der Founder Mode ab Januar 2026 mit Mandat für die End-to-End-Lieferung brachte es in Produktion.Orbit was started several times (Project DaVinci in 2024, a code indexer in August 2025 with four engineers and four managers) but stalled in feature-team mode; only founder mode from January 2026, with a mandate to deliver end to end, got it to production.
- Fünf Bedingungen für Founder Mode: ein kleines, handverlesenes Team, echte Verantwortung für das Produkt von Anfang bis Ende, Raum zum Bauen statt Managing-up, Startup-Tempo mit Enterprise-Qualität und Unterstützung durch das ganze Unternehmen.Five conditions for founder mode: a small hand-picked team, real authority over the product end to end, space to build instead of managing up, startup speed with enterprise quality, and support from the whole company.
- Teamzusammenstellung zählt mehr als der Code: unterschiedliche Personas (Distributed Systems, Compiler und Query-Engine, Infrastruktur, Agent Experience) statt dreimal derselbe Generalist; in einem zweiwöchigen Sprint am Küchentisch eines Airbnb in Vancouver entstanden über 100K Zeilen Code.Team composition matters more than the code: distinct personas (distributed systems, compilers and query engine, infrastructure, agent experience) rather than the same generalist hired three times; a two-week sprint at an Airbnb kitchen table in Vancouver produced over 100K lines of code.
- Das ganze Unternehmen früh einbinden: Nach dem Prototyp holte das Team Schlüsselleute aus Legal, Security, Infrastruktur, Data Engineering und Leadership nach Vancouver und behandelte sie als Mitgründer und Berater statt als Gates – so ging es auch im Legacy-Monolith schnell voran (187 gemergte MRs).Bring the whole company in early: after the prototype, the team flew key people from legal, security, infrastructure, data engineering and leadership to Vancouver and treated them as cofounders and consultants rather than gates, which kept things fast even in the legacy monolith (187 merged MRs).
- Founder Mode heißt, jeden Job zu übernehmen: Planung, Staffing und Partnerteams steuerte das Team selbst, Legal, Compliance und Security übernahm ein Founder, damit die Engineers weiterbauen konnten; über 100 Kunden wurden persönlich getroffen, Engineers saßen mit in Kundencalls.Founder mode means owning every job: the team ran planning, staffing and partner teams itself, one founder took on legal, compliance and security so engineers kept building; over 100 customers were met in person, and engineers joined customer calls.
- Lektionen für KI im Ernstbetrieb: missionskritischen Code weiter reviewen, im Loop bleiben (KI verstärkt das eigene Urteil, man soll kein „meat proxy“ werden), Produktionsdisziplin mit SLAs, Alerts und p95-Latenz halten und Redundanz einbauen.Lessons for applying AI for real: keep reviewing mission-critical code, stay in the loop (AI amplifies your judgment, do not become a meat proxy), keep production discipline with SLAs, alerts and p95 latency, and build in redundancy.
10Cross-Platform-EntwicklungCross-platform development
Hilton
Matt Klosterman & Jeremy Kooistra
Senior Director Mobile Software Engineering & Senior Director Website Software Engineering · Hilton · What Happens When the Moat Moves?Senior Director, Mobile Software Engineering & Senior Director, Website Software Engineering · Hilton · What Happens When the Moat Moves?
Matt Klosterman und Jeremy Kooistra zeigen, wie Hilton mit Agents den Burggraben spezialisierter iOS- und Android-Arbeit bewusst verschiebt: Nach sieben Monaten liefern alle Mobile-Entwickler auf beide Plattformen, statt zuvor unter 7 %. Parallel öffnen Workshops und KI-taugliche Workspaces den Code für Nicht-Entwickler, bis hin zum ersten von APAC geführten Feature in Produktion.Matt Klosterman and Jeremy Kooistra show how Hilton deliberately moves the moat around specialized iOS and Android work with agents: after seven months every mobile developer contributes to both platforms, up from under 7%. In parallel, workshops and AI-friendly workspaces open the code to non-developers, up to the first APAC-led feature live in production.
100%
der Mobile-Entwickler liefern plattformübergreifend (vorher <7 %)of mobile developers contribute cross-platform (from <7%)
+25%
mehr Value Streams in der Planung für 2027 bei gleichem Teammore value streams planned for 2027 with the same developers
233
Teilnehmende in 14 Workshops aus über 15 Disziplinenparticipants in 14 workshops across 15+ disciplines
~60%
der Entwickler arbeiten monatlich im Zielband von 40-60 % Fremdplattform-Anteilof developers work monthly in the 40-60% non-home target band
“Mindset drei ist eine kleine Falle. Es ist bequem, vertraut und man wird schneller, also fühlt es sich an, als liefe es gut.Mindset three is a bit of a trap. It's comfortable, it's familiar, and you're going faster, so it feels like you're doing well.”
Key Takeaways
- Das 2026-Ziel für Hiltons Mobile-Entwickler lautete "Agentic Mobile Developer": jeden Monat nutzerseitige Änderungen für iOS und Android beitragen, als Stretch-Ziel einen Value Stream über beide nativen Plattformen führen. Ab Juli 2026 hatten 100 % beigetragen, intern war das erst für September geplant.Hilton's 2026 goal for mobile developers was "agentic mobile developer": contribute user-facing changes monthly to both iOS and Android, with leading a value stream across both native platforms as the stretch target. By July 2026 all of them had contributed, ahead of an internal September target.
- Um Häkchen-Setzen auszuschließen, wurde der Anteil der Merge Requests auf der Fremdplattform gemessen: von 1 % im Juli 2025 auf 42 % im September 2026, also im Zielband von 40 bis 60 %.To rule out box-checking, Hilton tracked the share of merge requests on the non-home platform: from 1% in July 2025 to 42% in September 2026, inside the 40-60% target band.
- Der schnelle Wechsel baute auf jahrelanger Vorarbeit auf: Designsystem, Composable UI und unidirektionaler Datenfluss als gemeinsame Architektur über SwiftUI und Compose, dazu schlanke Teams aus einem iOS- und einem Android-Entwickler, die gemeinsam starten und gemeinsam fertig werden.The fast shift rested on years of groundwork: a design system, composable UI and unidirectional data flow as shared architecture over SwiftUI and Compose, plus lean teams of one iOS and one Android developer who start and finish together.
- In 14 Workshops mit 233 Teilnehmenden bekamen Nicht-Entwickler Zugang zu Tools und Code, einen geschützten Rahmen und ausdrücklich die Erlaubnis, anders zu arbeiten. Ein Technology VP prototypte über Web und Mobile, ein Product Leader brachte Anforderungen bis zum Merge Request.In 14 workshops with 233 participants, non-developers got access to tools and code, a bounded setting and explicit permission to work differently. A technology VP prototyped across web and mobile, and a product leader took requirements all the way to merge requests.
- Ein APAC-Team brachte eine Japan-spezifische Funktion, eine Fahrt vom Hotel aus buchen, selbst in Produktion: mit Workshop, Workspace und einem Entwickler als Ansprechpartner, statt Anforderungen an ein zentrales Team zu übergeben.An APAC team shipped a Japan-specific feature, hailing a ride from a hotel, to production themselves: with a workshop, a workspace and a developer to tap on the shoulder, instead of handing requirements to a central team.
- Als Nächstes legt Hilton eine leichte, mehrspielerfähige Oberfläche auf die Workspaces: eine geführte Business-Sicht mit Intent und Readiness-Checkliste, gekoppelt an Linked-Intent-Development-Artefakte wie EARS-Anforderungen, Tests und Code. Ziel für Ende 2027 sind mehr als doppelt so viele Value Streams wie zu Beginn 2026.Next, Hilton is adding a lightweight multiplayer UI on top of its workspaces: a guided business view with intent and a readiness checklist, linked to Linked-Intent Development artifacts such as EARS requirements, tests and code. The goal for end of 2027 is more than twice the value streams Hilton started 2026 with.
11Code Review & KI-AgentenCode review & AI agents
CircleCI
Randy Shoup & Michelle Gill
SVP Engineering, CircleCI & Engineered by AI · Agentic AI and Code Reviews: Patterns and Case Studies
Shoup und Gill zeigen, dass Code Review zum Engpass wird, wenn KI immer mehr Code schreibt, und stellen eine Pattern-Sprache vor: von kleinen Änderungen, Shift Left und Spec-Driven Development bis zu adversarialen und Multi-Agent-Reviews. Fallstudien von DryRun Security, Cloudflare und Block belegen, dass maschinell geschriebener und geprüfter Code systematische Strenge statt Vertrauen braucht.Shoup and Gill argue that code review becomes the bottleneck as AI writes more and more code, and present a pattern language ranging from small changes, shift left and spec-driven development to adversarial and multi-agent reviews. Case studies from DryRun Security, Cloudflare and Block show that machine-authored, machine-reviewed code needs systematic rigor instead of trust.
9×
höherer Durchsatz auf main bei p95-Teams gegenüber dem Median (Q2 2026)higher throughput on main for p95 teams vs. the median (Q2 2026)
130k+
KI-Reviews in einem Monat bei Cloudflare, im Schnitt 1,2 Findings pro ReviewAI reviews in one month at Cloudflare, averaging 1.2 findings per review
~30 s
bis DryRun Security nützliches Feedback zu jedem PR liefertfor DryRun Security to return useful feedback on every PR
90%
der 3.500 Engineers bei Block nutzten KI täglich, trotzdem blieben viele PRs liegenof Block's 3,500 engineers used AI daily, yet many PRs sat untouched
“Wenn Maschinen den Code schreiben und Maschinen ihn prüfen, bleibt uns absolut keine Wahl, als die gesamte Strenge zu systematisierenIf we have machine authorship and machine review, we have absolutely no choice but to systematize all the rigor”
Key Takeaways
- Code Review bleibt wertvoll, weil es mehr leistet als Fehlersuche: nicht-funktionale Anforderungen wie Lesbarkeit, Wissensaustausch, alternative Lösungswege und Risikominderung vor der Produktion.Code review stays valuable because it does more than find defects: non-functional requirements such as readability, knowledge sharing, alternative solutions and mitigating risk before production.
- Um Menschen aus dem kritischen Pfad zu nehmen, so viel wie möglich in deterministische Checks verlagern, die menschliche Beteiligung nach Risiko staffeln und jede Entscheidung dauerhaft und nachprüfbar festhalten.To take humans off the critical path, push as much as possible into deterministic checks, risk-tier the degree of human involvement and keep durable, inspectable records of every decision.
- Spec-Driven Development: Verhalten in einer strukturierten Spezifikation festlegen und den Intent vor der Umsetzung prüfen; ideal ist es, wenn jeder Bug eine Spec-Verletzung ist.Spec-driven development: specify behavior in a structured specification and review intent before implementing; ideally every bug is a spec violation.
- Ein Review-Agent gibt schnelles Feedback in der IDE, in Pre-Commit- und Pre-Merge-Hooks; Engineers konfigurieren und tunen ihn, statt selbst primär zu reviewen. Adversariale Reviews nutzen ein anderes Modell, das auf Fehlersuche gepromptet ist.A review agent gives fast feedback in the IDE, in pre-commit and pre-merge hooks; engineers configure and tune it instead of being the primary reviewer. Adversarial reviews use a different model prompted to find failures.
- DryRun Security übersah trotz KI-Review einen Bug, durch den Kundendaten Mandantengrenzen überschritten, weil ein generisches Security-Review produktspezifische Verträge nicht kennt; die Antwort waren Context Engineering und spezialisierte Sub-Agents etwa für Authentifizierung und Isolation.Despite AI review, DryRun Security missed a bug that let customer data cross tenant boundaries, because a generic security review does not know product-specific contracts; the fix was context engineering and specialist sub-agents for areas such as authentication and isolation.
- Cloudflare setzte statt eines aufgesetzten KI-Reviewers ein CI-natives Review-System mit Orchestrator-Agent, der Findings dedupliziert und filtert; Block machte den Reviewer erst mit einem Pilotteam gut und verlagerte ihn dann lokal vor den Push.Instead of a bolted-on AI reviewer, Cloudflare built a CI-native review system with an orchestrator agent that deduplicates and filters findings; Block first made the reviewer good with a pilot team, then shifted it left to run locally before the push.
12KI-ÖkonomieAI economics
Red Hat
Jeremy Eder
Distinguished Engineer · Red Hat · Who Gets to Fly First Class? Value per Token in the AI Factory
Jeremy Eder argumentiert, dass KI-gestützte Codegenerierung ohne Disziplin wirtschaftlich nicht tragfähig ist, und zeigt am Beispiel Red Hat, wie Token-Budgets, ein zentrales AI-Gateway und eine eigene Software-Factory die Kosten in den Griff bekommen sollen. Sein Vorschlag: Jeder Job bekommt einen Wert pro Token, der festlegt, was zuerst läuft und welches Modell es ausführt.Jeremy Eder argues that AI-driven code generation is not economically viable without discipline and shows how Red Hat uses token budgets, a centralized AI gateway and a custom software factory to rein in costs. His proposal: every job gets a value per token that decides what runs first and which model runs it.
1%
von 396 Unternehmen prognostizieren ihre KI-Ausgaben auf 10 % genau (WSJ, 4. Okt.)of 396 companies forecast AI spend within 10% (WSJ, Oct. 4)
$28k
KI-Kosten eines Microsoft-Mitarbeiters in 28 Tagen, Median rund 300 $AI spend by one Microsoft employee in 28 days, median about $300
27%
günstiger mit Agent-Memory (Sonnet, 42 Benchmark-Tasks)cheaper with agent memory (Sonnet, 42 benchmark tasks)
6,901
Agent-Traces in MLflow analysiert, davon 2.356 fehlgeschlagenagent traces mined in MLflow, 2,356 of them failed
“Ich behaupte: Der Token ist eine völlig falsche Einheit, um über Wert nachzudenken.I will argue right now that token is a completely wrong unit to be thinking about value.”
Key Takeaways
- Value per Token = gelieferter Geschäftswert geteilt durch verbrauchte Tokens. Der Wert kommt aus Deal-Größe, Dringlichkeit und Blast Radius aus CRM und Issue Tracker, bei den Tokens zählen Retries und fehlgeschlagene Läufe mit.Value per token = business value delivered divided by tokens spent. Value comes from deal size, urgency and blast radius read from the CRM and issue tracker; retries and failed runs count toward tokens.
- Zwei Entscheidungen pro Job: Was läuft zuerst (Priorität aus CRM, Issue Tracker und Security-Feed, von der Queue gelesen statt geschätzt) und was führt es aus (das günstigste Modell, das die Eval-Hürde schafft, über ein zentrales AI-Gateway mit Kosten-Arbitrage zwischen Providern).Two decisions per job: what runs first (priority from CRM, issue tracker and security feed, read by the queue rather than estimated) and what runs it (the cheapest model that clears the eval bar, via a centralized AI gateway that arbitrages cost across providers).
- Memory spart Geld: Sonnet war im Benchmark mit 42 Tasks 27 % günstiger, brauchte 27 % weniger Tokens und war 16 % schneller. Haiku löste mit Memory 11 statt 8 Tasks bei 43 % niedrigeren Kosten pro Lösung, erreichte Sonnet (27 von 42) aber nicht.Memory saves money: on a 42-task benchmark Sonnet was 27% cheaper, used 27% fewer tokens and ran 16% faster. With memory Haiku solved 11 instead of 8 tasks at 43% lower cost per solve, but did not close the gap to Sonnet (27 of 42).
- Kostendruck ist real: Uber hat sein gesamtes KI-Coding-Budget für 2026 in vier Monaten verbraucht. Bei Red Hat sank nach Einführung von Token-Budgets der Anteil KI-erstellter Arbeit deutlich, diese Lücke soll Disziplin schließen.Cost pressure is real: Uber spent its entire 2026 AI coding budget in four months. At Red Hat the share of work created with AI dropped noticeably after token budgets were introduced, and discipline is meant to close that gap.
- Agentic Security: Die Geschwindigkeit von Exploits macht bestehende Release-Takte, Guardrails und Policies wirkungslos, eine Patch-Zusage von 24 Stunden reicht nicht mehr. Offen sind noch Kostenkontrollen und Authentifizierungsstandards wie ODIS und AAuth.Agentic security: exploit speed makes existing release speed, guardrails and policies ineffective, and a 24-hour patch policy is no longer enough. Still unproven are cost controls and authentication standards such as ODIS and AAuth.
- Drei neue Rollen "on the loop": Curator, Verantwortliche für den Lebenszyklus selbstverbessernder Agenten und Trajectory Miner. Beim Trace Mining clusterte k-means die fehlgeschlagenen Traces und lieferte je Cluster eine Fix-Empfehlung.Three new "on-the-loop" roles: curator, owner of the self-improving agent lifecycle, and trajectory miner. In trace mining, k-means clustered the failed traces and produced a fix recommendation per cluster.
13Operating Model & Outcome ManagementOperating model & outcome management
Planview
Mik Kersten
Advisor; Autor von „Project to Product“ & „Output to Outcome“, Planview · Output to Outcome: When Agents Outrun the Org ChartAdvisor; Author of "Project to Product" & "Output to Outcome", Planview · Output to Outcome: When Agents Outrun the Org Chart
Mik Kersten argumentiert, dass mit KI nicht mehr die Produktion von Code der Engpass ist, sondern die Organisation selbst – und dass Unternehmen ihr Operating Model von Output- auf Outcome-Steuerung umbauen müssen, statt KI auf alte Strukturen zu setzen. Er stellt dafür Outcome Loop, Outcome Tree und sieben Shifts vor und belegt sie mit Fallbeispielen von Cognition und TUI Group.Mik Kersten argues that with AI the constraint is no longer producing code but the organization itself, so companies must rebuild their operating model around outcomes instead of layering AI onto legacy structures. He presents the Outcome Loop, the Outcome Tree and seven shifts, backed by case studies from Cognition and TUI Group.
8%
der Flow Time entfiel auf die eigentliche Umsetzung, 92 % auf Warten, Freigaben und Release (Planview-Daten, 3.600+ Value Streams)of flow time went to actual creation, 92% to waiting, approvals and release (Planview data, 3,600+ value streams)
15 d
durchschnittliche Flow Time bei TUI Group, vorher 200 Tageaverage flow time at TUI Group, down from 200 days
$72M
Umsatz bei Cognition im Jahr bis Sept. 2025, ausgehend von $1M; Run Rate Sept. 2026: $900Mrevenue at Cognition in the year to Sept 2025, up from $1M; run rate Sept 2026: $900M
2%
der S&P-500-Firmen legen eine KI-Metrik offen, die sie über die Zeit verfolgen – obwohl 69 % KI live einsetzenof S&P 500 companies disclose an AI metric they track over time, though 69% point to a live AI deployment
“Mit der Geschwindigkeit von KI kann man nur Schritt halten, wenn Teams befähigt sind, Outcomes zu liefernThe only way you can move at the speed of AI is if teams are empowered to deliver outcomes”
Key Takeaways
- Historisches Muster: Peerless ersetzte bloß die Dampfmaschine durch einen Elektromotor am alten Treibriemen und wurde später zur Brauerei, Ford baute die Fertigungslinie um die Elektrizität herum neu und gewann.Historical pattern: Peerless just swapped its steam engine for an electric motor on the old drive belt and later became a brewery, while Ford rebuilt the assembly line around electricity and won.
- Der Outcome Loop verbindet Inputs (Strategie, Budget) über Outputs (Aktivitäten, Artefakte) mit Kunden- und Mitarbeiter-Outcomes; Objectives und ein schneller Feedback-Kanal zurück ins Budget schließen den Kreis.The Outcome Loop connects inputs (strategy, budget) via outputs (activities, artifacts) to customer and employee outcomes; objectives and fast feedback into the budget close the loop.
- Cognition schreibt Devin ständig neu, mit bis zu zehn parallelen Rewrites; neue Agents werden den Gründern wöchentlich gezeigt, die besten bleiben, die meisten werden verworfen.Cognition constantly rewrites Devin, with up to ten concurrent rewrites; new agents are demoed to the founders weekly, the best are kept and most are discarded.
- Der Outcome Tree skaliert den Loop über Value Streams bis zu Teams aus Menschen und Agents: Inputs fließen nach unten, Outcomes nach oben, jede Ebene bleibt unter benannter menschlicher Verantwortung.The Outcome Tree scales the loop across value streams down to teams of humans and agents: inputs cascade down, outcomes roll up, and every node stays under named human accountability.
- Slop to Substance: Deploys, Story Points und geschlossene Tickets sind leicht zu zählen, aber vom Wert entkoppelt – Agents verstärken das; stattdessen Flow-Metriken über den ganzen Loop messen.Slop to Substance: deploys, story points and tickets closed are easy to count but disconnected from value, and agents amplify that; measure flow metrics across the whole loop instead.
- Chaos to Cadence und Matrix to Modularity: QBR, PI Planning, Sprints und Board Pack durch eine einheitliche Kadenz ersetzen, die auch Finance und HR einschließt, und die Matrix durch modulare Value Streams mit eigener Roadmap, eigenem Budget und eigenem Outcome.Chaos to Cadence and Matrix to Modularity: replace QBRs, PI planning, sprints and board packs with one cadence that includes finance and HR, and the matrix with modular value streams owning roadmap, budget and outcome.
14KI-AdoptionAI adoption
Thrive Market
Marya Caples & Michael Winslow
Sr. Food Safety & Quality Manager / VP of Engineering, Platform & SRE · Thrive Market · Everyone's Building Now: Thrive Market's AI Adoption Journey
Marya Caples und Michael Winslow zeigen, wie Thrive Market KI vom selbstgebauten Zutaten-Prüfportal einer Nicht-Entwicklerin auf zweitägige Dojos in 11 Abteilungen ausgeweitet hat. Sie argumentieren, dass KI-Adoption im Engineering ein Brownfield-Problem ist: Code entsteht schneller, und die menschliche Review-Warteschlange wird zum Engpass.Marya Caples and Michael Winslow show how Thrive Market spread AI from a non-engineer's self-built ingredient vetting portal to two-day dojos across 11 departments. They argue that engineering adoption is a brownfield problem: AI made code faster, and the human review queue became the bottleneck.
1,000+
eingeschränkte Zutaten, gegen die jedes Produkt geprüft wirdrestricted ingredients every product is screened against
11
Abteilungen in zweitägigen KI-Dojosdepartments through two-day AI dojos
57%
der PR-Durchlaufzeit warten auf den ersten menschlichen Reviewer (3.574 PRs)of PR cycle time spent waiting for the first human reviewer (3,574 PRs)
11-17h
bis ein Mensch einen PR nach KI-Review aufgreift, gegenüber 1-2 h ohnefor a human to pick up a PR after AI review, versus 1-2 h without it
“Der Kontext ist wichtiger als der Code.The context is more important than the code.”
Key Takeaways
- Ohne Programmiererfahrung hat Marya Caples das Ingredient Vetting Portal gebaut: eine Google-Apps-Script-Web-App mit Google Sheets als Datenbank, entstanden aus einem einzigen, mehrfach verfeinerten Prompt (Ziel, Kontext, Einschränkungen, Format). Category Manager fügen die Zutatenliste ein, Claude vergibt pro Zutat ein Urteil (zulässig, unzulässig, mit Auflagen), das Food-Safety-Team prüft gegen.With no coding background, Marya Caples built the Ingredient Vetting Portal: a Google Apps Script web app with Google Sheets as the database, started from one prompt refined a few times (goal, context, constraints, format). Category managers paste an ingredient list, Claude assigns a verdict per ingredient (acceptable, unacceptable, restricted), and the food safety team reviews it.
- Statt neue Software zu beantragen, gab sie Claude einen Screenshot aller Apps in ihrem Okta-Dashboard mit der Vorgabe, nur daraus zu wählen. Claude entschied sich für Google Workspace: keine neue Software, kein Budgetantrag, keine Beschaffung, Login über die bestehende Firmenanmeldung.Instead of requesting new software, she gave Claude a screenshot of every app in her Okta dashboard and told it to choose only from those. Claude picked Google Workspace: no new software, no budget request, no procurement, and login through the existing company sign-in.
- Die Dojos für Nicht-Entwickler folgen einem festen Ablauf: um 9:00 bauen, um 11:30 bewusst wegwerfen, ab 13:00 mit dem gesicherten Kontext sauber neu bauen. Ab Mai liefen Dojos für 11 Abteilungen, am 2. Juni zeigten die Teams ihre Apps auf einer firmenweiten Science Fair, inzwischen gesammelt in einem internen AI App Marketplace.The non-engineering dojos follow a fixed rhythm: build at 9:00, throw it away on purpose at 11:30, rebuild properly from 1:00 with the saved context. Dojos for 11 departments started in May, teams demoed their apps at a company-wide science fair on June 2, and the apps now live in an internal AI App Marketplace.
- Build vs. Buy verschiebt sich von Kostenrechtfertigung zu Geschwindigkeit und Passgenauigkeit: Je spezifischer der Prozess, desto eher lohnt der Eigenbau. Beim Zutatenportal stellte das Team eine laufende Anbieter-Evaluierung nach einigen Iterationen ein.Build vs. buy shifts from cost justification to speed and fit: the more specific the workflow, the stronger the case for an internal build. For the ingredient portal, the team dropped an ongoing vendor evaluation after a few iterations.
- Im Engineering ist KI ein Brownfield-Problem: Über 3.574 gemergte PRs (1. August bis 23. September 2026) entfallen 57 % der Durchlaufzeit auf das Warten auf den ersten menschlichen Reviewer, 26 % auf die Merge-Freigabe und unter 2 % auf CI. KI-Review antwortet in höchstens 5 Minuten, gleichzeitig stiegen die PRs pro Entwickler von 4 auf etwa 6 pro Woche bei 40 % mehr Umfang.In engineering, AI is a brownfield problem: across 3,574 merged PRs (August 1 to September 23, 2026), 57% of cycle time is waiting for the first human reviewer, 26% is merge approval and under 2% is CI. AI review answers every PR in 5 minutes or less, while PRs per engineer rose from 4 to about 6 a week and grew 40% in size.
- Offene Fragen an die Community: Wem gehört eine App, nachdem sie live ist? Wie viel Governance verträgt es, bevor Leute aufhören zu bauen? Wie skaliert das Enablement-Team, wenn die Coaches der Engpass sind? Und ab wann darf KI einen PR ohne menschliches Review freigeben?Open questions to the community: who owns an app after it ships, how much governance before people stop building, how to scale enablement when the coaches are the bottleneck, and when AI can clear a PR without a human review.