En snabbtangent. Fyra små steg. Tre toppmodeller. En kort essä om interaktionsmodellen bakom en vänlig, gratis, native macOS-app som tyst gör nästan allt du kan beskriva högt.
Lokalt först · GPT · Claude · Gemini · macOS 14.2+ · Apple Silicon och Intel
En not innan vi börjar
Med ursäkt till den breda publiken: vi är bara en vecka in i det här projektet, så du kan stöta på en bug eller två. Vi patchar snabbt och är väldigt, väldigt tacksamma att du tittade in. :D
Gränssnittets form avgör vad som är möjligt. Chatt fick oss att tänka. Verktygsanvändning fick oss att bygga. Agenter lät äntligen modellen röra samma skärm som du. Allt roligt bor i den tredje eran, och Katchy är det minsta, lugnaste, mest Macintosh-formade fönstret in i den vi lyckades bygga.
Resten av sidan är guiden under huven. Vad som händer mellan att du trycker på en tangent och svaret når ditt öra. Varför vi routar till olika toppmodeller beroende på frågan. Vad som aldrig lämnar din Mac. Vi försökte hålla det kort.
01b · Tesen
Egenskap 01
Vi delar samma objekt. Katchy tittar på samma fönster, samma stycke, samma Figma-ruta som du. Den gissar inte utifrån en beskrivning, den läser samma pixlar som du.
I Katchy
ScreenCaptureKit, en bildruta, begränsad till aktiv skärm.
Egenskap 02
Återkoppling medan jobbet pågår, inte efteråt. Katchy svarar i ögonblicket du slutar prata, medan frågan fortfarande är varm, ingen skicka-knapp, ingen spinner, ingen mailkedja.
I Katchy
Från tangent till första token, ungefär 80 millisekunder.
Egenskap 03
Vi kan båda göra saker samtidigt. Du fortsätter skriva medan en agent döper om 47 skärmdumpar. Katchy fortsätter resonera medan du scrollar. Ingen behöver vänta på sin tur.
I Katchy
Agent-loop utanför huvudtråden, avbryts med ⌘ . när som helst.
Vad vi läste
Tre egenskaper, nästan ordagrant tagna från Thinking Machines essä om interaktionsmodeller. De menar att riktigt samarbete, med människor, med kod, med vad som helst, kräver alla tre samtidigt. De flesta dagens AI-system är finjusterade för autonom drift och missar dem helt. Katchy är byggt rakt mot det interaktiva fallet.
01 · Interaktionsproblemet
Du skriver, modellen skriver tillbaka. Du kopierar, klistrar, hoppar mellan flikar. Kraftfullt, men modellen vet bara det du berättar och kan aldrig röra det du ser.
Bara tanke. Inga händer. Inga ögon.
Modeller började kalla API:er. Läs den här filen. Sök i den här databasen. Skicka det här mailet. Underbart, men du fick fortfarande koppla ihop varje verktyg själv i kod.
Riktig kraft, men rörmokeriet är du.
Modellen tittar på din skärm, håller en plan i huvudet, agerar, kollar sitt eget arbete och frågar dig bara när det verkligen behövs. Här bor Katchy.
Där Katchy bor.
Mellanspel · bandbreddsproblemet
“Som att lösa tvister
via e-post i stället
för personligen.”
Chatt är en enda tråd: tills du är klar med att skriva uppfattar modellen ingenting; tills den är klar uppfattar du ingenting. Kanalen är smal. Röst plus en färsk skärmdump är en mycket bredare kanal, och därför pratar Katchy i stället för att skriva.
02 · Anatomin för en förfrågan
Varje förfrågan går igenom samma fyrstegspipeline. Klicka på ett steg eller bara titta, diagrammet cyklar automatiskt med några sekunders mellanrum och stannar i det ögonblick du tar över.
The moment both modifiers go down, Katchy opens a low-latency audio buffer through CoreAudio. While the chord is held the waveform streams into a ring buffer; the instant you let go the recording stops. Nothing is sent until you finish speaking.
02b · Arkitektur
Fram · synkront
Stannar kvar medan du talar. Håller samtalet i korttidsminnet. Märker om du tänker, lämnar ordet eller avbryter. Svarar ungefär på den tid det tar att blinka.
Bak · asynkront
Tar det långsamma, uthålliga arbetet. En agentloop i flera steg med verktyg: filsystem, AppleScript, Shortcuts, webbläsare. Planerar, agerar, läser sin egen output, försöker igen. Hör av sig när det är klart.
Det är den tvådelade arkitektur Thinking Machines föreslår, i miniatyr. Interaktionsmodellen ger dig en liten modells snabbhet. Bakgrundsmodellen ger dig en stor modells planering och verktyg. De delar kontext. Sömmen ser du aldrig.
03 · Stacken, lager för lager
01 · Lyssnar
Håll Control och Option. macOS fångar ljud lokalt via CoreAudio. Vågformen transkriberas på enheten när det går, klipps sen och skickas bara om det behövs en toppmodell.
02 · Ser
När frågan behöver kontext tar ScreenCaptureKit en enda, riktad bildruta. Katchy streamar aldrig video, spelar aldrig in kontinuerligt, sparar aldrig skärmdumpar efter svaret.
03 · Tänker
Katchy routar förfrågan till den toppmodell som hanterar den bäst. Långa PDF:er till Claude. Visuella uppgifter till Gemini. Kod och snabba edits till GPT. Routern väljer, du står still.
04 · Agerar
En vänlig triangel pekar på svaret när ett klick räcker. En agent i flera steg kör i bakgrunden när det krävs tio. Båda delar minnet, båda stänger med dig.
04 · Routerns beslut
En liten klassificerare läser din transkription och sidans tokens och skickar varje förfrågan till den modell som passar bäst. Prova själv, routern visar sitt arbete.
Prova en fråga
“Sammanfatta den här 60-sidiga PDF:en jag just öppnade”
Varför just den här: Lång kontext, noggrant resonemang över ett strukturerat dokument.
05 · Tre hjärnor, en menyrad
OpenAI
Går hit för snabba edits, code review och det där strukturerade omskrivandet där du vill ha svaret i en mening och en halv.
Anthropic
Går hit för långa dokument, försiktigt resonemang och allt där du hellre slipper ett självsäkert felaktigt svar.
Går hit för skärmtunga stunder, grafer, slides och fall där det visuella är halva frågan.
06 · Förmågor
Läsa och skriva
“Sammanfatta den där PDF:en på 60 sidor”
Läsa
“Skriv ett artigt nej”
Skriva
“Skriv en snabb changelog”
Skriva
“Översätt till spanska”
Skriva
“Återuppta gårdagens utkast”
Skriva
“Skapa en veckosammanfattning”
Skriva
Filer och system
“Döp om 47 skärmdumpar”
Filer
“Städa skrivbordet”
Filer
“Dra ut data ur den här CSV:n”
Tal
“Konvertera de här till PNG”
Filer
“Öppna senaste skärmdumpen”
Filer
“Fäst Spotify i menyraden”
System
“Vad gör det här kommandot?”
Terminal
“Konvertera det här till en tabell”
Tal
Dagligt flöde
“Sortera inkorgen”
“Öppna det här i Cursor”
Kod
“Flytta standupen”
Kalender
“Tagga de här bilderna på ansikte”
Foton
“Tysta Slack i en timme”
Fokus
“Vad ändrades i den här filen?”
Kod
“Lägg till det här i Påminnelser”
Uppgifter
“Hitta den där PDF:en jag tappade”
Sök
Och allt annat
Det är några från den här veckan. Den riktiga listan är allt du kan säga högt medan du pekar på skärmen. Resten gör agenterna.
06 · I siffror
toppmodeller i en menyrad
servrar vi äger, någonsin
snabbtangent är hela UI:t
diskutrymme för alltihop
från tangent-upp till första token
filer lämnar din Mac förrän du ber
07 · Över hela din Mac
08 · Lokalt där det räknas
Ljudet fångas i RAM och slängs i det ögonblick förfrågan är klar. Skärmdumpar stannar i minnet. Konversationer bor i din Application Support-mapp, inte på en server.
Routern klipper ljudet till bara den talade delen, maskar bort menyrad och dock från varje skärmdump och skickar aldrig samtalshistorik som modellen inte behöver.
Anthropic-, OpenAI- och Google-nycklar bor i din macOS-nyckelring. Vi ser dem aldrig. Du kan dra ut eller byta dem när du vill.
⌘ . stoppar en förfrågan i farten. Agenterna kollar avbryt-flaggan i varje runda. Inget “vänta medan vi städar”.
09 · En kort läslista
Scotts begrepp om praktisk kunskap. Stokastisk, intuitiv, lokal. Resonemang som passar när osäkerheten är hög och rätt svar beror på rummet. Agenter behöver det.
Viktig kunskap lever i de särskilda omständigheterna av tid och plats. Skärmen framför dig nu är precis den kunskapen. Katchy läser den.
Sutton. Handgjorda system blir omsprungna av generell kapacitet + skala. Därför håller vi ytan tråkig och välnamngiven, och låter toppmodellerna ta det tunga.
Ong om den deltagande karaktären i muntlig kommunikation. Rösten ligger närmare naturligt samarbete än att skriva i en ruta. Push-to-talk är inget trick, det är rätt gränssnitt.
Fotnoter
Flaskhalsen
Dagens toppmodeller är optimerade för "autonom, långkörande" användning. Ett färskt modellkort medger att "vid interaktiv, synkron användning med händer på tangentbordet var modellens vinster mindre tydliga". Det mesta riktiga jobbet är interaktivt. Katchy är byggt rakt för det fallet.
Bandbredd
Chatt är en enda tråd: tills du är klar med att skriva uppfattar modellen ingenting; tills den är klar med att generera uppfattar du ingenting. Thinking Machines kallar det en smal kanal för människa-AI-samarbete. Röst + en färsk skärmdump är en mycket bredare kanal.
Interaktionsmodell + bakgrundsmodell
Deras föreslagna arkitektur har två halvor. En interaktionsmodell som stannar närvarande och synkron. En bakgrundsmodell som tar längre arbete asynkront. Katchy passar rent: menyraden är interaktionsmodellen, agent-loopen är bakgrundsmodellen, och de delar kontext.
En sista sak
Tre minuter att ladda ner. Ett ackord att komma ihåg. Noll euro, varje dag från nu till universums värmedöd.
