První výběrové řízení v Anthropic jsem pokazil. Bývalá kolegyně, která pracuje v jiné laboratoři zaměřené na AI, mi pak vysvětlila, co jsem měl vědět předem. O pár týdnů později jsem měl nabídku od Anthropic i OpenAI. Tohle je popis toho, co jsem napodruhé udělal jinak.
Kolo s programováním trvá devadesát minut a klasickým úlohám u tabule se ani trochu nepodobá. Dostal jsem za úkol vytvořit úložiště typu klíč a hodnota. Nejprve SET GET DELETE, potom filtrované procházení, po něm vypršení TTL podle časových značek a nakonec ukládání do souboru s kompresí. Čtyři etapy, každá navazovala na předchozí. Jakmile jsem jednu dokončil, člověk vedoucí pohovor hned přidal další omezení.
Přesně jako kolega, který vám uprostřed sprintu pořád mění zadání. Šílel jsem z toho. Kolegyně říkala, že její úvodní programovací kolo v OpenAI probíhalo stejně, hodinu stavěla něco skutečného. OpenAI má navíc část, v níž představíte systém, který jste vytvořili, a tazatelé pak rozeberou každé vaše rozhodnutí.
U programování mě nezničily samotné úlohy. Problém byl mluvit nahlas o tom, jak je řeším. Když máte devadesát minut, někdo vás sleduje a každých patnáct minut přidává požadavky, nejde to snadno. Při druhém pokusu jsem se přinutil zpomalit. Zadání jsem nejdřív zopakoval vlastními slovy a před psaním kódu si připravil několik ukázkových vstupů. Kolegyně mě v tom pořád cvičila. Uprostřed věty mě zastavila slovy: „Dobře, ale co krajní případy?“ A já je musel promyslet nahlas.
Začal jsem si nejprve načrtávat postup a uvažovat o složitosti. Než jsem sáhl na klávesnici, ověřil jsem si dokonce u tazatele, zda mu zvolený směr připadá rozumný. Teprve potom jsem pomalu psal a nakonec ladil řešení na vlastních příkladech. Při nácviku mi to připadalo nesnesitelně pomalé. Ve výsledku mě to ale zrychlilo, protože jsem se přestal pouštět do slepých uliček a přepisovat všechno od začátku.
Ready to ace your next interview?
InterviewMan gives you real-time AI answers during live interviews — undetectable on Zoom, Meet, and Teams.
Try InterviewMan FreeNávrh systémů. Zapomeňte na všechno, co jste se učili k návrhu systémů pro FAANG, tady vám to nepomůže. Nikdo po mně nechtěl navrhnout zkracovač URL, KÉŽ BY se mě na zkracovač URL zeptali. Ani chatovací službu. V Anthropic jsem měl navrhnout infrastrukturu pro obsluhu inference při milionech požadavků a zároveň udržet vysoké využití GPU u modelů různých velikostí. Řeč tedy byla o dávkování, správě paměti KV cache, směrování na správnou instanci a o tom, jak se zpoždění sčítá v celé pipeline transformeru.
Můj tazatel jejich obslužnou infrastrukturu SÁM STAVĚL. Opravdu ji osobně psal. Během dvou minut poznal, že jsem se připravoval podle obecných videí na YouTube. Kolegyně mě varovala i před tímhle. V jejím kole zaměřeném na návrh systémů v OpenAI šlo o škálování inference a také tam proti ní seděl někdo s praktickou zkušeností z reálného produkčního systému. S těmito věcmi musíte mít skutečnou pracovní zkušenost.
Já se obslužné infrastruktury dotkl v předchozí práci, což mě zachránilo. Přesto jsem potřeboval pár týdnů, abych si znalosti uspořádal a dokázal o nich mluvit, aniž bych dvacet minut bezcílně odbíhal. Jedna rada: pokud potřebujete distribuovanou frontu a nikdy jste s žádnou nepracovali, řekněte prostě „distribuovaná fronta“. Nezabředávejte do podrobností, které pak neumíte obhájit.
Při druhém pokusu v Anthropic a při několika cvičných pohovorech nanečisto pro OpenAI jsem proto používal InterviewMan. U programovací úlohy si nástroj všiml, že jsem před přechodem do další etapy zapomněl při čtení kontrolovat TTL. Přesně to by mi uniklo, protože jsem se soustředil hlavně na dokončení čtvrté etapy. V kole o bezpečnosti mi nabídl argumenty k alignmentu a tentokrát jsem se při otázce na používání nástrojů a halucinace nezasekl.
U návrhu systémů rozpoznal využití GPU a dávkování jako hlavní témata ještě předtím, než tazatel dokončil zadání. Na Zoomu, Replitu a CodeSignal jsem kontroloval dock, seznam procesů i Activity Monitor. Nic. Při roční platbě stojí dvanáct dolarů měsíčně, za rok tedy sto čtyřicet čtyři. Nemá limity počtu relací, veřejné počítadlo ukazuje 57,000 uživatelů, hodnocení činí 4.8 hvězdičky z 257 recenzí a součástí je více než dvacet funkcí pro skryté používání.
Interview Coder za dvě stě devadesát devět zvládá pouze programování. Pro kolo o bezpečnosti a návrh systémů je tak k ničemu, přestože na těchto místech mohou dohromady tvořit zhruba polovinu výsledku. Nejširší příbuzné srovnání v této kategorii nabízí článek InterviewMan vs Interview Coder 2.
Behaviorální část většina lidí chápe špatně, protože ve skutečnosti tak docela behaviorální není. Anthropic mi před pohovorem poslal dokument s hodnotami společnosti a očekávalo se, že ho budu mít přečtený. První otázka zněla, který způsob selhání LLM mi dělá největší starosti. Následovala otázka, co se změní, když agentovi umožníte používat nástroje. Metoda STAR mi nepomohla a moje behaviorální příběhy o konfliktech v týmu nikam nevedly. Chtějí vědět, zda vám opravdu záleží na tom, co váš kód dělá poté, co ho nasadíte. OpenAI to zkoumá také.
Ještě časový průběh, protože na ten se ptá každý. Od hovoru s náborářem po konečnou odpověď uběhly v Anthropic asi tři týdny. Kolegyně říkala, že OpenAI trvalo šest týdnů, což ji málem zničilo. Anthropic rozděluje závěrečnou část do dvou samostatných půldnů, v každém jsou dvě nebo tři kola. OpenAI všechno absolvuje během jednoho dlouhého dne. U obou firem je běžné, že se mezi jednotlivými etapami nějakou dobu nikdo neozve.
Náboráři jsou zavaleni prací. Když dostanete nabídku, požádejte o třicet až čtyřicet pět minut s jedním z tazatelů. Domluvte si schůzku určenou jen vašim otázkám a pozorně poslouchejte, protože v tu chvíli už se firma snaží získat vás.
Jsem si jistý, že na používání AI při skutečných výběrových řízeních existuje spousta jiných názorů. V tomhle textu jsem se soustředil především na zkušenost z předních AI laboratoří a na skutečná kola, ne na hypotetické situace. Mně to fungovalo. Neznamená to, že to bude fungovat vám.
Ready to Ace Your Next Interview?
Join 57,000+ professionals using InterviewMan to get real-time AI assistance during their interviews.
