Doch was prüft HackerRank eigentlich? Genau diese Frage hat mir ein ehemaliger Kollege beantwortet, der in seiner Firma Entwickler einstellt, und für ihn war die Sache offenbar so banal, dass ich mich über meine ganze Sorge beinahe geärgert habe. Das Proctoring ist JavaScript im Browser. Dort sieht es die Erweiterungen und geöffneten Tabs, die Zwischenablage, die Webcam und den Code-Editor.
Dort endet aber auch sein Zugriff. Bis zu den Prozessen, die auf dem Betriebssystem laufen, kommt es nicht. Bei einer Desktop-App muss man deshalb darauf achten, dass sie nichts in die Browserseite einfügt. Tut sie das nicht, gibt es für das Proctoring von HackerRank auch nichts zu entdecken.
Bis zu diesem Nachmittag hatte ich noch nie einen echten Proctoring-Bericht gesehen. Er rief mehrere davon auf seinem Laptop auf und bei einem blieb ich sofort hängen: Während der zweiten Aufgabe hatte ein Kandidat den Tab für 3 Sekunden verlassen. Die 3 Sekunden waren mit Zeitstempel festgehalten. Bei den Webcam-Aufnahmen stand der Vermerk „Kandidat blickte wiederholt nach links.“ Sogar jeder Einfügevorgang tauchte dort auf, mitsamt dem Text, der eingefügt worden war.
Mein ehemaliger Kollege meinte, die meisten Manager würden sich diese Warnungen ansehen, bevor sie überhaupt den Code öffnen. Da saß ich auf seinem Sofa und merkte erst, wie blind ich bisher in solche Tests gegangen war. Der Besuch in seinem Wohnzimmer an diesem Sonntag hatte übrigens mit meinem Mitbewohner angefangen. Dessen Chrome-Erweiterung war in der Woche zuvor bei HackerRank erkannt worden, nach 45 Sekunden wurde die Sitzung beendet und das Ergebnis für ungültig erklärt.
89 Dollar im Monat für Sensei AI, und das Ding hielt nicht einmal 1 Minute durch. Am nächsten Tag meldete sich der Recruiter nicht mehr. Und ich selbst sollte in 2 Wochen einen überwachten HackerRank-Test schreiben, mit einem Browser-Tool, das ich kein einziges Mal getestet hatte.
Ready to ace your next interview?
InterviewMan gives you real-time AI answers during live interviews — undetectable on Zoom, Meet, and Teams.
Try InterviewMan FreeZu Hause probierte ich es auf Übungsaufgaben selbst aus, sämtliche Proctoring-Einstellungen auf höchster Stufe. Sensei AI wurde nach genau 1 Minute erkannt. Cluely kostet mit dem Stealth-Add-on 149.99 Dollar im Monat. Ein Freund testete es bei einem überwachten Codility-Test, nach 2 Minuten kam die Warnung. Beide Tools laufen im Browser. Dabei musste ich ständig an meinen Mitbewohner denken. Mit einer Browser-Erweiterung in einen überwachten Test zu gehen ist ungefähr so, als würde man bei einer Sicherheitskontrolle die verbotene Ware offen in der Hand halten, lol.
InterviewMan für 12 Dollar im Monat bei jährlicher Zahlung überstand alles, was ich ihm vorsetzte. 2 überwachte HackerRank OAs, 1 Codility-Test und 1 CodeSignal-Test. Kein einziger Alarm. Wir haben es als Desktop-App gebaut. Sie öffnet nie einen Browser-Tab, also findet der Tab-Tracker nichts. Es gibt auch keine Erweiterung, die der Scanner entdecken könnte. Auf Screenshots und Bildschirmaufzeichnungen bleibt sie unsichtbar.
Sie erscheint weder im Dock noch in der Aktivitätsanzeige. Unser Tool blockiert WebRTC-Abfragen, außerdem ist der Prozessname unter Mac und Windows maskiert. Während einer Pair-Programming-Runde bat mich ein Interviewer einmal, die Aktivitätsanzeige zu öffnen. InterviewMan war in der Liste nirgends zu sehen. Ich hätte fast gelacht, so nervös war ich vorher gewesen.
Sämtliche Stealth-Funktionen sind in den 12 Dollar pro Monat enthalten. Das erstaunt mich noch immer. Cluely verlangt für das Verbergen bei der Bildschirmfreigabe zusätzlich 130 Dollar, obendrauf kommen 19.99 Dollar. Trotzdem wurde das Tool bei einem überwachten Test erkannt, weil es am Ende eben weiterhin eine Browser-Erweiterung ist. 149.99 Dollar monatlich für einen Stealth-Modus, der genau bei dem Anlass versagt, für den man ihn braucht.
Wir haben 57,000 Nutzer und eine Bewertung von 4.8 Sternen. Nachdem ich Reddit, Discord und den Chrome Web Store durchsucht hatte, fand ich keinen Bericht darüber, dass jemand mit unserem Tool auf einer überwachten Plattform erwischt worden wäre.
Vor jedem überwachten Test mache ich inzwischen eines: Ich starte mit meiner vollständigen Einrichtung zuerst eine Übungsaufgabe. Manche Übungstests haben Proctoring aktiviert, das Ganze dauert vielleicht 10 Minuten. Nach dem Erlebnis meines Mitbewohners gehe ich nicht mehr ungetestet hinein. Und falls jemand beim Lesen glaubt, eine auf Zoom unauffällige Einrichtung funktioniere automatisch auch bei HackerRank: Das stimmt nicht. Bei Zoom wird ein Video des Bildschirms aufgezeichnet.
HackerRank sieht dagegen in die internen Daten des Browsers, kontrolliert Erweiterungen und beobachtet die Zwischenablage. Was im einen Fall unauffällig bleibt, kann deshalb beim anderen sehr schnell auffliegen, sogar nach genau 30 Sekunden. Mein Mitbewohner hatte das nicht bedacht. Er hielt seine Browser-Erweiterung für unproblematisch und verlor damit die Chance auf eine Stelle mit sechsstelligem Gehalt. Nach 45 Sekunden war sein Test vorbei.
Ready to Ace Your Next Interview?
Join 57,000+ professionals using InterviewMan to get real-time AI assistance during their interviews.
