추론 강도를 낮췄더니 모델이 멀쩡한 데이터를 지우라고 했다
코드 생성이 아니라 판단을 로컬 추론 모델에 물어봤습니다. 그 과정에서 think:false 가 추론을 끄는 게 아니라 분리만 멈춘다는 걸 알게 됐고, 새로 받은 모델은 낮은 추론 강도에서 사실을 반대로 읽어 유효한 데이터를 전부 밀라고 권했습니다.
DevTech
그 파이프라인을 만들고 고치는 기록
14 posts
벤치마크가 27점 높은 모델로 갈아탔더니 5.3배 느려지고 결과는 같았다
위임 하네스가 1년 묵은 로컬 모델을 쓰고 있길래 최신 모델로 바꾸려고 했습니다. 실측해보니 5.3배 느려지고 테스트 통과 개수는 똑같았습니다. 그리고 실패한 테스트 하나의 원인은 모델이 아니라 제가 쓴 스펙이었습니다.
차단 5건 성공 감지 3건 성공 그리고 다섯 시간 반 동안 아무 일도 없었다
밤샘 작업이 멈춘 사고를 조사하고 안전장치 두 개를 만들었습니다. 다음 날 밤 처음 돌렸더니 차단 5건 전부 성공, 사망 감지 3건 전부 성공, 오탐 0이었습니다. 그런데 그날 밤 작업량은 새벽 두 시 이후로 0이었습니다.
위임 도구가 멈춘 자리를 찾는 데 여섯 번이 걸렸습니다
로컬 모델에 문서 초안을 맡겼는데 여섯 번 실패했습니다. 매번 증상이 달라서 원인도 다르다고 봤고, 그래서 세 번 잘못 짚었습니다. 프로세스가 살아 있고 모델이 메모리에 올라와 있다는 것을 진행 중이라는 증거로 읽은 게 첫 번째 오진이었습니다. 실제 원인은 두 개였고, 마지막 하나는 한 줄이었습니다.
밤새 돌아야 할 세션이 네 시간 반 멈췄고 원인은 지휘하던 쪽이었습니다
자기 전에 중단없이 계속하라고 지시했는데 아침에 보니 멈춰 있었습니다. 작업 세션 두 개의 로그만 보면 말만 하고 멈춘 것처럼 보였고, 실제로 1차 보고서는 그렇게 썼습니다. 이들을 지휘하던 오케스트레이터의 로그를 같은 기준으로 재고 나서 결론이 뒤집혔습니다.
위임 명세에 쓴 금지 지시가 산출물 본문으로 걸어 나왔습니다
로컬 모델에 코드를 맡겼을 때 프롬프트 지시문이 주석 자리에 남는 것은 이미 겪은 일이었습니다. 이번에는 같은 일이 문서에서 났습니다. '이렇게 쓰지 마라'가 '이렇게 쓰는 것은 잘못이다'라는 본문 문장이 되어 결과물에 들어왔습니다. 세 번째 반려 대신 스레드를 버리고 명세에서 부정문을 전부 걷어낸 기록입니다.
59바이트짜리 파일 하나가 통합 브랜치에 올라간 23분
워크트리마다 node_modules를 심링크로 걸어 쓰다가 그 심링크가 커밋에 섞였습니다. 규칙은 있었고 확인도 했는데 못 잡았습니다. 확인 명령에 걸어둔 grep -v가 확인하려던 그 줄을 지우고 있었기 때문입니다. 원인 규명과 pre-commit 훅 도입까지의 기록입니다.
코드가 근거로 인용하는 설계문서가 존재하지 않았습니다
감사로그를 어디서 잡을지 정하고 구현까지 끝냈는데, 그 근거로 코드 주석이 가리키던 ADR 0007만 파일이 없었습니다. 0001부터 0009까지 중 그 하나만 비어 있었습니다. 없는 문서를 쓰면서 결정 자체를 다시 검증하고, 그 사이 코드가 바뀌어 문서가 두 번 낡는 과정을 기록합니다.
위임 실패의 원인이 나에게로 옮겨오는 순간을 다섯 번 기록했다
시각 디자인 개편 한 사이클을 로컬 Aider와 병행하며 위임 8회를 돌렸다. 결함 6건 중 1건은 내 지시가 틀린 것이었고, 2건은 프롬프트로 막을 수 없는 구조 문제였다. 그보다 뼈아팠던 건 없는 결함을 찾았다고 이슈까지 열었던 일이다. 검증 환경이 오염돼 있었다.
Aider에게 15개 이슈를 맡기고 143번 돌렸다. 후반부엔 내가 틀린 것만 남았다
UI 개편 이슈 15건을 로컬 Aider에 위임하며 실행 143회·가동 3시간 30분을 전부 기록했다. 1차 통과율이 1/8에서 100%로 올라가는 동안, 남은 실패의 원인은 모델에서 나에게로 옮겨갔다. 하네스 결함 15건 중 11건이 거짓양성이었고, 내가 쓴 스펙이 틀려서 산출물이 틀린 경우가 4건이었다.
24개 이슈짜리 감사대응 사이클을 사후 부검하다. 위임 비율이 100:0이 된 걸 알아챈 건 사용자였다
1:9 위임 계획을 세워놓고 24개 이슈를 처리하는 내내 위임을 단 한 번도 시도하지 않았다. 실패한 게 아니라 판단 지점 자체가 없었다. 그 원인을 추적하고, opencode의 알려진 결함을 GitHub 이슈로 직접 재검증하고, 대안 CLI(Aider)를 실제로 설치해 맞대결시킨 기록.
44% 확률로 멈추는 버그를 쫓다가 성급한 결론이 세 번 무너진 기록
로컬 에이전트 CLI가 아무 메시지 없이 멈췄다. 설정도 재설치도 재부팅도 소용없었고, 결국 문제는 내가 세 번이나 성급하게 내린 결론이었다.
로컬 LLM이 검증 결과를 세 번 지어낸 날, 1:9 위임 실험은 9:1로 뒤집혔다
로컬 LLM에게 보안 패치 작업의 90%를 맡기는 실험을 시작했다. 결과는 정반대였다. 사실 수집은 쓸 만했지만, 판단과 자기검증은 세 번이나 지어낸 결과를 내놓았다.
개념부터 실습까지, AWS MSK와 Kafka로 로그 파이프라인 구축하기
개념부터 실습까지, AWS MSK와 Kafka로 로그 파이프라인 구축하기