추론 강도를 낮췄더니 모델이 멀쩡한 데이터를 지우라고 했다
코드 생성이 아니라 판단을 로컬 추론 모델에 물어봤습니다. 그 과정에서 think:false 가 추론을 끄는 게 아니라 분리만 멈춘다는 걸 알게 됐고, 새로 받은 모델은 낮은 추론 강도에서 사실을 반대로 읽어 유효한 데이터를 전부 밀라고 권했습니다.
Vinyl's Log
이야기를 만드는 도구를 만들고,
그 도구로 이야기를 만듭니다.
호러 단편과, 그것을 만드는 파이프라인의 개발 기록. 그리고 만드는 사람의 일상.
최근
세 축을 가리지 않고 최근에 올린 것
벤치마크가 27점 높은 모델로 갈아탔더니 5.3배 느려지고 결과는 같았다
위임 하네스가 1년 묵은 로컬 모델을 쓰고 있길래 최신 모델로 바꾸려고 했습니다. 실측해보니 5.3배 느려지고 테스트 통과 개수는 똑같았습니다. 그리고 실패한 테스트 하나의 원인은 모델이 아니라 제가 쓴 스펙이었습니다.
차단 5건 성공 감지 3건 성공 그리고 다섯 시간 반 동안 아무 일도 없었다
밤샘 작업이 멈춘 사고를 조사하고 안전장치 두 개를 만들었습니다. 다음 날 밤 처음 돌렸더니 차단 5건 전부 성공, 사망 감지 3건 전부 성공, 오탐 0이었습니다. 그런데 그날 밤 작업량은 새벽 두 시 이후로 0이었습니다.
위임 도구가 멈춘 자리를 찾는 데 여섯 번이 걸렸습니다
로컬 모델에 문서 초안을 맡겼는데 여섯 번 실패했습니다. 매번 증상이 달라서 원인도 다르다고 봤고, 그래서 세 번 잘못 짚었습니다. 프로세스가 살아 있고 모델이 메모리에 올라와 있다는 것을 진행 중이라는 증거로 읽은 게 첫 번째 오진이었습니다. 실제 원인은 두 개였고, 마지막 하나는 한 줄이었습니다.
밤새 돌아야 할 세션이 네 시간 반 멈췄고 원인은 지휘하던 쪽이었습니다
자기 전에 중단없이 계속하라고 지시했는데 아침에 보니 멈춰 있었습니다. 작업 세션 두 개의 로그만 보면 말만 하고 멈춘 것처럼 보였고, 실제로 1차 보고서는 그렇게 썼습니다. 이들을 지휘하던 오케스트레이터의 로그를 같은 기준으로 재고 나서 결론이 뒤집혔습니다.
위임 명세에 쓴 금지 지시가 산출물 본문으로 걸어 나왔습니다
로컬 모델에 코드를 맡겼을 때 프롬프트 지시문이 주석 자리에 남는 것은 이미 겪은 일이었습니다. 이번에는 같은 일이 문서에서 났습니다. '이렇게 쓰지 마라'가 '이렇게 쓰는 것은 잘못이다'라는 본문 문장이 되어 결과물에 들어왔습니다. 세 번째 반려 대신 스레드를 버리고 명세에서 부정문을 전부 걷어낸 기록입니다.
59바이트짜리 파일 하나가 통합 브랜치에 올라간 23분
워크트리마다 node_modules를 심링크로 걸어 쓰다가 그 심링크가 커밋에 섞였습니다. 규칙은 있었고 확인도 했는데 못 잡았습니다. 확인 명령에 걸어둔 grep -v가 확인하려던 그 줄을 지우고 있었기 때문입니다. 원인 규명과 pre-commit 훅 도입까지의 기록입니다.
코드가 근거로 인용하는 설계문서가 존재하지 않았습니다
감사로그를 어디서 잡을지 정하고 구현까지 끝냈는데, 그 근거로 코드 주석이 가리키던 ADR 0007만 파일이 없었습니다. 0001부터 0009까지 중 그 하나만 비어 있었습니다. 없는 문서를 쓰면서 결정 자체를 다시 검증하고, 그 사이 코드가 바뀌어 문서가 두 번 낡는 과정을 기록합니다.
Horror
생성 파이프라인으로 만드는 단편 호러
Horror
Horror
정리하는 사람
3개월째 매일 밤 집 안의 모든 물건이 정확히 1센티미터씩 북쪽으로 움직인다. CCTV는 자정마다 3초씩 끊긴다. 그래서 나는 매일 아침 6시에 일어나 수첩을 보며 하나씩 되돌려 놓는다.
Horror
침대 밑
나는 매일 밤 침대 밑을 확인한다.
Horror
우리의 웃음
베란다 화분 밑에 묻힌 휴대폰이 새벽마다 진동하며 웃음을 흘렸다.
Horror
배수구
아파트 관리비가 또 올랐다는 공지를 보고 나서, 나는 주방 싱크대를 닦기 시작했다. 어차피 할 일도 없었고, 뭔가 하고 있으면 마음이 조금 덜 불안했다.
Horror
환자 번호 2847
새 아파트로 이사한 지 일주일째 되던 날, 나는 침대 밑에서 그것을 발견했다.
Horror
젖은 발자국
나는 402호에 입주한 지 석 달째다.
Sponsored
Sponsored
DevTech
그 파이프라인을 만들고 고치는 기록
추론 강도를 낮췄더니 모델이 멀쩡한 데이터를 지우라고 했다
코드 생성이 아니라 판단을 로컬 추론 모델에 물어봤습니다. 그 과정에서 think:false 가 추론을 끄는 게 아니라 분리만 멈춘다는 걸 알게 됐고, 새로 받은 모델은 낮은 추론 강도에서 사실을 반대로 읽어 유효한 데이터를 전부 밀라고 권했습니다.
벤치마크가 27점 높은 모델로 갈아탔더니 5.3배 느려지고 결과는 같았다
위임 하네스가 1년 묵은 로컬 모델을 쓰고 있길래 최신 모델로 바꾸려고 했습니다. 실측해보니 5.3배 느려지고 테스트 통과 개수는 똑같았습니다. 그리고 실패한 테스트 하나의 원인은 모델이 아니라 제가 쓴 스펙이었습니다.
차단 5건 성공 감지 3건 성공 그리고 다섯 시간 반 동안 아무 일도 없었다
밤샘 작업이 멈춘 사고를 조사하고 안전장치 두 개를 만들었습니다. 다음 날 밤 처음 돌렸더니 차단 5건 전부 성공, 사망 감지 3건 전부 성공, 오탐 0이었습니다. 그런데 그날 밤 작업량은 새벽 두 시 이후로 0이었습니다.
위임 도구가 멈춘 자리를 찾는 데 여섯 번이 걸렸습니다
로컬 모델에 문서 초안을 맡겼는데 여섯 번 실패했습니다. 매번 증상이 달라서 원인도 다르다고 봤고, 그래서 세 번 잘못 짚었습니다. 프로세스가 살아 있고 모델이 메모리에 올라와 있다는 것을 진행 중이라는 증거로 읽은 게 첫 번째 오진이었습니다. 실제 원인은 두 개였고, 마지막 하나는 한 줄이었습니다.
밤새 돌아야 할 세션이 네 시간 반 멈췄고 원인은 지휘하던 쪽이었습니다
자기 전에 중단없이 계속하라고 지시했는데 아침에 보니 멈춰 있었습니다. 작업 세션 두 개의 로그만 보면 말만 하고 멈춘 것처럼 보였고, 실제로 1차 보고서는 그렇게 썼습니다. 이들을 지휘하던 오케스트레이터의 로그를 같은 기준으로 재고 나서 결론이 뒤집혔습니다.
위임 명세에 쓴 금지 지시가 산출물 본문으로 걸어 나왔습니다
로컬 모델에 코드를 맡겼을 때 프롬프트 지시문이 주석 자리에 남는 것은 이미 겪은 일이었습니다. 이번에는 같은 일이 문서에서 났습니다. '이렇게 쓰지 마라'가 '이렇게 쓰는 것은 잘못이다'라는 본문 문장이 되어 결과물에 들어왔습니다. 세 번째 반려 대신 스레드를 버리고 명세에서 부정문을 전부 걷어낸 기록입니다.
Life
만드는 사람의 기록