측정하지 못한 관측까지 같은 자리에 싣습니다

이 자리에서 항상 하는 일

아래 세 문장은 다음 회차의 우리를 묶는 계약입니다. 배포 검사가 이 문장들을 지킵니다 — 값이 지면에서 빠지면 배포가 멈춥니다.

1. 측정 회차마다 세 값을 같이 냅니다. 잰 관측, 못 잰 관측, 그리고 그 회차에 우리 검사 도구가 틀렸던 자리.
2. 성과를 말하는 숫자를 밖에 쓸 때는, 같은 회차의 관측 상태를 먼저 이 지면에 올립니다.
3. 값이 나빠져도 문장을 고치지 않고 숫자만 갈아 끼웁니다. 지난 회차 값은 지우지 않습니다.

① 이번 회차에 우리가 못 잰 관측

던진 관측 33,780개 가운데 3,200개는 우리가 재지 못했습니다.

① 이번 회차에 우리가 못 잰 관측

잰 관측 90.34% 못 잰 관측 (우리 쪽 사정) 9.47% 그 화면에 답이 없던 관측 0.19%

측정 회차와 기록의 상태

분석 기록에 실린 측정 43회 가운데 23회는 기록을 확정했고 20회는 아직입니다. 그중 8회는 시험용인지 실측인지 라벨이 붙어 있지 않습니다. 회차마다 기록을 확정하는 절차가 따로 있는데 그 절차를 끝까지 밟은 회차와 아직 밟지 않은 회차를 한 덩이로 세면 우리 기록이 실제보다 정돈돼 보이기 때문에, 두 값을 나눠 적고 라벨이 빠진 회차 수까지 따로 측정합니다. 고칠 자리를 그대로 가리키는 값입니다.

저장된 실행 폴더는 33개인데 분석 기록에는 43회로 실려 있습니다. 아직 그 차이를 설명하지 못했고, 설명이 붙는 날 여기에 씁니다.

② 우리 검사 도구가 틀렸던 자리

지금 8건입니다. 지우지 않고 남깁니다.

검사 도구가 틀리면 숫자는 조용히 우리 쪽으로 유리해집니다. 그래서 틀린 자리를 그때그때 기록으로 남기고, 그 일 때문에 우리 판정 규칙에서 무엇이 바뀌었는지를 반드시 같은 기록에 적습니다. 바뀐 것이 없는 항목은 올리지 않습니다. 그건 반성문입니다. 반성문은 쌓이지 않습니다.

1. 어디가 틀렸나

   접근성 검사 도구가 우리 지면에서만 죽었고, 집계가 그 실패를 위반 0으로 읽었다.

   어떻게 드러났나

   같은 검사가 경쟁사 지면에서는 통했다. 우리 쪽만 123건 전부 실패였는데 결과표에는 위반 0으로 찍혔다. 유리한 쪽으로만 어긋난 것이 단서였다.

   그래서 뭐가 바뀌었나

   검사 스크립트를 우리 보안 설정에 걸리지 않는 방식으로 주입해 246건 전부 성공했다. 실패를 0으로 접는 집계를 금지하고, 유리한 결과가 나오면 먼저 의심한다는 판정 규칙을 세웠다.

2. 어디가 틀렸나

   화면 색 대비를 픽셀로 재는 검사가 경쟁사를 포함한 모든 사이트를 미달로 냈다.

   어떻게 드러났나

   글자 테두리의 흐린 픽셀이 배경 표본에 섞여 들어갔다. 우리만 나쁜 것이 아니라 표본 28곳이 전부 미달이라 값 자체가 판정에 못 쓰인다는 것이 드러났다.

   그래서 뭐가 바뀌었나

   통과·미달 판정은 요소 단위로 재는 다른 검사로 옮겼다. 픽셀 값은 사이트끼리 순위를 볼 때만 쓰고, 표 머리에 그 한계를 적어 두기로 했다.

3. 어디가 틀렸나

   종류가 다른 표본끼리 비교했다. 우리 120지면을 상대 28지면에 얹어 첫 화면 분량을 쟀다.

   어떻게 드러났나

   첫 화면 글자량이 79.31% 대 0.96%로 나왔다. 차이가 너무 커서 다시 보니 우리는 사이트 전체, 상대는 대표 지면 몇 개였다. 같은 종류끼리 다시 재니 우리 가격 지면은 19곳 중 1위였다.

   그래서 뭐가 바뀌었나

   비교마다 분모의 표본 종류를 문장에 적기로 했다. 전체 대 전체인지, 같은 성격의 지면끼리인지가 안 적힌 비교는 쓰지 않는다.

4. 어디가 틀렸나

   시험용으로 만든 가짜 관측이 진짜 관측 더미에 섞여 있었고, 집계가 조용히 오염됐다.

   어떻게 드러났나

   자사 인용이 1,400건이라는 값이 나왔다. 형식이 진짜와 같아 집계로는 안 걸렸고, 답변 길이 분포를 그려서야 다른 무리가 보였다.

   그래서 뭐가 바뀌었나

   가짜를 지우지 않고 표식을 두 겹으로 붙였다. 지우면 같은 실수를 다시 검증할 수 없다. 판별 검사기를 집계 앞단에 배선해 섞인 채로는 숫자가 안 나오게 했다.

5. 어디가 틀렸나

   「시험 실행 명령을 지우면 알아챈다」를 증명하려던 검사다. 정작 아무것도 재지 않았다. 겨누던 줄을 진작 옮긴 탓이다.

   어떻게 드러났나

   배포 전 점검이 여기서 멈췄다. 손으로 재현하니 지워진 줄이 0개인데도 「달라졌다」고 답했다. 파일 끝 줄바꿈 하나가 그 거짓 답을 만들었다.

   그래서 뭐가 바뀌었나

   지워진 줄을 세서 정확히 하나일 때만 통과시킨다. 읽을 때 줄바꿈을 살렸다. 겨누는 줄은 한 군데에 모았다. 원본에서는 잡히고 그 줄을 지우면 사라진다. 양쪽으로 확인했다.

6. 어디가 틀렸나

   중요한 약속이 지면 위쪽에 있는지 검사한다. 그 검사가 맨 아래에 깔리는 공용 조각 둘까지 같은 잣대로 쟀다. 고칠 수 없는 지적만 쌓였다.

   어떻게 드러났나

   경보가 224건에서 688건으로 뛰었다. 약속별로 세니 383건이 견적 답변 하나였다. 견적과 상관없는 지면에서까지 잡혔다.

   그래서 뭐가 바뀌었나

   그 둘을 빼되 위쪽으로 올라오면 다시 검사하기로 했다. 지적은 310건으로 줄었고 본문 지면에서는 5건이 남아 신호를 잃지 않았다. 옛 기준선보다 86건 많은 이유는 아직 못 찾아 미확인으로 뒀다.

7. 어디가 틀렸나

   자료 검색 도구가 「출처 기록이 낡았다」는 경고를 늘 켜 두었다. 늘 켜진 경고는 성한 것과 상한 것을 못 가린다.

   어떻게 드러났나

   출처가 붙은 비율이 99.31%, 98.28%, 72.52%인 기록 세 벌이 모두 낡음으로 찍혔다. 따로 재서 합쳐 기준 시각이 옛 값에 머문 탓이었다.

   그래서 뭐가 바뀌었나

   낡음 비교를 버리고 그 경고를 읽던 검사 둘을 비율로 옮겼다. 전부 등급이 붙으면 경고가 없어야 하고 넷 중 하나라도 빠지면 떠야 한다. 문턱은 설정으로 바뀌니 숫자 대신 문구를 잠갔다.

8. 어디가 틀렸나

   값이 흔들렸는지 보는 검문에서 두 실패가 같은 신호를 냈다. 그 신호를 기다리던 검사 둘이 엉뚱한 이유로 통과해 아무것도 못 쟀다.

   어떻게 드러났나

   옆에 있던 검사 넷이 먼저 실패했다. 빠진 선언을 채우자 잠잠하던 둘이 그제야 이름대로 움직였다. 실패하는 길이 둘인데 신호가 하나면 어느 쪽인지 알 수 없다.

   그래서 뭐가 바뀌었나

   검사용 값을 심는 일을 한 곳으로 모아 선언까지 같이 했다. 그 파일 검사 18건이 모두 통과한다. 재는 대상 40건에 견줄 목록이 27건뿐이던 것도 찾아 44건으로 채웠다.

③ 우리가 측정하는 지표 목록

위 두 절이 이번 회차의 값이라면, 이 표는 우리가 재기로 한 지표가 무엇무엇인지를 통째로 적은 목록입니다. 목록이 없으면 지표 하나가 빠져도 빠진 줄을 모릅니다.

목록에 실린 지표 13개 가운데 12개는 값이 있고 1개는 미측정입니다.

아직 못 잰 지표는 값 자리에 미측정이라고 적습니다. 0이라고 적지 않습니다. 0은 재 봤더니 없었다는 뜻이고 미측정은 아직 안 재 봤다는 뜻이라, 둘을 같은 자리에 적으면 이 표를 받아 든 사람이 우리가 아는 것보다 많이 안다고 읽게 됩니다.

여기에 싣지 않는 것

고객 데이터는 익명으로도, 묶어서도 싣지 않습니다. 고객 실행을 적을 자리를 기록 형식에서 아예 빼 두었고 검사기가 다른 값을 거부하도록 먼저 만들어 두었는데, 이런 경계는 지킬 것이 생긴 다음에 그리면 이미 늦고 그때는 사람의 의지에 기대게 되기 때문입니다.

우리가 못 쟀다는 공개하고, 고객이 못 나왔다는 공개하지 않습니다. 둘은 같은 0으로 보이지만 하나는 우리 값이고 하나는 남의 값입니다.

측정 방법은 공개하고, 그 방법을 굴리는 기준값과 판단 규칙은 공개하지 않습니다.

이 지면이 갱신되는 방식

여기 보이는 숫자는 기록 파일 하나에서만 나옵니다. 손으로 적힌 숫자는 없습니다.

지난 회차 값은 새 값에 덮이지 않고 그대로 남습니다. 값을 고쳐야 할 때도 지우지 않고 정정 기록을 하나 더하는데, 틀린 기록을 지워 버리면 이 지면이 쌓아 올리려는 것 자체가 같이 사라지기 때문입니다. 지웁니다가 아니라 더합니다.

이 숫자를 만든 격자를 그대로 브랜드에 겁니다. 진단 상품과 값 보기 →

지금까지 회차 3건 · 마지막 갱신 2026-08-11. · 우리가 주장하는 것의 원장 보기 · 어떻게 측정하는지 보기