Trước khi phân tích: nhìn dữ liệu thô, vì phần lớn lỗi nghiêm trọng lộ ra ở đó

Cám dỗ lớn nhất khi có dữ liệu là chạy ngay mô hình. Nhưng phần lớn lỗi nghiêm trọng lộ ra khi bạn chỉ đơn giản nhìn vào dữ liệu thô — và không lộ ra trong kết quả mô hình.

Kiểm cơ bản

• Số dòng có đúng như mong đợi không.
• Có dòng trùng lặp không.
• Mỗi biến có nằm trong khoảng hợp lệ không.
• Bao nhiêu giá trị thiếu ở mỗi biến.
• Kiểu dữ liệu có đúng không — số bị đọc thành chữ là lỗi rất phổ biến.

Vẽ hình trước khi mô hình hoá

• Vẽ phân bố từng biến.
• Vẽ quan hệ giữa các biến chính.
• Hình vẽ lộ ra những thứ mà thống kê tóm tắt che đi.
• Hai phân bố rất khác nhau có thể có cùng trung bình và độ lệch chuẩn.

Dấu hiệu lỗi thu thập

• Giá trị tập trung bất thường ở một con số.
• Nhiều bản ghi giống hệt nhau.
• Giá trị không thể có: tuổi âm, ngày trong tương lai.
• Phân bố khác hẳn giữa các người thu thập khác nhau.
• Dấu hiệu cuối rất đáng chú ý và ít ai kiểm.

Về giá trị thiếu

• Kiểm thiếu có ngẫu nhiên không hay tập trung ở một nhóm.
• Thiếu tập trung ở một nhóm là thông tin, không phải nhiễu.
• Quyết định cách xử lý trước khi nhìn kết quả.
• Ghi lại quyết định đó.

Ghi lại mọi thứ đã làm

• Mọi dòng bị loại, kèm lý do.
• Mọi giá trị được sửa, kèm căn cứ.
• Tất cả nằm trong mã, không làm bằng tay.
• Số dòng ở mỗi bước, để báo cáo được.

Một điều đáng nhớ

Kiểm xem giá trị thiếu có tập trung ở một nhóm nào không.

Nếu người bỏ cuộc giữa chừng khác hệ thống với người ở lại, thì phân tích trên những người ở lại trả lời một câu hỏi khác với câu hỏi bạn nghĩ mình đang hỏi — và không mô hình nào cảnh báo bạn về điều đó.

Câu hỏi thường gặp