과학 속의 AI

과학적 유용성은 재현성, 불확실성, 데이터 출처, 그리고 해당 방법이 명시된 질문에 답하는지 여부에 달려 있습니다. 예측이 자동으로 발견이나 인과적 설명이 되는 것은 아닙니다.

주요 시사점

• 과학적 질문과 반증 증거를 명확히 하세요.
• 출처와 재현 가능성을 보존하세요.
• 가설과 예측을 검증된 결과와 분리하세요.

알고리즘을 선택하기 전에 과학적 질문을 구성하세요. 무엇을 측정하고, 무엇을 추론하며, 어떤 관찰이 주장을 반증하는지 결정하세요. 특히 동일한 대상, 기기 또는 실험에서 측정이 상관관계가 있을 경우 훈련, 검증, 테스트 데이터를 분리하세요. 전처리, 모델 버전, 관련 시 무작위 시드, 평가 자료를 기록하세요. 누락된 데이터나 선택 효과가 결론에 영향을 미치는지 확인하세요. 모델은 새로운 기기, 집단 또는 실험 조건에서는 실패하면서도 알려진 패턴을 재현할 수 있습니다. 불확실성을 정직하게 활용하세요. 교정, 신뢰 구간, 예측 구간, 민감도 분석은 서로 다른 질문에 답합니다. 생성된 가설은 후속 작업을 안내할 수 있지만, 적절한 실험이나 독립적인 분석이 이를 뒷받침하기 전까지는 증거가 아닙니다. 출처 데이터에서 도표, 표, 원고로의 경로를 보존하세요. 저자, 인용, 생성된 텍스트를 신중히 검토하며, 자동화된 결과가 독립적으로 재현되었다고 주장하지 마세요.

1. 기기 A의 데이터를 학습한 모델을 상상해 보세요. 같은 기기의 측정값을 무작위로 나누어 테스트한 경우입니다.
2. 두 번째 평가에서는 기기 B의 후속 측정값을 사용했으며, 오차가 크게 증가한 것으로 나타났습니다.
3. 두 결과를 모두 보고하고, 일반적인 과학적 성과를 주장하기 전에 보정 또는 측정 차이를 조사하세요.

이 구성된 예시는 무작위 분할이 과학적 일반화를 과장할 수 있음을 보여줍니다.