āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
The Explainability vs Accuracy Tradeoff
āļāļ§āļēāļĄāļĢāļđāđāļāļ·āđāļāļāļēāļ
āļāļđāđāļĄāļ·āļāļāļ·āđāļāļāļēāļ
āļāđāļāļāļĩāļāđāļāđāļŠāļĩāļĒāļāļāļāļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāđāļĨāļ°āļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļāļāļīāļāļēāļĒāļ§āđāļēāļāļģāđāļĄāđāļāļāļāļģāļĨāļāļāļāļķāļāļĨāđāļĄāđāļŦāļĨāļ§āđāļāļ·āđāļāļāļāļēāļāļāđāļēāļĒāđāļāļīāļāđāļāļŦāļĢāļ·āļāļāļąāļāļāđāļāļāđāļāļīāļāđāļ
āļāļąāļāļāļģāđāļāļ°āļāļģāļāļĩāđāļāļĢāļĢāļĒāļēāļĒāđāļāļĒ AI · ~2 min
It's the central tension behind underfitting versus overfitting, and getting it right determines whether your model generalizes to new data.
āļāđāļāļāļīāļāļāļĨāļēāļāđāļāļāļēāļĢāļāļēāļāļāļēāļĢāļāđāļāļļāļāļāļĒāđāļēāļāļāļĩāđāđāļāļāļāļģāļĨāļāļāļŠāļĢāđāļēāļāļāļķāđāļāļŠāļēāļĄāļēāļĢāļāđāļāđāļāļāļāļāđāļāđāļāļŠāļēāļĄāļŠāđāļ§āļ: āļāļāļāļī āļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļ āđāļĨāļ°āļŠāļąāļāļāļēāļāļĢāļāļāļ§āļāļāļĩāđāļĨāļāđāļĄāđāđāļāđ āļāļāļāļīāļāļ·āļāļāđāļāļāļīāļāļāļĨāļēāļāļāļēāļāļāļēāļĢāļŠāļąāļāļāļīāļĐāļāļēāļāļāļĩāđāļāļīāļ āļāļķāđāļāđāļāđāļāđāļāļāļāļģāļĨāļāļāļāļĩāđāļāđāļēāļĒāđāļāļīāļāļāļ§āđāļēāļāļĩāđāļāļ°āļāļąāļāļĢāļđāļāđāļāļāļāļĩāđāđāļāđāļāļĢāļīāļāđāļāđ āđāļāđāļ āļāļēāļĢāļāļĢāļąāļāđāļŠāđāļāļāļĢāļāđāļŦāđāđāļāđāļēāļāļąāļāđāļŠāđāļāđāļāđāļ (underfitting) āļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļāļ·āļāļāđāļāļāļīāļāļāļĨāļēāļāļāļēāļāļāļ§āļēāļĄāđāļ§āļāđāļāļāļąāļ§āļāļĒāđāļēāļāļāļēāļĢāļāļķāļāļāļĩāđāđāļāļāļēāļ°āđāļāļēāļ°āļāļ â āđāļāļāļāļģāļĨāļāļāļāļĩāđāļĒāļ·āļāļŦāļĒāļļāđāļāļĄāļēāļāļāļķāļāļŠāļēāļĄāļēāļĢāļāļāļāļāļģāļĨāļąāļāļĐāļāļ°āđāļāļāļēāļ°āđāļĨāļ°āđāļŠāļĩāļĒāļāļĢāļāļāļ§āļāđāļāđ (āļāļēāļĢāļŠāļ§āļĄāļĄāļēāļāđāļāļīāļāđāļ) āļŠāļīāđāļāļāļĩāđāļāļąāļāđāļāđāļāđāļāļ·āļāļ§āđāļēāļāļąāļāļŦāļāļķāđāļāļāļĩāđāļĨāļāļĨāļāļĄāļĩāđāļāļ§āđāļāđāļĄāļāļĩāđāļāļ°āļĒāļāļāļĩāļāļāļąāļ āļāļŦāļļāļāļēāļĄāļĢāļ°āļāļąāļāļŠāļđāļāļāđāļ§āļĒāļĨāļāļāļāļāļī āđāļāđāļāļēāļĢāļāļēāļāļāļēāļĢāļāđāļāļĨāļąāļāđāļāļ§āđāļāđāļāđāļāļ§āđāļāļĄāļēāļāļĒāđāļēāļāļĄāļēāļāļāļąāļāļāļļāļāļāđāļāļĄāļđāļĨāđāļŦāļĄāđāđāļāđāļĨāļ°āļāļļāļ āđāļāđāļēāļŦāļĄāļēāļĒāđāļĄāđāđāļāđāļāļĒāļđāđāļāļĩāđāļāļēāļĢāļāļģāļāļąāļāļāđāļāļāļīāļāļāļĨāļēāļāđāļāđ āđāļāđāđāļāļ·āđāļāļāđāļāļŦāļēāļāļļāļāļāļĩāđāļāđāļēāļŠāļāđāļāļāļķāđāļāļāļĨāļĢāļ§āļĄ (āļāđāļāļāļīāļāļāļĨāļēāļāļāļąāđāļāļŦāļĄāļāļāļĩāđāļāļēāļāđāļ§āđāđāļāļāđāļāļĄāļđāļĨāļāļĩāđāļĄāļāļāđāļĄāđāđāļŦāđāļ) āļāļąāđāļāļāđāļāļĒāļāļĩāđāļŠāļļāļ
āļāļēāļĢāđāļĨāļ·āļāļāļāļ§āļēāļĄāļĨāļķāļāļāļāļāđāļāļāļāļąāļāļāļēāļĢāļāļąāļāļŠāļīāļāđāļ: āļāđāļāđāļĄāđāļāļ·āđāļāļāđāļēāļāļĨāđāļēāļ (āļāļāļāļīāļŠāļđāļ) āļāđāļāđāļĄāđāļāļĩāđāļĨāļķāļāļĄāļēāļāļāļ°āļāļāļāļģāđāļāļ§āļāļēāļĢāļāļķāļ (āļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļŠāļđāļ) āļāļąāļāļāļąāđāļāļāļļāļāļāļķāļāļāļĢāļąāļāļāļ§āļēāļĄāļĨāļķāļāļāđāļēāļāļāđāļāļāļīāļāļāļĨāļēāļāđāļāļāļēāļĢāļāļĢāļ§āļāļŠāļāļ
āļāļēāļĢāļāļąāđāļāļāđāļēāļāļ§āļēāļĄāđāļāđāļāđāļāļĢāđāļāļāļāļāļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļ (āđāļĨāļĄāļāđāļāļē) āđāļāļāļēāļĢāļāļāļāļāļĒāđāļāļāļŠāļąāļāļŦāļĢāļ·āļāđāļāļāļāđāļ§āļāļāļēāļĻāđāļāļ·āđāļāđāļĨāļāļāļąāļāļāļāļāļīāļāļĩāđāđāļāļīāđāļĄāļāļķāđāļāđāļĨāđāļāļāđāļāļĒāļŠāļģāļŦāļĢāļąāļāļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļāļĩāđāļĨāļāļĨāļāļāļĒāđāļēāļāļĄāļēāļāđāļĨāļ°āļāļ§āļēāļĄāđāļĄāđāļāļĒāļģāđāļāļāļēāļĢāļāļāļŠāļāļāļāļĩāđāļāļĩāļāļķāđāļ
āļāļēāļĢāđāļāđāļāđāļēāļŠāļļāđāļĄ āļāļķāđāļāļŦāļēāļāđāļēāđāļāļĨāļĩāđāļĒāļāđāļāđāļĄāđāļāļĩāđāļĄāļĩāļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļŠāļđāļāļāļĩāđāļĄāļĩāļāļēāļĢāļĨāļāļāļ§āļēāļĄāļŠāļąāļĄāļāļąāļāļāđāđāļāļ·āđāļāļĨāļāļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāđāļāļĒāļĢāļ§āļĄāđāļāļĒāđāļĄāđāđāļāļīāđāļĄāļāļāļāļīāļĄāļēāļāļāļąāļ
āļāļēāļĢāđāļĨāļ·āļāļāļāļģāļāļ§āļāđāļāļ·āđāļāļāļāđāļēāļ k āđāļ k-NN: k=1 āļĄāļĩāļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļŠāļđāļāđāļĨāļ°āļāļīāļāļāļēāļĄāļŠāļąāļāļāļēāļāļĢāļāļāļ§āļ āđāļāļāļāļ°āļāļĩāđ k āļāļĩāđāļĄāļĩāļāļāļēāļāđāļŦāļāđāļĄāļēāļāļāļ°āļāļĢāļąāļāđāļŦāđāđāļĢāļĩāļĒāļāđāļāļīāļāđāļāđāļĨāļ°āđāļāļīāđāļĄāļāļāļāļī
āļāļēāļĢāđāļĢāļĩāļĒāļāļĢāļđāđāđāļāļīāļāļĨāļķāļāļāļģāđāļŦāđāđāļĢāļ·āđāļāļāļĢāļēāļ§āļāļĨāļēāļŠāļŠāļīāļāļāļąāļāļāđāļāļāļāļķāđāļ āļāļąāļāļ§āļīāļāļąāļĒāļŠāļąāļāđāļāļāđāļŦāđāļ 'double descent' āļāļķāđāļāļāđāļāļāļīāļāļāļĨāļēāļāđāļāļāļēāļĢāļāļāļŠāļāļāđāļāļīāļāļāļķāđāļāļāđāļāļ āļāļēāļāļāļąāđāļāļāļ°āļĨāļāļĨāļāļāļĩāļāļāļĢāļąāđāļāđāļĄāļ·āđāļāđāļāļĢāļ·āļāļāđāļēāļĒāļāļĩāđāļĄāļĩāļāļēāļĢāļēāļĄāļīāđāļāļāļĢāđāđāļāļīāļāļāļāļēāļāļāļģāļāļ§āļāļĄāļēāļāđāļāļīāļāđāļāđāļāļīāļāđāļāļāļāđāļāļēāļĢāđāļāđāđāļ āļāļķāđāļāļāļđāđāļŦāļĄāļ·āļāļāļāļ°āļāđāļēāļāļēāļĒāđāļŠāđāļāđāļāđāļāļĢāļđāļāļāļąāļ§āļĒāļđ āļāļēāļĢāļāļģāļāļ§āļēāļĄāđāļāđāļēāđāļāļ§āđāļēāđāļŦāļāļļāđāļāđāļĄāđāļāļĨāļāļāļēāļāđāļŦāļāđāļāļķāļāļŠāļĢāļļāļāđāļāđāđāļĄāđāļāļ°āļĄāļĩāļāđāļāļāļīāļāļāļĨāļēāļāđāļāļāļēāļĢāļāļķāļāļāļāļĢāļĄāđāļāļ·āļāļāđāļāđāļāļĻāļđāļāļĒāđāļāļ·āļāđāļāđāļāļāļāļāđāļāļāļāļēāļĢāļ§āļīāļāļąāļĒāļāļĩāđāļāļĢāļ°āļāļ·āļāļĢāļ·āļāļĢāđāļ āļāļķāđāļāđāļāļ·āđāļāļĄāđāļĒāļāļāļąāļāļāļēāļĢāļāļģāđāļŦāđāđāļāđāļāļĄāļēāļāļĢāļāļēāļāđāļāļĒāļāļąāļĒāļāļēāļāđāļāļĢāļ·āđāļāļāļĄāļ·āļāđāļāļīāđāļĄāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāđāļāđāļ SGD āļāļđāđāļāļāļīāļāļąāļāļīāļāļēāļāļāļķāđāļāļāļēāļāļēāļĢāļāļĢāļąāļāđāļāđāļāđāļāļīāļāļāļĢāļ°āļāļąāļāļĐāđ āļāļāļāļēāļĢāļāļĢāļąāļāļāļāļēāļ āđāļĨāļ°āđāļŠāđāļāđāļāđāļāļāļēāļĢāļāļĢāļ§āļāļŠāļāļāļĄāļēāļāļāļķāđāļāđāļĢāļ·āđāļāļĒāđ āđāļāļāļāļĩāđāļāļ°āđāļāđāļāļāđāļāļāļĩāļāđāļāđāļŠāļĩāļĒāļāļāļāļāļģāļĢāļēāđāļĢāļĩāļĒāļāđāļāļĩāļĒāļāļāļĒāđāļēāļāđāļāļĩāļĒāļ§
āļāļāļŦāļĄāļēāļĒāļāđāļēāļ§āļāļĢāļĩ
āđāļĢāļ·āđāļāļāļĢāļēāļ§ AI āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļĨāđāļ§ 3 āđāļĢāļ·āđāļāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āđāļāđāļē, āđāļāļĩāļĒāļāđāļāđāļāļ āļēāļĐāļēāļāļąāļāļāļĪāļĐāļāļĢāļĢāļĄāļāļē āļāļĢāļĩāļāļĨāļāļāđāļ āđāļĄāđāļĄāļĩāđāļāļĐāļāļē
āļāļĩāđāļĄāļĨāļŦāļāļķāđāļāļāļāļąāļāļāļļāļāļ§āļąāļāļāļģāļāļēāļ āļĒāļāđāļĨāļīāļāļāļēāļĢāļŠāļĄāļąāļāļĢāđāļāļāļĨāļīāļāđāļāļĩāļĒāļ§ āđāļĢāļēāđāļĄāđāđāļāļĒāļāļēāļĒāļŦāļĢāļ·āļāđāļāļĢāđāļāļĩāđāļāļĒāļđāđāļāļĩāđāļĄāļĨāļāļāļāļāļļāļ
āļāļāļŠāļāļāļāļąāļ§āđāļāļ
āļāđāļāđāļŠāļāļāđāļāļ°āļāļąāļāļāļĩāļŠāļģāļŦāļĢāļąāļāļāļļāļāļāļģāļāļāļ āđāļĨāļ°āđāļāļĢāļąāļāļĢāļāļāļāļĩāđāļŠāļēāļĄāļēāļĢāļāđāļāļĢāđāđāļāđāļāļĢāđāļāļĄ ID āļāļĩāđāļāļĢāļ§āļāļŠāļāļāđāļāđāđāļĄāļ·āđāļāļāļļāļāļāđāļēāļāļŦāļĨāļąāļāļŠāļđāļāļĢ
āļŠāļāļąāļāļŠāļāļļāļāļāļēāļĢāļĻāļķāļāļĐāļē AI āļāļĢāļĩ AI Understanding āđāļāđāļāļāļāļāđāļāļĢāđāļĄāđāđāļŠāļ§āļāļŦāļēāļāļĨāļāļģāđāļĢ 501(c)(3) â āđāļĄāđāļĄāļĩāđāļāļĐāļāļē āđāļĄāđāļĄāļĩāļāļģāđāļāļāđāļāļīāļ, āļāļĨāļāļāđāļ āļāļĢāļīāļāļēāļ
āļāđāļāļāļĩāļāđāļāđāļŠāļĩāļĒāļāļāļāļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāđāļĨāļ°āļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļāļāļīāļāļēāļĒāļ§āđāļēāļāļģāđāļĄāđāļāļāļāļģāļĨāļāļāļāļķāļāļĨāđāļĄāđāļŦāļĨāļ§āđāļāļ·āđāļāļāļāļēāļāļāđāļēāļĒāđāļāļīāļāđāļāļŦāļĢāļ·āļāļāļąāļāļāđāļāļāđāļāļīāļāđāļ āļāļ§āļēāļĄāļāļķāļāđāļāļĢāļĩāļĒāļāļŦāļĨāļąāļāļāļĩāđāļāļĒāļđāđāđāļāļ·āđāļāļāļŦāļĨāļąāļāļāļēāļĢāļāļĢāļąāļāļāđāļēāļāļĨāđāļēāļāļāļąāļāļāļēāļĢāļāļĢāļąāļāļĄāļēāļāđāļāļīāļāđāļ āđāļĨāļ°āļāļēāļĢāļāļģāđāļŦāđāļĄāļąāļāļāļđāļāļāđāļāļāļāļ°āđāļāđāļāļāļąāļ§āļāļģāļŦāļāļāļ§āđāļēāđāļāļāļāļģāļĨāļāļāļāļāļāļāļļāļāļāļ°āļŠāļĢāļļāļāļāđāļāļĄāļđāļĨāđāļŦāļĄāđāļŦāļĢāļ·āļāđāļĄāđ
āļāļ§āļēāļĄāđāļāļĢāļāļĢāļ§āļāļŠāļđāļāļāļ°āđāļŠāļāļāđāļāđāļāļāđāļāļāļ§āđāļēāļāļāļāļēāļāđāļŦāļāđāļĢāļ°āļŦāļ§āđāļēāļāļāļĢāļ°āļŠāļīāļāļāļīāļ āļēāļāļāļēāļĢāļāļķāļāļāļĩāđāļĒāļāļāđāļĒāļĩāđāļĒāļĄāđāļĨāļ°āļāļĨāļāļēāļĢāļāļāļŠāļāļāļāļĩāđāđāļĄāđāļāļĩ - āđāļāļāļāļģāļĨāļāļāļāļ°āļāļāļāļģāļāđāļāļĄāļđāļĨāļāļēāļĢāļāļķāļ
In the classic account, greater flexibility can reduce bias while increasing sensitivity to the sample. The guide also describes double descent, so this is not a universal monotonic law.
The supplied bias term is already squared. Add the three components: 2 + 3 + 1 = 6.
The guide describes averaging high-variance, de-correlated trees as a way to reduce ensemble variance.
āđāļĢāļĩāļĒāļāļĢāļđāđāļāđāļāđāļ
āļāļģāđāļāļ°āļāļģāđāļāļīāđāļĄāđāļāļīāļĄāļāļĩāđāđāļĨāļ·āļāļāļŠāļģāļŦāļĢāļąāļāļŦāļąāļ§āļāđāļāļāļĩāđ
āļāđāļāđāļāļāļģāđāļāļ°āļāļģāļāđāļāđāļ
The Explainability vs Accuracy Tradeoff
āļāļ§āļēāļĄāļĢāļđāđāļāļ·āđāļāļāļēāļ