Beim A/B-Test wird im Gegensatz zum multivariaten Test nur eine Variable verändert und auf ihre Wirksamkeit hin getestet. Damit ein A/B-Test effektiv ist und die Ergebnisse Validität erreichen, muss eine ausreichende Trennschärfe gegeben sein. Insbesondere ist somit beim Design des Tests zu beachten, dass die Größe der Stichproben hinreichend gewählt ist, dass der (gewünschte) minimal detektierbare Effekt auch zuverlässig detektiert werden kann.