Gọi $S$ là tập hợp tất cả các giá trị thực của tham số $m$ để đồ thị của hàm số $y=\frac{1}{3}x^3-mx^2+(m^2-1)x$ có hai điểm cực trị là $A$ và $B$ sao cho $A$, $B$ nằm khác phía và cách đều đường thẳng $y=5x-9$. Tính tổng tất cả các phần tử của $S$.
A. $0$ B. $6$ C. $-6$ D. $3$