In den Jahren 1710, 1804 und 1875 suchten Großbrände die Stadt heim, und mehrere Hochwasser des Eerste River richteten große Schäden an. Diese Rückschläge und die Ausweitung der Kapkolonie nach Osten und Norden sowie der zunehmende Einfluss der Briten veranlassten viele Siedler, letztendlich im Zuge des „Großen Trecks“ die Stadt zu verlassen, so dass deren Bedeutung im 19. Jahrhundert mehr und mehr zurückging. Lediglich die Gründung der Universität im Jahre 1918 gab der Stadt einen Teil ihrer früheren Bedeutung zurück.