¡Eso es indignante!

That's Outrageous! se formó a finales del invierno de 2010 por Tom DeGrazia, Max Wrye, Doriano Magliano, Joe Jensen y Greg Adams. ^{[ 5 ]} La banda firmó con Rise Records el 24 de marzo de 2011 y anunció que su álbum debut sería producido por Cameron Mizell . Lanzaron su primer sencillo, #Winning , el mismo día. ^{[ 6 ]}

El 27 de marzo de 2011, la banda publicó un video en vivo del vocalista Doriano Magliano trabajando con el vocalista de Of Mice & Men, Austin Carlile, en una canción para el próximo álbum de la banda. ^{[ 7 ]} Más tarde ese día, se anunció que la banda formaría parte de la primera gira anual de Rise Records , junto con Memphis May Fire , Decoder y Ten After Two. ^{[ 8 ]} El guitarrista David Newton fue reclutado antes de que la banda partiera para la gira el 7 de mayo de 2011. Poco después de que comenzara la gira, la banda anunció que se habían separado de DeGrazia. ^{[ 9 ]}

El tema principal de su próximo álbum, Teenage Scream , se lanzó el 14 de mayo de 2011. [ ^{10 ] El} álbum completo se lanzó el 19 de julio de 2011 a través de Rise Records . ^{[ 3 ]}

La banda lanzó un EP compartido de 7 pulgadas con The Ready Set el 16 de agosto. El vinilo blanco tuvo una edición limitada de 1000 copias. ^{[ 11 ]} Tras el lanzamiento del EP, se anunció que el guitarrista David Newton había sido expulsado de la banda. ^{[ 12 ]}

En septiembre de 2011, la banda anunció a Christopher Stewart (anteriormente de Sweatshirt Weather) como su nuevo vocalista y a Randy Burnham como su nuevo guitarrista. ^{[ 13 ]} En otoño de 2011, acompañaron a Of Mice & Men en el Monster Energy Outbreak Tour junto con I See Stars , Iwrestledabearonce , For the Fallen Dreams y Abandon All Ships . La gira comenzó en San Francisco, California, el 26 de octubre y recorrió Norteamérica, finalizando en Pittsburgh, Pensilvania , el 29 de noviembre, con la mayoría de los conciertos con entradas agotadas. Stewart sustituyó a Shayley Bourget en las voces limpias de Of Mice & Men a mitad de la gira tras su salida. ^{[ 14 ] [ 15 ]}

La banda salió de gira con My Ticket Home y Casino Madrid en enero y febrero de 2012 como parte de la gira "A New Breed". ^{[ 16 ]}

El 8 de marzo de 2012, Magliano anunció que sería el vocalista de la banda de metalcore Woe, Is Me, con sede en Atlanta , en la próxima gira Fire & Ice Tour junto con We Came As Romans , blessthefall y Emmure . ^{[ 17 ]}

El 16 de abril de 2012, se anunció que Magliano, Stewart y Wrye habían dejado That's Outrageous!. Poco después, Magliano se unió oficialmente a Woe, Is Me y Wrye comenzó a tocar la batería en la banda en vivo de Alex Goot . ^{[ 18 ] [ 19 ]}

El 17 de mayo de 2012, los miembros restantes anunciaron que el ex vocalista Tom DeGrazia se había reincorporado a la banda. Lanzaron una nueva canción, "Obliviate", con DeGrazia como vocalista. ^{[ 20 ]} Poco después, el guitarrista Joe Jensen, el guitarrista Randy Burnham y el bajista Greg Adams dejaron la banda, dejando a DeGrazia como el único miembro restante. ^{[ 21 ]} DeGrazia reclutó a John Easterly, Mike Ehmann, Kyle Hulett, Zach DeGaetano y Jonah Teylas como reemplazos.

El 14 de junio de 2012, la banda anunció que había firmado con InVogue Records para el lanzamiento de su segundo álbum de larga duración. ^{[ 22 ]} El álbum, Psycho , fue lanzado el 16 de octubre de 2012. ^{[ 23 ]}

El 14 de noviembre de 2012, la versión de la banda de la canción "This Time Next Year" apareció como la cuarta pista del álbum recopilatorio " A Tribute To the Movielife". ^{[ 24 ]} Esta pista contó con la participación de los ex vocalistas Stewart y Magliano. ^{[ 25 ]}

El 2 de enero de 2013, la banda lanzó una versión acústica de "How Long Is Too Long" de The Get Up Kids como parte del álbum recopilatorio "A Tribute To The Get Up Kids" de Pacific Ridge Records. ^{[ 26 ]}

El 27 de julio de 2013, el bajista Kyle Hulett anunció que había dejado la banda. ^{[ 27 ]}

El 27 de agosto de 2013, la banda lanzó un nuevo sencillo, "Overwhelmed". ^{[ 28 ]}

A partir del 11 de julio de 2014, su página de Facebook pasó a llamarse The New Violence.