Родился в г. Елиcаветграде, Херсонской губернии. Учился в Херсонском духовном училище, затем в Екатеринославской и Одесской духовных семинариях. В 1841 году продолжил образование в Санкт-Петербургской духовной академии. В 1845 году окончил академию со степенью магистра и был оставлен при академии для преподавания греческого языка.
В 1846 году получил назначение в Христорождественскую церковь при российской миссии в Неаполе. Там же был посвящен в сан священника. В 1859 г. последовало новое назначение – в Князь-Владимирскую церковь при российском посольстве в Берлине, с возложением на него обязанности священнослужителя в Александро-Невской церкви в Потсдаме. Состоя настоятелем в Неаполе и Берлине, неоднократно совершал богослужения в присутствии Высочайших Особ. Преподавал Закон Божий великой княжне Ольге Константиновне и великим князьям Константину и Дмитрию Константиновичу. О. Тарасия посещали многие известные деятели российской культуры, в т.ч. Гоголь.
В 1846 году перед отъездом Тарасия Серединского в Неаполь на него был возложен золотой наперсный крест. В 1854 году награжден – скуфьёю, в 1857 – камилавкою, в 1860 – орденом Анны 3 ст., в 1861 г. был возведён в сан протоиерея, в 1866 г. – награжден орденом Анны 2 ст., в 1867 году, в присутствии императора Александра II, ему был пожалован золотой наперсный крест, в 1870 г. – награжден орденом св. Владимира 4 ст., в 1874 – палицею; в 1877 – орденом св. Владимира 3 ст. Кроме того имел иностранные ордена: Прусский королевский орден короны 4 кл. и 3 кл. и Мекленбург-Шверинский кавалерский крест ордена Вендской короны.
В 1896 году было отмечено 50-летие служения о. Тарасия.
Проживая в Неаполе и Берлине, о. Тарасий занимался литературными богословскими трудами, в чем ему помогало хорошее знание иностранных языков: древнееврейского, греческого (древнего и нового), латинского, немецкого, французского и итальянского. Следил за католической и протестантской богословской литературой. Свои труды о. Тарасий публиковал в различных духовных журналах, в т.ч. в Рижских епархиальных ведомостях.
С 1886 года о. Тарасий Серединский жил в Риге, где полностью отдался литературно-богословской деятельности.
Скончался прот. Тарасий Серединский в светлую седмицу 1897 года. 19 апреля было совершено его погребение на Покровском кладбище в Риге. Отпевание совершил Высокопреосвященнейший Арсений с многочисленным сонмом священнослужителей г. Риги.
В семье о. Тарасия было пятеро детей: Евгения, Степан, Григорий, Анна и Михаил.
Потомки отца Тарасия по сей день проживают в Риге.
