Й. А. Кох родился в семье тирольского торговца. В детстве был пастушонком. При поддержке епископа Аугсбурга вначале был принят в диллингерскую семинарию, а затем учился живописи в Штутгарте, в Карловской школе. Он покидает школу и отправляется в Страсбург, а затем — в Швейцарию. За исключением пребывания в Вене в 1812—1815 годах, Й. А. Кох, начиная с 1795 года постоянно живёт в Риме. Особенно часто рисовал он Альбанские горы и местность близ Олевано. В своих работах художник соединил принципы пейзажа Пуссена с непосредственными своими наблюдениями за природой, запечатлёнными в многочисленных рисунках и акварелях.
С 1795 работал в Риме, где жил безвыездно, за исключением поездки в Вену (1795—1812). Обучался у А. Я. Карстенса. Под его влиянием сначала увлекся рисунком, гравюрой; с 1803 стал работать в живописи. Сблизился в Риме с кругом северных мастеров (Б. Торвальдсеном, назарейцами), находился под влиянием эстетических идей А. В. и Ф. Шлегелей, Ф. Шиллера; принимал участие в дискуссиях художников в кафе "Греко" в Риме. Много рисовал в Риме и его окрестностях (Олевано, Субиано, Тиволи) совместно с художниками-назарейцами — в росписях казино Массимо в парке виллы князя К. Массимо в Риме. Рисунки Коха Вид от Олевано с пастухом и автопортретом (ок. 1823, Копенгаген, Музей Торвальдсена), Вид от сада монастыря Сан Исидоро в Риме (Штутгарт, Гос. художественная галерея), акварель Аполлон с пастухами в горном пейзаже (1792, Берлин, Гос. музеи) правдиво передают бескрайние просторы итальянских пейзажных ландшафтов. Как и в рисунках назарейцев, изображение сцен из современной жизни или мифологического стаффажа придают им то удивительную реалистическую конкретность, то характер идеального героического пейзажа. Переплетение "языческого" и "христианского" в культуре Рима, волновавшее художников нач. XIX столетия, когда на смену идеалам неоклассицизма приходили новые романтические воззрения на мир природы и человека, тонко передано в живописных пейзажах И. А. Коха. В свои полотна Кох вводит библейский и мифологический стаффаж, "языческое" и "христианское" звучат в его произведениях как антитеза, как два пласта истории человечества. Полотна Пейзаж с радугой (1815, Мюнхен, Новая пинакотека), Грозовой пейзаж с двумя всадниками (1800, Киль, Художественный музей) передают величие природного универсума, подобно произведениям Пуссена и Лоррена, но одновременно в них выражены сентиментальные переживания художника XIX в., претворяющего эти конкретные виды в духе классицизма Шиллера. Мир пейзажей И. А. Коха созвучен идиллической поэзии швейцарского поэта С. Гесснера, произведения которого были популярны на рубеже XVIII—XIX вв. Рисунок Коха Аркадийский пейзаж с пастухом и девушкой у ручья (1792, Штутгарт, Гор. графическое собрание) поэтично воссоздает мир счастливой античной Аркадии, эллинское чувство природы и наслаждения жизнью. И все же мир христианский вызывал у Коха, как у художника переходной эпохи рубежа веков, неменьший интерес. Поэтому он любил посещать парк виллы Негрони-Перетти, где зарисовывал раннехристианскую базилику Санта Мария Маджоре, построенную папой Либерием в 352, впоследствии перестроенную и ставшую крупнейшей христианской базиликой Рима.
Увлечение рисунком и гравюрой И. А. Кох пронес через всю жизнь. Исполненные четкой контурной линией в манере графики рубежа веков его рисунки высоко ценили современники. Широкую известность приобрели рисунки Коха к Песням Оссиана (1796—1797), серия гравюр Аргонавты (1797—1798), исполненная по рисункам А. Я. Карстенса, серия гравюр Виды Рима (1810—1811; 1830—1832, Эссен, Музей Фолькванг). Художник вошел в историю искусства как видный мастер искусства "около 1800 года".