Szombathelyen született, ott érettségizett a Faludi Ferenc Gimnáziumban, abban az épületben, amelyben élete második felében tanított. 1944-ben Eötvös-kollégistaként szerzett magyar-német szakos tanári oklevelet, vele doktori címet a XVII. századi szombathelyi németségről írott disszertációjával. Középiskolai tanári pályáját a fasori Evangélikus Gimnáziumban kezdte. A Szombathelyi Gépipari Technikumból került 1955-ben Vas Megye Tanácsa Művelődési Osztályára, a zenei-zeneiskolai és múzeumi ügyek főelőadójaként. 1963-tól tanított az akkori Szombathelyi Tanítóképző Intézet népművelő-könyvtáros szakán, a művelődéstörténet-művelődéspolitika és a népművelési gyakorlatok tanára volt. 1973-ig a könyvtáros szakcsoportot vezette, majd nyugdíjba vonulásáig, 1984-ig a Közművelődési Tanszék docense. De ennél sokkal több volt, ahogyan Dr. Tóth Gyula tanárkollégája írja róla nekrológjában: „Kiss Gyulát mindig a kettős attitűd jellemezte. Nem túlzás: mindvégig a József Attila-i szellemben egész népét kívánta tanítani, nem középiskolás fokon.”.
Főiskolai tanárként több ezer diák lelkébe plántálta bele a népi kultúra szeretetét. Nemcsak a katedrán volt pedagógus, hanem az életben is, tanulmányi kirándulások sorát vezette az ország minden vidékére, benne Kőszeg-hegyaljára, az Őrségbe és a szívéhez közel álló szatmári tájra Vajától Nyírbátoron, Tákoson, Szatmárcsekén át Tiszacsécséig. Munkája igazi céljának és értelmének azt tartotta, hogy a tudás mellé tanítványai számára egész életre szóló élményeket nyújtson. Ezt maradéktalanul sikerült is elérnie. Akik ismertük, emlékezni fogunk rá életünk végéig. Tanítványai a magyar közművelődés elhivatott szolgálói lettek: művelődési intézmények dolgozói és vezetői, tanárok az általános iskolától az egyetemig.
Szelleme nemcsak a tanítványaiban él tovább, hanem a magyar tudományosságban is, szűkebb pátriájában, Vas megyében és az egész országban. Múlhatatlan érdeme a Vasi Szemle újraélesztése 1958-ban, a folyóirat akkori első szerkesztője volt. Cikkek sorát írta kedves témáiról, Pável Ágostonról, a honismeret és műemlékvédelem részkérdéseiről. Ezeknek a témáknak a koronája a C. Harrach Erzsébettel közösen alkotott hatalmas monográfia, az 569 oldalas Vasi műemlékek c. könyv. Főiskolai tanárként szerkesztője volt az 1972-ben megjelent A vezetékes televízió alkalmazása a pedagógusképzésben c. kötetnek, társszerzője a tanárképző főiskolák Művelődéstörténet I. c. tankönyvének.
Dr. Kiss Gyula nagy mértékben járult hozzá ahhoz, hogy a hajdani Tanítóképző Intézetből másfél évtized alatt a Berzsenyi Dániel Tanárképző Főiskola lehetett, s mára az ELTE részeként egyetemi rangra emelkedett. Személyét nemcsak az őt ismerők emlékezete őrzi, hanem az intézményben állított emléktábla, és azok a sorok, amelyek A szárnyas idő c. könyvben olvashatók róla. Hűséges tanítványai az ő nevét viselő egyesületet alapítottak, ma baráti társaságként működik.