Родился 23 февраля 1944 года в Казахстане, куда были высланы родители. Со временем семья переехала
в Саратов.

В 1965-ом окончил Саратовское театральное училище
и стал актёром местного драмтеатра. В 1973 году Янковского пригласили в московский театр имени Ленинского комсомола («Ленком»). Здесь сыграл немало ярких ролей в спектаклях — «Автоград XXI», «В списках
не значился», «Синие кони на красной траве», «Парень
из нашего города», «Гамлет» (постановка Г. Панфилова), «Школа для эмигрантов», «Чайка», «Варвар и еретик», «Шут Балакирев», «Tout paye, или Всё оплачено», «Женитьба».

В начале 90-х Янковский несколько месяцев с успехом играл во Франции, в пьесе «Падение».

Огромную популярность Янковскому принес кинематограф. Дебют — небольшая роль в фильме «Звонят, откройте дверь!». Первая большая работа в кино — Генрих Шварцкопф в картине «Щит и меч». В том же, 1968 г. сыграл красноармейца Некрасова в ленте «Служили два товарища». Эти работы мгновенно сделали актёра знаменитым. Удивительный талант артиста был востребован самыми разными режиссёрами. Снимался у Андрея Тарковского — в «Зеркале» и «Ностальгии». У Марка Захарова — «Обыкновенное чудо», «Тот самый Мюнхгаузен», «Дом, который построил Свифт», «Убить Дракона». Среди фильмов с его участием — «Звезда пленительного счастья», «Сладкая женщина», «Мой ласковый и нежный зверь», «Цареубийца», «Влюблен
по собственному желанию», «Крейцерова соната», «Полеты
во сне и наяву», «Храни меня, мой талисман», «Любовник», «Бедный, бедный Павел», «Доктор Живаго», «Анна Каренина», «Стиляги».

В 2000 г. Янковский снял свой первый фильм «Приходи
на меня посмотреть», сыграл одну из главных ролей.

Янковский — обладатель множества премий и призов.

В последний раз Олег Иванович выходил на сцену «Ленкома» в феврале 2009-го в спектакле «Женитьба».