Яак Липсо начал играть в баскетбол в 1956 году за тартуский "Калев". Годом позже стал бронзовым призером чемпионата СССР среди юношей.

В 1960-м был призван в армию и попал в рижский СКА, который тренировал Александр Гомельский. Там завоевал свою первую медаль взрослого чемпионата СССР - бронзовую. С 1962 по 1969 год играл за московский ЦСКА.

В составе ЦСКА дважды выиграл Кубок европейских чемпионов (нынешняя Евролига) в 1963 и 1969 годах, а также шесть чемпионских титулов в СССР (1962-1966, 1969).

Затем выступал за таллиннский "Калев" (1969-1981).

С 1961 по 1970 входил в сборную СССР, выиграл в ее составе серебро на Олимпиаде-1964 в Токио и бронзу на Олимпиаде-1968 в Мехико.

В 1968-м в составе сборной СССР стал чемпионом мира, трижды выигрывал чемпионат Европы (1963, 1965, 1967).

В 1971 году сыграл роль следователя рижской милиции Яниса Круминя в фильме режиссёра Георгия Калатозишвили "Я, следователь" по сценарию Аркадия и Георгия Вайнеров.

После завершения игровой карьеры работал тренером в таллиннских клубах "Строитель" (Ehitaja) и "Калев". С 1989 по 1994 год был директором спортивного холла "Калев" в Таллинне. 

В 2001 году Липсо был награжден орденом Красного креста IV степени. В 2010-м вошел в Зал славы эстонского баскетбола.