Octave -- бесплатный аналог MathLab: строка интерпретатора + возможность писать свои функции
Огромный набор математических функций. Матрица -- базовый тип данных. Обширные библиотеки (работы с изображениями, звуком, FFT). Не понравился: по ощущениям работает медленнее Python. Несмотря на большую документацию (на сотни страниц) бывает очень непросто найти нужное. В целом есть какое-то ощущение "сырости" (хотя всё познаётся в сравнении, другие альтернативы я так пристально не рассматривал).