Sim, isso mesmo. Inclua <math.h> só para ter o valor de M_PI, mas não use nenhuma função dessa biblioteca. É confuso, eu sei... Acontece que se você não chamar nenhuma função você não estará realmente usando a biblioteca. Nenhum código da biblioteca será agregado ("ligado") ao seu programa.
O #define para M_PI não traz código da biblioteca, pois ele é resolvido por substituição textual.
Fórum