解:原方程组化为9a^2+16b^2=a^2b^2①和a^2=25+b^2②,
把②代入①得:9(25+b^2)+16b^2=b^2(25+b^2)即b^4=225.解得b^2=15.∴b=±√15
进而解得a=±2√10 .∴a=2√10,b=√15;或a=-2√10,b=-√15;
或a= 2√10,b=-√15; 或a=-2√10 , b=√15 。
由a²-b²=25得,a²=b²+25
代入16/a²+9/b²=1得,16b²+9(b²+25)=b²(b²+25)
即:16b²+9b²+225=b^4+25b²,∴b^4=225
∴b²=15
∴a²=b²+25=15+25=40