Ratkaisin ongelmani näin:
#luodaan reitti 10.0.0.1 gw osoitteelle niille paketeille jotka on merkitty merkillä 101, 10.0.0.1 on eth0 yhteyden normaali gw
ip route add default via 10.0.0.1 table 101
#luodaan reitti sisäverkon liikenteelle
ip route add 10.0.0.0/24 dev eth0 table 101
#merkitään kaikki paketin joissa on lähtöosoite 10.0.0.5 taulun 101 sääntöjen mukaan.
ip rule add from 10.0.0.5 table 101
Nyt kaikki liikenne joka tulee sisään ei vpn yhteyden ip:llä saa myös lähteä samaa reittiä ulos. Nämä asetukset eivät pysy boottien jälkeen joten se piti lisätä jonnekkin, itse tungin sen /etc/rc.local