Serverin asiakkaitten liikenteen rajoittaminen 100k sekuntti !!

[HannuTapio]

Hello!

Tarkoituksena testata Apache palvelinta, Apachen tarkoitus on välittää .JAR ja .PHP tiedostoja,

Yksi asiakas -> linjan käyttö yhdellä max 25k.
Kaikki asiakkaat -> linjan käyttö yhteensä max 100k.

Siinä säännöt, kuinka toteutan ?? Riittääkö Apache vai tarvitaanko järeämpää ohjelmistoa ??

Onko oikea ratkaisu rajoittaa port :80 nopeus 100k ja sitten yksittäisen clientin 25k ja siinä se ?? Mutta en osaa kuinka !!

//----

Kiitos,,

[nm]

Eipä taida olla mitään ihan helppoa ratkaisua, eikä ainakaan suomenkielisiä ohjeita. Tässä kuitenkin pari linkkiä, joista voi lähteä liikkeelle:

http://www.mastershaper.org/index.php/MasterShaper

Linuxissa on tehokkaat matalan tason työkalut asian toteuttamiseen (netfilter & tc), mutta niiden käyttäminen suoraan vaatii hyvin paljon perehtymistä. MasterShaper tarjoaa hieman helpomman käyttöliittymän näihin ohjelmiin.

http://mod-qos.sourceforge.net/

Asiakaskohtaista rajoittamista varten taidat tarvita jonkin QoS-moduulin Apacheen. Mod-qos näyttäisi sopivalta ja riittävän monipuoliselta, mutta asentaminen saattaa tökätä jo moduulin kääntämiseen, konfiguroinnista puhumattakaan.

[HannuTapio]

Hello!

Vielä tässä ihmettelen, minä muistaisin joskus aikaisemmin kysyneeni samasta asiasta, eli
tästä portin liikenteen rajoittamisesta 100k sekuntti, silloin minulle tarjottiin jotakin Apache/moduulia
mutta en muista mitä.

Toisena kysymyksenä, kun sitten onnistun rajoittamaan tämän portti :80 liikenteen 100k sekuntti
niin onko sittenkään välttämätöntä rajoittaa asiakkaitten liikennettä ??
Kun nyt tarkemmin ajattelen, niin, se ei tunnu loogiselta että rajoittaa asiakkaat 25k, jospa antaa
asiakkaitten vain hurahdella, niin nopeasti kuin kaikki vaan pystyvät tuossa 100k portissa.

Oli jokin Apache moduli tuohon portti :80 rajoittamiseen, mutta mikähän se nyt olikaan ??
Se ei ollut tuo yllä tarjottu Qos-Moduuli.

Vielä hieman jos joku jo serveriä säädellyt osaisi neuvoa ??

//----

Kiitos,,

[nm]

Vielä tässä ihmettelen, minä muistaisin joskus aikaisemmin kysyneeni samasta asiasta, eli
tästä portin liikenteen rajoittamisesta 100k sekuntti, silloin minulle tarjottiin jotakin Apache/moduulia
mutta en muista mitä.

Olisiko sitten mod_cband? Muitakin (vanhempia ja vähemmän vakuuttavia) virityksiä kyllä löytyy hakemalla.

Toisena kysymyksenä, kun sitten onnistun rajoittamaan tämän portti :80 liikenteen 100k sekuntti
niin onko sittenkään välttämätöntä rajoittaa asiakkaitten liikennettä ??
Kun nyt tarkemmin ajattelen, niin, se ei tunnu loogiselta että rajoittaa asiakkaat 25k, jospa antaa
asiakkaitten vain hurahdella, niin nopeasti kuin kaikki vaan pystyvät tuossa 100k portissa.

No siinä mielessä on järkevää, että tiukemmilla rajoitteilla saatat välttää triviaalit palvelunestohyökkäykset. Mutta tosiaan pienimuotoisessa harrastetoiminnassa ei ainakaan aluksi kannata murehtia liikaa.

[HannuTapio]

Hmmh!

Tästä linkistä löytyi ohje jota yritän noudattaa, minulla ei ole aikaisempaa kokemusta Apache moduleista !!

http://www.howtoforge.com/mod_cband_apache2_bandwidth_quota_throttling

Tämä virhe ilmoitus lyö ruutuun ??

Koodia: [Valitse]

jtapio-desktop mod-cband-0.9.7.4 # make install
apxs2 -Wc,-Wall -Wc,-DDST_CLASS=3 -i -a -n cband src/mod_cband.la
/usr/share/apache2/build/instdso.sh SH_LIBTOOL='/usr/share/apr-1.0/build/libtool' src/mod_cband.la /usr/lib/apache2/modules
/usr/share/apr-1.0/build/libtool --mode=install cp src/mod_cband.la /usr/lib/apache2/modules/
cp src/.libs/mod_cband.so /usr/lib/apache2/modules/mod_cband.so
cp src/.libs/mod_cband.lai /usr/lib/apache2/modules/mod_cband.la
PATH="$PATH:/sbin" ldconfig -n /usr/lib/apache2/modules
----------------------------------------------------------------------
Libraries have been installed in:
   /usr/lib/apache2/modules

If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
   - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
     during execution
   - add LIBDIR to the `LD_RUN_PATH' environment variable
     during linking
   - use the `-Wl,--rpath -Wl,LIBDIR' linker flag
   - have your system administrator add LIBDIR to `/etc/ld.so.conf'

See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
----------------------------------------------------------------------
chmod 644 /usr/lib/apache2/modules/mod_cband.so
apxs:Error: Activation failed for custom /etc/apache2/httpd.conf file..
apxs:Error: At least one `LoadModule' directive already has to exist..
make: *** [install] Virhe 1
jtapio-desktop mod-cband-0.9.7.4 #

( Taas Edit. )
Minulla on yhä tuo ylläoleva virheilmoitus olemassa, en sitten tiedä vaikuttaako se mihinkään.
Minulla on nyt kuitenkin luettuna nuo 3 ohje sivua tuossa yläosan linkistä.
Laitanko minä nuo <VIRTUALHOST></VIRTUALHOST> väliset tekstit, niin tuonne "/etc/apache2/apache2.conf" tiedostoon ??

Koodia: [Valitse]

CBandScoreFlushPeriod 1
CBandRandomPulse On

<VirtualHost *.80>
  ServerName ********
  ServerAdmin ********
  DocumentRoot /var/www
  CBandLimit 1K
  CBandExceededSpeed 50 25 100
  CBandScoreboard /var/www/scoreboard
  CBandPeriod 4W

  <Location /cband-status>
    SetHandler cband-status
  </Location>
  <Location /cband-status-me>
    SetHandler cband-status-me
  </Location>
</VirtualHost>

Tuo teksti on minun apache2.conf tiedostossani "/etc/apache2" hakemistossa, kun minä nyt yritän ladata apachesta 15M t.zip tiedostoani,
niin, tiedosto latautuu 7.5k sekunnissa, eli jokin tässä nyt on pielessä.

//----

Kiitos,,

[mrl586]

Laitanko minä nuo <VIRTUALHOST></VIRTUALHOST> väliset tekstit, niin tuonne "/etc/apache2/apache2.conf" tiedostoon ??

Koodia: [Valitse]

<VirtualHost 1.2.3.4>
  ServerName www.example.com
  ServerAdmin webmaster@example.com
  DocumentRoot /var/www
  CBandLimit 1K
  CBandExceededSpeed 50 25 100
  CBandScoreboard /var/www/scoreboard
  CBandPeriod 4W
</VirtualHost>

Voi nuo tiedot tuohonkin tiedostoon lisätä, mutta parempi paikka niille on /etc/apache2/sites-available/ -hakemisto.

[HannuTapio]

öh!

Alla on tämän hetkinen koodini,
Olen ymmärtänyt että koodi rajoittaa IP 88.192.212.114 vauhdin 100K/sec 50Kutsua/sec 255asiakasta.
Yhden asiakkaan max vauhti 20K yhdellä asiakkaalla 3kutsua/sec ja 3avointa.

Laitan uusimman teeworlds pelin hakemistoon http://88.192.212.114 -> file tworld.tar.gz
Tässä vielä statukset http://88.192.212.114/cband-status
ja vielä http://88.192.212.114/cband-status-me
Voitte kokeilla toimiiko huomiseen sunnuntai 22.11 asti.
Alla siis koodi, ainakin minulla jotain rajoitinta on mutta vauhti on alle 20k / sec ja heittelee koko ajan.
Eli ihan helpolla tässä ei taideta päästä.

Koodia: [Valitse]

<VirtualHost *.80>
  ServerName ********
  ServerAdmin ********
  DocumentRoot /var/www
  CBandSpeed 100 50 255
  CBandRemoteSpeed 20 3 3
  CBandScoreboard /var/www/scoreboard
  CBandPeriod 1D

  <Location /cband-status>
    SetHandler cband-status
  </Location>
  <Location /cband-status-me>
    SetHandler cband-status-me
  </Location>
</VirtualHost>

( edit. )
Minulla cband-status näyttää että tavaraa siirtyy 20k/sec mutta firefox näyttää 2.5k/sec, missä on loput bytet ??

Lisänä ihmetystä herättää tämä "CBandRemoteSpeed 20 3 3" siinä on yhden asiakkaan oikeudet käyttää serverin palveluita,
tarkemmin kun ajattelee niin kuinka tuo määritelmä toimii tilanteessa jossa yhden IPn takaa tulee monen eri henkilön palvelu
pyyntöjä, esim koulun/työn/kodin verkosta, NAT on esimerkiksi, ymmärtääkseni aina yhden IPn takana, vaikka monta konetta
linkattuna.

//----

Kiitos,,

[nm]

Minulla cband-status näyttää että tavaraa siirtyy 20k/sec mutta firefox näyttää 2.5k/sec, missä on loput bytet ??

mod_cband:n vakioyksikkö on kbps (eli kilobittiä/s, tosin näemmä cbandin käyttämä kilo on 1024, toisin kuin normaalisti kaistanopeuksissa). Jos haluat nopeudeksi 20 kB/s, muunna se kilobiteiksi (8*20 kB/s = 160 kbps) tai käytä yksikköä "kb/s".

Siis joko:

Koodia: [Valitse]

CBandSpeed 100kb/s 50 255
CBandRemoteSpeed 20kb/s 3 3
tai:

Koodia: [Valitse]

CBandSpeed 800 50 255
CBandRemoteSpeed 160 3 3
Yksiköt esitellään heti cbandin dokumentaation alussa.

Lisänä ihmetystä herättää tämä "CBandRemoteSpeed 20 3 3" siinä on yhden asiakkaan oikeudet käyttää serverin palveluita,
tarkemmin kun ajattelee niin kuinka tuo määritelmä toimii tilanteessa jossa yhden IPn takaa tulee monen eri henkilön palvelu
pyyntöjä, esim koulun/työn/kodin verkosta, NAT on esimerkiksi, ymmärtääkseni aina yhden IPn takana, vaikka monta konetta
linkattuna.

Tuo rajoittaa yhtä asiakasohjelmaa (porttia NAT-purkissa), eli NAT:n takana olevat käyttäjät eivät häiritse toisiaan. Tässä asetuksessa on tosin se heikkous, että pahantahtoinen käyttäjä voi estää muita käyttämästä palvelintasi (Denial of Service) lataamalla tiedostoja 255:llä eri ohjelmalla, ja riittää että hänellä on käytössään yksi kone. Tällaisia hyökkäyksiä on kuitenkin hyvin vaikea torjua etukäteen millään asetuksilla, jos vastapuoli osaa asiansa.

[HannuTapio]

Minulla cband-status näyttää että tavaraa siirtyy 20k/sec mutta firefox näyttää 2.5k/sec, missä on loput bytet ??

mod_cband:n vakioyksikkö on kbps (eli kilobittiä/s, tosin näemmä cbandin käyttämä kilo on 1024, toisin kuin normaalisti kaistanopeuksissa). Jos haluat nopeudeksi 20 kB/s, muunna se kilobiteiksi (8*20 kB/s = 160 kbps) tai käytä yksikköä "kb/s".

Siis joko:

Koodia: [Valitse]

CBandSpeed 100kb/s 50 255
CBandRemoteSpeed 20kb/s 3 3
tai:

Koodia: [Valitse]

CBandSpeed 800 50 255
CBandRemoteSpeed 160 3 3
Yksiköt esitellään heti cbandin dokumentaation alussa.

Ok!

Tuo bitti <-> byte oli minun osaltani väärin luettuna, olinkin jo aamulla herätessäni itsekkin ymmärtänyt että näinhän tuo
ongelma varmaankin ratkeaa, kunhan lasken tuon kertoimen 8 lukuihin lisäksi, kiitosta vaan kuitenkin.

Enää yksi ihmettelyn aihe serverini osalta, tämä, kun nyt onnistuneesti siirrän "tworlds.tar.gz" tiedostoa serveristäni, niin,
vaikka minulla on määriteltynä 3 open konnektiota / asiakas, niin, firefox ei lataa kuin yhtä "tworlds.tar.gz" tiedostoa kerrallaansa,
onko tämä firefox issue vaiko onko minun apacheni yhä väärin konffattuna ??

----

Tuo rajoittaa yhtä asiakasohjelmaa (porttia NAT-purkissa), eli NAT:n takana olevat käyttäjät eivät häiritse toisiaan. Tässä asetuksessa on tosin se heikkous, että pahantahtoinen käyttäjä voi estää muita käyttämästä palvelintasi (Denial of Service) lataamalla tiedostoja 255:llä eri ohjelmalla, ja riittää että hänellä on käytössään yksi kone. Tällaisia hyökkäyksiä on kuitenkin hyvin vaikea torjua etukäteen millään asetuksilla, jos vastapuoli osaa asiansa.

Minulla on nyt tämä "CBandRemoteSpeed 160 3 3" määrittelemässä asiakkaitten oikeuksia, se määrittelee yhden asiakkaan avoimet konnektionit maximi kolmeen, eli
ei varmaankaan ole mahdollista tukkia koko serveriä (255) yhdellä tietokoneella ?? Ainakin toivon näin ??

//----

Kiitos,,

[nm]

Enää yksi ihmettelyn aihe serverini osalta, tämä, kun nyt onnistuneesti siirrän "tworlds.tar.gz" tiedostoa serveristäni, niin,
vaikka minulla on määriteltynä 3 open konnektiota / asiakas, niin, firefox ei lataa kuin yhtä "tworlds.tar.gz" tiedostoa kerrallaansa,
onko tämä firefox issue vaiko onko minun apacheni yhä väärin konffattuna ??

Firefox voi hyvinkin pitää useita yhteyksiä auki, jos avaat sillä sivun tai hakemiston ja valitset sieltä ladattavan tiedoston.

Minulla on nyt tämä "CBandRemoteSpeed 160 3 3" määrittelemässä asiakkaitten oikeuksia, se määrittelee yhden asiakkaan avoimet konnektionit maximi kolmeen, eli
ei varmaankaan ole mahdollista tukkia koko serveriä (255) yhdellä tietokoneella ?? Ainakin toivon näin ??

Palvelimesi ei ole verkossa, joten en nyt pääse kokeilemaan, mutta testaa itse käynnistämällä useampi kuin kolme latausta vaikkapa wgetillä. Aja neljässä päätteessä: wget http://osoite/tiedosto

[HannuTapio]

Enää yksi ihmettelyn aihe serverini osalta, tämä, kun nyt onnistuneesti siirrän "tworlds.tar.gz" tiedostoa serveristäni, niin,
vaikka minulla on määriteltynä 3 open konnektiota / asiakas, niin, firefox ei lataa kuin yhtä "tworlds.tar.gz" tiedostoa kerrallaansa,
onko tämä firefox issue vaiko onko minun apacheni yhä väärin konffattuna ??

Firefox voi hyvinkin pitää useita yhteyksiä auki, jos avaat sillä sivun tai hakemiston ja valitset sieltä ladattavan tiedoston.

Minulla on nyt tämä "CBandRemoteSpeed 160 3 3" määrittelemässä asiakkaitten oikeuksia, se määrittelee yhden asiakkaan avoimet konnektionit maximi kolmeen, eli
ei varmaankaan ole mahdollista tukkia koko serveriä (255) yhdellä tietokoneella ?? Ainakin toivon näin ??

Palvelimesi ei ole verkossa, joten en nyt pääse kokeilemaan, mutta testaa itse käynnistämällä useampi kuin kolme latausta vaikkapa wgetillä. Aja neljässä päätteessä: wget http://osoite/tiedosto

Jouh!

http://jlp-001.dy.fi/  http://jlp-001.dy.fi/tworlds.tar.gz
Tuo Firefox ei kyllä minulla, niin, onnistu lataamaan kuin yhtä tiedostoa kerrallaansa, vaikka, minulla on kaksi määriteltynä oikeuksiin.
FireFox aina odottaa että ensimmäinen lataus on latautunut, ennen seuraavan aloittamista.

http://jlp-001.dy.fi/cband-status
Toinen kohta, tuo WGET avulla onnistuin lataamaan ainoastaan kahta, eli, sen kanssa homma meni kuten pitääkin, en kykene ruuhkauttamaan pyynnöillä serveriä.
Henkilökohtainen vara on säädeltynä 2 lataukseen ja kaikki yhteensä taitaa juuri nyt olla 100 kappaletta.

Eli, taisin/mme ihan muutamassa tunnissa onnistua tämän ensimmäisen Apache modulini säätelyssä, FireFoxin yksi lataus kerralla vain vähän mättää.

//----

Kiitos,,

[nm]

http://jlp-001.dy.fi/cband-status
Toinen kohta, tuo WGET avulla onnistuin lataamaan ainoastaan kahta, eli, sen kanssa homma meni kuten pitääkin, en kykene ruuhkauttamaan pyynnöillä serveriä.

Ok, eli cband rajoittaa siis IP-osoitteen perusteella, jolloin NATin takanan olevat käyttäjät häiritsevät toisiaan.

Henkilökohtainen vara on säädeltynä 2 lataukseen ja kaikki yhteensä taitaa juuri nyt olla 100 kappaletta.

Nostaisin tuon asiakaskohtaisen rajan 5-10 lataukseen NAT-ongelman vuoksi. Selaintenkin pitäisi sitten toimia paremmin.
En myöskään rajoittaisi asiakaskohtaista latausnopeutta juurikaan, koska kaista jaetaan automaattisesti tasan kaikkien asiakkaiden kesken. Siis jos palvelua käyttää vain yksi tai kaksi asiakasta samanaikaisesti, 20 kB/s rajoitus on turhan tiukka ja hidastaa lataamista, kun voit hyvin antaa 100 kB/s käyttöön.

[HannuTapio]

http://jlp-001.dy.fi/cband-status
Toinen kohta, tuo WGET avulla onnistuin lataamaan ainoastaan kahta, eli, sen kanssa homma meni kuten pitääkin, en kykene ruuhkauttamaan pyynnöillä serveriä.

Ok, eli cband rajoittaa siis IP-osoitteen perusteella, jolloin NATin takanan olevat käyttäjät häiritsevät toisiaan.

Henkilökohtainen vara on säädeltynä 2 lataukseen ja kaikki yhteensä taitaa juuri nyt olla 100 kappaletta.

Nostaisin tuon asiakaskohtaisen rajan 5-10 lataukseen NAT-ongelman vuoksi. Selaintenkin pitäisi sitten toimia paremmin.
En myöskään rajoittaisi asiakaskohtaista latausnopeutta juurikaan, koska kaista jaetaan automaattisesti tasan kaikkien asiakkaiden kesken. Siis jos palvelua käyttää vain yksi tai kaksi asiakasta samanaikaisesti, 20 kB/s rajoitus on turhan tiukka ja hidastaa lataamista, kun voit hyvin antaa 100 kB/s käyttöön.

Ok!

Kiitoksia keskustelusta, taidampa tehdä näin että poistan tuon henkilökohtaisen rajoittimen kokonaan ja annan asiakkaitten käyttää 50k-100k minun 300k linjasta
niin tehokkaasti kuin kykenevät. Tämä NAT ei saa olla ongelma esim koulut/kirjastot/työpaikat voivat olla kaikki yhden NAT IPn takana ja 2-5 linkkiä on heille liian vähän.
Poistan alkuun tuon IP rajoittimen ja laitan siis koko linjan käytön rajaksi tuon 50k-100k, täytyy vielä miettiä tarkka raja.

Tämän hetkisen suunnitelman mukaan minulla ainoastaan .class file jossa on UDP pakettien lähetykset ja socket install, niin, ainoastaan tämä alle 1.2k paketti ladataan
kotiserveristäni. Eli tasainen lataus kuorma ei parhaimmissakaan tapauksissa taida olla kovinkaan raskas, ajoittaiset piikit, jos nyt asiakkaita kertyy, ovat miettimistä
aiheuttavia.

Valmista tuotetta tässä rakennan, vaikka koti harrastus kuitenkin kyseessä

//----

Kiitos,,