Welche Internet-Hardware / DSL nutzt ihr (nicht); und HILFE!

In Sieben Linden gehen ca. 100 Menschen über eine PCEngnies APU2 (https://pcengines.ch/ sind das Techniker oder Marketing-Fritzen? GEILE Homepage und geile Produkte) ins Netz. Darauf läuft als Firewall/Router pfSense.

Dabei hängen dahinter einmal an eine 100Mbs Telekom DSL-Sache und ein 10Mbs Richtung Vertrag (Fallback).

Die Telekom 100Mbs kommen bei einer Fritzbox 7490 an (die dann Analog und ISDN Voip abzweigt) und gehen von dort in die pfSense. Die pfSense macht dabei eine gleichmäßige Verteilung auf die gerade aktiven Nutzer*.

Seit einigen Wochen bricht der Ping zwischen pfSense und Fritzbox ab und zu und vor allem Abends drastisch ein, geht von ~ 0.4ms auf 120ms hoch. Diese Latenz führt dann zu insgesamt langsamerem Internet-Gebrauch (und der Verteilungsalgorithmus hat mehr zu tun weil Pakete in den Queues altern etc pp). Außerdem springt die pfSense irgendwann auf den Richtfunk um, weil ihr die Fritzbox zu doof ist (das hab ich so eingestellt).

Meien Vermutung ist, dass die Fritzbox nicht hinterherkommt (irgendwo mal aufgeschnappt, dass die nur 4000 flows verfolgen kann, aber who knows - ist ja proprietär). Vielleicht würde sie es wenn man sie als reines DSL-Modem (und nicht Router und Wandler) nutzen würde, dann müssten wir aber die Analog und ISDN-Telefone anders versorgen.

Welche Hardware nutzt ihr , und wie? Habt ihr Erfahrung mit in die Knie gehenden Fritzboxen? Oder mit reinen DSL-Modems von anderen Herstellern?

Unser Setup hatte ich vermutlich schon mal beschrieben, seit Donnerstag (die Umstellung ging übrigens, was die Firewall angeht total in die Hose… LAN-Kabel ziehen sorgt für Absturz der Firewall, da steht Ersatz-HW an um die Ursache zu finden… :-/) hat es sich geringfügig geändert. (Soll-)Zustand ist jetzt:
3x PPPoE (LWL) via Mediaconverter direkt in die OPNsense. Dabei 2x 100MBit/20MBit gebündelt für Inet, und 1x 30Mbit/30Mbit für VoIP via SIP (eigene TK im LAN, via sipgate trunking).

@felix: Kannst du die FritzBox ersetzen oder unter Tags die Last langsam hochdrehen um zu sehen wo das Problem liegt?

Was für eine Hardware habt ihr für die Firewall? Umstellung bezieht sich auf die angeschlossenen "WAN"s?

Was meinst du mit “unter Tags”? Tagsüber? Ich bekomme die Leitung ausgereizt wenn ich will. Ich müsste mir mal so einen mehrthread-download-tester ansehen (https://flent.org/), aber ich vermute, dass solange ich gleichmäßige Verteilung auf die jeweils aktiven Nutzer* haben möchte (in der pfSense via Limiter und Queues) kann ich das szenario nicht so einfach simulieren. Wobei … grübel … mal sehen.

Öhm, irgend eine no-name 19" Server:

root@fw:~ # sysctl -a hw.machine hw.model hw.ncpu hw.physmem
hw.machine: amd64
hw.model: Intel(R) Core(TM) i5-6400 CPU @ 2.70GHz
hw.ncpu: 4
hw.physmem: 8316674048
root@fw:~ # cat /var/run/dmesg.boot | grep "ada[0-9]: [<0-9]"
ada0: <Intenso SSD P1228BS> ACS-2 ATA SATA 3.x device
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 1024bytes)
ada0: 122104MB (250069680 512 byte sectors)
ada1: <Intenso SSD P1228BS> ACS-2 ATA SATA 3.x device
ada1: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 1024bytes)
ada1: 122104MB (250069680 512 byte sectors)

Ja, vorher war es eine Standleitung, jetzt 3x PPPoE

ja

Bei uns reicht es schon, wenn ich auf zwei Clients (mein Laptop + Büro-PC oder so) Downloads starte um zu sehen, dass das nicht klappt…
Mein Gedanke war zu schauen ab wann/weshalb die Fritzbox aussteigt. btw vielleicht lässt sie sich mit OpenWRT flashen (um mehr zu sehen)?

Unsere beiden Fritzboxen waren bisher noch nie Anlass für Klagen…
Und bisher kriegt man wohl kein OpenWRT auf ne 7490. Du könntest aber mal Freetz probieren (hab ich bisher keine Erfahrung mit, also auf eigene Gefahr).

1 Like

pfsense auf so 'ner Mini-ITX-Kiste:

  • Intel® Celeron® CPU N2930 @ 1.83GHz
  • 4 CPUs: 1 package(s) x 4 core(s)

Ich bin immer wieder erstaunt, was die wuppt.
Davor 4*10MBit/s DSL, Fritz!Boxen als DSL-Router: 7362, 7390, 7490,7590.

Jetzt, wo du es sagst: neulich habe ich ein ähnliches Phänomen beobachtet: da gingen mehrere Leitungen in die Knie (d.h. Pingzeiten im dreistelligen Bereich, obwohl die Bandbreite nicht ausgereizt war). Hat sich aber von selbst gefangen, bevor ich die Fritz!Boxen neu gestartet habe.

Was hast du unter System>Routing>Gateways als Monitoring IP eingetragen: die Fritz!Box oder eine externe IP? Wir haben einen externen Server drinstehen, vermutlich unter der Annahme, dass auf dem Weg zur Fritz!Box keine Engpässe zu erwarten sind. Erhöhte RTT ist dann lediglich Zeichen von ausgereizter Bandbreite, von daher kann ich nicht genau sagen, ob es das selbe Phänomen ist. Hmm… ich werd’ mal unser Monitoring drauf ansetzen.

1 Like

Eine externe IP. Vorher cloudflares 1.1.1.1, nachdem die aber vor ein paar Wochen Probleme hatte, eine von google. Habe vor kurzem auch bei quad9 angefragt, ob man die dafür nutzen darf (ziemlich sicher haben die nichts dagegen), allerdings bis dato noch keine Antwort bekommen.

Tatsächlich dachte ich, dass die “Alternate Monitoring IP” genutzt wird um zu sehen, ob die Internetverbindung steht. Die Fritzbox agiert bei uns ja auch als router und die Fallback-Leitungen sollen einspringen, wenn entweder die Fritzbox nicht mehr will, oder aber wir über die Fritzbox nicht mehr rauskommen. Nur die Fritzbox als Monitor zu nutzen wäre im ersten Fall (Fritzbox da, aber Telekom wech) dann kein guter Indikator.

Allerdings mache ich auch monitoring zur Fritzbox, und tatsächlich ist in den Problemzeiten nicht nur der Ping nach draußen sondern sogar “nur” hin zur Fritzbox im Eimer. Eine Erklärung: Die Fritzbox kommt mit ihren Queues/Buffers nicht hinterher. Das kleine Ping-ICMP Paket wird irgendwo ganz hinten eingereiht. Ein Packet-Capture an der pfSense zeigt relative viele out-of-order tcp und udp pakete, aber das habe ich nicht weiter verfolgt und kann es auch nicht interpretieren.

Habe mich in letzter Zeit ziemlich viel über Bufferbloat und FQ_Codel / Scheduling etc. belesen (beim Mega-Thread im pfSense Forum mit 900 Einträgen bin ich gerade etwa bei der Hälfte).

Ich habe den Eindruck, dass das gleich-verteilen auf mehrere Clients bei uns ziemlich gut klappt (mit FQ_Codel, queue-masking und entsprechenden Firewall-Regeln).

Habe gerade zum ersten Mal Warnungen aus dem Monitoring bekommen bezüglich Ping-Zeit zur Fritz!Box:


Tatsächlich ist die Leitung voll. Tss tss, und das während des Gemeinschaftsnachmittags…

edit: Das ist auch unsere älteste Fritz!Box, auf der am meisten genutzten Leitung. Klingt nach einer unglücklichen Kombination, wenn ich es mir recht überlege.
edit2 - kurze Recherche nach Alternativen (eine jüngere Fritz!Box ist ja als reines DSL-Modem ein bissel zu schade:

1 Like

Danke, die schaue ich mir mal an.

Die Fritzboxen haben scheinbar (und zwar auch im reinen Bridge-Modus, da bleibt der Router wohl trotzdem an) das Problem, dass sie irgendwo bei 4000-6000 Flows (unconfirmed) „dicht“ machen, also einfach Pakete droppen. Es gibt eine Herstellerseite die anderes behauptet („es gibt keine Beschränkung“), aber in irgendeinem Thread habe ich jemanden Konsolen-Ausgaben auf einer Fritzbox gesehen, die schon ziemlich deutlich in diese Richtung gingen - schien mir legitim zu sein. Es ist ggfs möglich mit Aufspielen einer eigenen Firmware einige dieser Parameter anzupassen, aber auch das ist nicht gesichert, und: nee - keinen Bock auf so eine Fummelei gerade.

Nun habe ich bei D-Link nachgefragt, die haben verschiedene Consumer-Router/Modems. Die erste Antwort war zwar freundlich, aber nicht belastbar (so ungefähr: „ist ja ein Consumer Produkt, da können wir jetzt auch nichts versprechen“ - ich hätte einfach gerne genaue ZAHLEN gehabt! Auf einigen Routern läuft ja auch einfach OpenWRT, da kann man als Hersteller dann schlichtweg mal nachschauen, aber naja - Marketingabteilung halt).

Am Rande: Wusstet ihr von dem versteckten Feature bei der Fritzbox, dass man den Traffic mitschneiden kann? https://osqa-ask.wireshark.org/questions/8541/how-can-i-capture-traffic-with-a-fritz-box : Einfach auf FRITZBOXIP/html/capture.html . Mitunter praktisch zum debuggen. Und ja, man muss sich vorher authentifizieren :wink:

1 Like

Privat nutze ich openwrt auf diesem Gerät: https://openwrt.org/toh/bt/homehub_v5a
gibts ab 5 Euro bei eBay =)
(Import aus .uk)

Nein, wusste ich noch nicht - danke für die Info!