<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
Hi Robert and everyone,<br class="">
<br class="">
I’m excited to see RIPE take this step in allowing more HTTP measurements across the system. I certainly support this proposal.<br class="">
<br class="">
In addition, along similar lines to what Brian Trammell has brought up, I’m particularly interested in detecting any type of impairment on the HTTP level. Therefore, I would love to see HTTP measurements be performed with not only RIPE Atlas anchors as targets
 (though that is a great start), but the rest of the web as well.<br class="">
<br class="">
Along with Jared’s idea for expanding it to allow testing of your own website, perhaps we could even expand this idea to the ability to test any website that gives you permission (which we could prove we obtained, to RIPE).<br class="">
<br class="">
Of course all such tests should be limited in both size and frequency, as appropriate with the current test restrictions such as the credit system and the 4 KB limit.
<div class=""><br class="">
I know however, there are privacy and security issues that would come into play on the side of probe hosts, which must be considered. I would certainly appreciate suggestions on how we could allow HTTP measurements against the general web, while protecting
 probe hosts from being held reliable by their local governments for their probe’s test histories.<br class="">
<br class="">
At ProPublica, our research interest lies in detecting whether large news sites are available all over the world — as well as how they come to be unavailable or censored. One of our recent projects did not use RIPE Atlas, but instead relied on other existing
 testing mechanisms in China, to detect the availability of 18 international news homepages: <a href="https://projects.propublica.org/firewall/" class="">https://projects.propublica.org/firewall/</a>. We would love to do our own tests using the RIPE network,
 testing in many more countries than just China, but complete test results could not be created without being able to use HTTP measurements.<br class="">
<br class="">
Sincerely,<br class="">
Sisi<br class="">
<br class="">
---<br class="">
<br class="">
Sisi Wei<br class="">
News Apps Developer<br class="">
ProPublica
<div class=""><br class="">
<div>
<blockquote type="cite" class="">
<div class="">On Jan 9, 2015, at 4:44 AM, Robert Kisteleki <<a href="mailto:robert@ripe.net" class="">robert@ripe.net</a>> wrote:</div>
<br class="Apple-interchange-newline">
<div class=""><br class="">
Dear All,<br class="">
<br class="">
I'd like to provide some background information mostly about bandwidth usage<br class="">
that can help this discussion.<br class="">
<br class="">
For RIPE Atlas anchors, we're always asking the host to be prepared for<br class="">
traffic up to 10Mb/sec. However, in reality we're very far from using this<br class="">
much at the moment: anchors that are involved in DNSMON measurements use<br class="">
about 256kb/sec, whereas anchors that don't do DNSMON measurements use about<br class="">
50kb/sec.<br class="">
<br class="">
About probes: a v4 only probe uses ~4kb/sec, a v4+v6 probe uses ~7kb/sec.<br class="">
See also:<br class="">
<a href="https://atlas.ripe.net/about/faq/#how-much-bandwidth-will-the-probe-consume" class="">https://atlas.ripe.net/about/faq/#how-much-bandwidth-will-the-probe-consume</a><br class="">
<br class="">
All of these numbers are on average, based on checking some random<br class="">
anchors/probes. Surely there are probes that use more (or less) average<br class="">
bandwidth than the numbers I mentioned.<br class="">
<br class="">
The HTTP service provided by the anchors limits the response size to about<br class="">
4KB, so even with all the overhead it fits in a few TCP packets, which is<br class="">
practically in the same ballpark as the other measurements we already allow<br class="">
(or even less, if one thinks about traceroutes...)<br class="">
<br class="">
We'll also enforce the usual limits like maximum number of probes per<br class="">
measurement and minimum measurement frequency.<br class="">
<br class="">
Regards,<br class="">
Robert<br class="">
<br class="">
<br class="">
On 2015-01-07 21:34, Bryan Socha wrote:<br class="">
<blockquote type="cite" class="">I love the idea but unless you can profile what available capacity the<br class="">
probe/anchor has I don't think the resulting measurements will be<br class="">
useable.    There is no way to know your http request was slow because<br class="">
someone with the end point is a hard core torrent user maxing their location<br class="">
out.   Also valid for the areas where you have a hard limit and minimal<br class="">
extra bandwidth.    ping/traceroute while not always a good test does<br class="">
squeeze through with minimal variance in result when the site bandwidth is<br class="">
congested.<br class="">
<br class="">
also as an anchor host, can I limit the max bps because some locations is<br class="">
not low cost if everyone decides to http test some speedtest file.    Our<br class="">
singapore anchor for example would cost more per month then we spent on the<br class="">
hardware to host an anchor in the first place.   I suspect the probe/anchor<br class="">
hosts in other areas like africa, australia, new zealand, and south america<br class="">
would get even larger monthly bills.<br class="">
<br class="">
<br class="">
<br class="">
<br class="">
Bryan Socha<br class="">
Network Engineer<br class="">
DigitalOcean<br class="">
</blockquote>
<br class="">
</div>
</blockquote>
</div>
<br class="">
</div>
</div>
</body>
</html>