<html><head><meta http-equiv="Content-Type" content="text/html; charset=utf-8"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div class=""><span class="" style="font-style: normal;"><font face="Monaco" class="">Hi all,</font></span></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><font class="">Many of you might not know me, but I’m part of </font><span class="">RIPE’s software engineering team that takes care of RPKI.</span></span></font></div><div class=""><span class="" style="font-style: normal;"><font face="Monaco" class=""><br class=""></font></span></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><font class="">I’ve been following this discussion closely and I've noticed some lack of clarity about our decision to </font><font class="">duplicate our </font><span class="">RPKI</span><span class=""> infrastructure.</span></span></font></div><div class=""><span class="" style="font-style: normal;"><font face="Monaco" class="">So I think it’s important for us to tell a few things about our approach. </font></span></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">First what we have today in production:</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">- TA software (offline box)</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">- HSM for the TA (plus backups and spare parts)</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">- A few application servers running our RPKI software - I’ll call it RPKI-Core</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">- Redundant HSMs used by RPKI-Core</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">- RRDP publication service (cloud)</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">- Some rsync nodes (internal infra)</font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><br class=""></span></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">Something like the diagram below.</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">For testing environment we have practically the same infra. </font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">And for public test (localcert) we use ‘soft' keys and no HSMs.</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><br class=""></span></font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><font class="">About the new AS0 TA, y</font>es, we could simplify our infra.</span></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">One option would be to use ‘soft’ keys all around or use a HSM for TA only.</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">We could also use third-party software for TA, Core and publication service.</font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><span class="">It crossed my mind, f</span><span class="">or a </span><span class="">fraction of a second, </span><span class="">to skip AS0 TA instances for our internal and/or public test environments.</span></span></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">But I don’t think we should treat it as a "second class citizen".   </font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><font class="">If we provide another TA, it’s worthy of receiving as much TLC as our production TA; m</font><font class="">eaning that it would also require the same (</font><span class="">or similar)</span><font class=""> process around it as our production TA does. </font><font class="">That includes keeping track of HSM card holders, </font><font class="">defining a proper admin and operator quorum, scheduling </font><span class="">periodical</span><font class=""> resigning sessions, etc…</font></span></font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><br class=""></span></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">I’m not here to advocate against nor in favour of AS0 TA. </font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">But when discussing our implementation, this was our rationale to duplicate the infrastructure. </font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">And that’s why it would cost us a lot to implement it. </font></div><div class=""><br class=""></div><div class=""><font face="Monaco" class="">Let me know you need more info about this subject.</font></div><div class=""><font face="Monaco" class=""><span style="font-style: normal;" class=""><br class=""></span></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><div class=""><font class="">Kind regards, </font></div><div class=""><font class="">Thiago da Cruz </font></div><div class=""><font class="">Sr. software engineer - RPKI Team</font></div><div class=""><font class="">RIPE NCC</font></div><div class=""><font class=""><br class=""></font></div></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">            +---------------------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">            |                     |            +-------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">            |    TA (offline)     +------------+  HSM  |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">            |                     |            +-------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">            +---------------------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">                                                                                                            +------------------------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">                                                                                                            |                        |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">                                                                                             +----------->  |    RRDP publication    |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">                                                                                             |              |                        |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">                                                                                             |              |        (cloud)         |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">                                                                                             |              |                        |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">     +-------------------+             +-------------------+                                 |              +------------------------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">     |                   |             |                   |          Publication            |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">     |    RPKI-Core 1    |    (...)    |    RPKI-Core n    |     ---------------------->  * +></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">     |                   |             |                   |                                 |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">     +--+-----+----+-----+             +--+------+-------+-+                                 |              +----------------------------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">        |     |    |                      |      |       |                                   |              |                            |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">        |     |    +---------------+      |      |       |                                   |              |    Rsync publication       |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">        |     |                    |      |      |       +----+                              +----------->  |                            |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">  +-----+     +-----------+     +---------+      |            |                                             | (internal infra - x nodes) |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">  |                       |     |  |             |            |                                             |                            |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">  |                       |     |  +-------------------+      |                                             |                            |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">  |    +-----------------------------------------+     |      |                                             +----------------------------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">  |    |                  |     |                      |      |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">+-+----+--+               +     +                    +-+------++</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">|  HSM 1  |         (......................)         |  HSM m  |</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;">+---------+                                          +---------+</font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><font class="" face="Monaco" style="font-style: normal;"><br class=""></font></div><div class=""><br class=""></div><div class=""><font face="Monaco" class=""><br class=""></font></div><div class=""><font face="Monaco" class=""><br class=""></font></div><div><br class=""><blockquote type="cite" class=""><div class="">On 27 Feb 2020, at 23:51, George Michaelson <<a href="mailto:ggm@algebras.org" class="">ggm@algebras.org</a>> wrote:</div><br class="Apple-interchange-newline"><div class=""><div class="">Anton pointed out I may have both misunderstood and not answered your question.<br class=""><br class="">The testbed is a soft TA. In deployment, people will have to move to a<br class="">new (as yet not created) TAL for AS0, as long as it runs independently<br class="">of the mainline TAL.<br class=""><br class="">We intend running a distinct TA for AS0 until we get a clear signal<br class="">our community wants it integrated. We have stated concerns about the<br class="">automatic adoption of ASO products worldwide without visible agreement<br class="">of this activity, a separate TAL turns the activity from opt-out to<br class="">opt-in.<br class=""><br class="">We are duplicating the software signing infrastructure, but with lower<br class="">costs overall given commonalities.<br class=""><br class="">We are still discussing if we can run the offline-TA HSM and the<br class="">online production key HSM for both activities, or if we need a<br class="">distinct infrastructure for AS0 and mainline. Duplication overall is<br class="">not in APNIC's model, we rely on spares and alternate use of the HSM,<br class="">but production signing systems are single instances. I believe they<br class="">are capable of some virtualisation or segmentation but that skirts the<br class="">underlying physical risk/dependency.<br class=""><br class="">Sorry for not being clearer before<br class=""><br class="">-George<br class=""><br class="">On Wed, Feb 26, 2020 at 6:18 PM Carlos Friaças via routing-wg<br class=""><<a href="mailto:routing-wg@ripe.net" class="">routing-wg@ripe.net</a>> wrote:<br class=""><blockquote type="cite" class=""><br class=""><br class="">Hi,<br class=""><br class="">Any clue if APNIC has duplicated the infrastructure (and cost) as it is<br class="">foreseen in the NCC's impact analysis...?<br class=""><br class="">Carlos<br class=""><br class=""><br class=""><br class="">On Wed, 26 Feb 2020, JORDI PALET MARTINEZ via routing-wg wrote:<br class=""><br class=""><blockquote type="cite" class="">Hi Max,<br class=""><br class="">I think is too early to take a decision, and in fact I don't think we are yet in case A.<br class=""><br class="">Consensus is about justified objections. I can see also people in favor and I understand, as we usually do in any proposal discussion, that non-objection is consent.<br class=""><br class="">The only justification that I can see is from Job about possible cost. However, I don't see figures about how much it cost to develop this AS0 + how much it cost the operators to use it (if they want) vs developing the SLURM + making sure it is secure as RPKI + how much ti cost the operators to use it.<br class=""><br class="">And by the way, the AS0 is compatible with the SLURM, so opeartors can choose.<br class=""><br class="">Regards,<br class="">Jordi<br class="">@jordipalet<br class=""><br class=""><br class=""><br class="">El 25/2/20 20:30, "routing-wg en nombre de Massimiliano Stucchi" <<a href="mailto:routing-wg-bounces@ripe.net" class="">routing-wg-bounces@ripe.net</a> en nombre de <a href="mailto:max@stucchi.ch" class="">max@stucchi.ch</a>> escribió:<br class=""><br class=""><br class="">   Hi everyone,<br class=""><br class="">   On 20/02/2020 15:39, Petrit Hasani wrote:<br class=""><br class=""><blockquote type="cite" class="">As per the RIPE Policy Development Process (PDP), the purpose of this four week Review Phase is to continue discussion of the proposal, taking the impact analysis into consideration, and to review the full draft RIPE Policy Document.<br class=""><br class="">At the end of the Review Phase, the Working Group (WG) Chairs will determine whether the WG has reached rough consensus. It is therefore important to provide your opinion, even if it is simply a restatement of your input from the previous phase.<br class=""></blockquote><br class="">   Today, me and the other proposers of this policy change had a meeting to<br class="">   discuss the feedback we have been receiving on the list.<br class=""><br class="">   We understand that many people find this proposal controversial, and<br class="">   many have expressed themselves against it in the past days.<br class=""><br class="">   We would like to encourage discussion and provide us with a bit of<br class="">   guidance on how the community would like to proceed.  At present we have<br class="">   identified three ways of progressing:<br class=""><br class="">   A) We can try to go ahead with this proposal, although it will be hard<br class="">   to get consensus;<br class=""><br class="">   B) We can drop the proposal, and leave everything as is;<br class=""><br class="">   C) We can change the proposal to a different ask for RIPE NCC.  The idea<br class="">   could be to ask RIPE NCC to provide a SLURM file (similar to what APNIC<br class="">   does), so that single users can decide if they want to feed it to their<br class="">   validators.<br class=""><br class="">   From what we gathered in the discussions, I think B) could be the most<br class="">   sought-after decision, but we would like to propose C) as the way<br class="">   forward.  It would give the possibility to those who want to implement<br class="">   this solution to do it in a lightweight fashion.  It would for sure be<br class="">   much much cheaper to implement.<br class=""><br class="">   In any case, as Job already pointed out, I prepared a simple tool to<br class="">   generate a SLURM file using either the Team Cymru bogons list, or<br class="">   considering any unassigned space from the NRO delegated stats file.<br class="">   RIPE NCC has kindly provided help and patches to improve it.  If you<br class="">   want to give it a go, you can find it here:<br class=""><br class="">   <a href="https://github.com/stucchimax/rpki-as0-bogons" class="">https://github.com/stucchimax/rpki-as0-bogons</a><br class=""><br class="">   Thank you for any suggestion or any discussion around this.<br class=""><br class="">   Ciao!<br class="">   --<br class="">   Massimiliano Stucchi<br class="">   MS16801-RIPE<br class="">   Twitter/Telegram: @stucchimax<br class=""><br class=""><br class=""><br class=""><br class=""><br class="">**********************************************<br class="">IPv4 is over<br class="">Are you ready for the new Internet ?<br class=""><a href="http://www.theipv6company.com" class="">http://www.theipv6company.com</a><br class="">The IPv6 Company<br class=""><br class="">This electronic message contains information which may be privileged or confidential. The information is intended to be for the exclusive use of the individual(s) named above and further non-explicilty authorized disclosure, copying, distribution or use of the contents of this information, even if partially, including attached files, is strictly prohibited and will be considered a criminal offense. If you are not the intended recipient be aware that any disclosure, copying, distribution or use of the contents of this information, even if partially, including attached files, is strictly prohibited, will be considered a criminal offense, so you must reply to the original sender to inform about this communication and delete it.<br class=""><br class=""><br class=""><br class=""><br class=""><br class=""></blockquote></blockquote><br class=""></div></div></blockquote></div><br class=""></body></html>