I recently wanted to write some code that analyzed URLs to determine if the source was the same– eliminating sub-domains. For something simple like “sensiblesoftware.com” or “www.sensiblesoftware.com”, this is easy. However, what about othes countries? Something like “www.company.co.uk” or “company.co.uk”? It was clear I needed a list. Initially, I went and found the TLD/Top Level Domain list at the ICANN. It was clear by just looking at this, however, that it didn’t include individual country’s second level domains, such as “.co.uk”. This makes it difficult to use for getting the effective organization domain(which would be the ‘company’ in company.com or company.co.uk).
After looking, I eventually found a list of these, but it wasn’t formatted very nicely for use in programming, so I formatted it and I’m providing the list here– you can easily copy/paste this list into a text file for programmatic use.
.af
.com.af
.edu.af
.gov.af
.net.af
.org.af
.ax
.gov.al
.edu.al
.org.al
.com.al
.net.al
.dz
.com.dz
.org.dz
.net.dz
.gov.dz
.edu.dz
.asso.dz
.pol.dz
.art.dz
.as
.ad
.nom.ad
.ed.ao
.gv.ao
.og.ao
.co.ao
.pb.ao
.it.ao
.ai
.com.ai
.net.ai
.off.ai
.org.ai
.aq
.ag
.com.ag
.edu.ag
.co.ag
.net.ag
.nom.ag
.org.ag
.com.ar
.edu.ar
.gob.ar
.gov.ar
.int.ar
.mil.ar
.net.ar
.org.ar
.tur.ar
.am
.aw
.com.aw
.ac
.com.ac
.net.ac
.gov.ac
.org.ac
.mil.ac
.com.au
.net.au
.org.au
.edu.au
.gov.au
.csiro.au
.asn.au
.id.au
.act.au
.nsw.au
.nt.au
.qld.au
.sa.au
.tas.au
.vic.au
.wa.au
.archie.au
.conf.au
.gw.au
.info.au
.otc.au
.oz.au
.telememo.au
.cx
.hm
.nf
.at
.gv.at
.ac.at
.co.at
.or.at
.az
.com.az
.net.az
.int.az
.gov.az
.org.az
.edu.az
.info.az
.pp.az
.mil.az
.name.az
.pro.az
.biz.az
.bs
.com.bs
.net.bs
.org.bs
.edu.bs
.gov.bs
.bh
.com.bh
.info.bh
.cc.bh
.edu.bh
.biz.bh
.net.bh
.org.bh
.gov.bh
.com.bd
.edu.bd
.ac.bd
.net.bd
.gov.bd
.org.bd
.mil.bd
.bb
.com.bb
.net.bb
.org.bb
.gov.bb
.info.bb
.co.bb
.store.bb
.tv.bb
.biz.bb
.by
.be
.bz
.com.bz
.edu.bz
.gov.bz
.net.bz
.org.bz
.bj
.gouv.bj
.mil.bj
.edu.bj
.gov.bj
.asso.bj
.barreau.bj
.com.bj
.bm
.bt
.bo
.com.bo
.net.bo
.org.bo
.tv.bo
.mil.bo
.int.bo
.gob.bo
.gov.bo
.edu.bo
.ba
.org.ba
.net.ba
.edu.ba
.gov.ba
.mil.ba
.unsa.ba
.untz.ba
.unmo.ba
.unbi.ba
.unze.ba
.co.ba
.com.ba
.rs.ba
.bw
.co.bw
.org.bw
.adm.br
.adv.br
.agr.br
.am.br
.arq.br
.art.br
.ato.br
.bio.br
.blog.br
.bmd.br
.cim.br
.cng.br
.cnt.br
.com.br
.coop.br
.ecn.br
.edu.br
.eng.br
.esp.br
.etc.br
.eti.br
.far.br
.flog.br
.fm.br
.fnd.br
.fot.br
.fst.br
.g12.br
.ggf.br
.gov.br
.imb.br
.ind.br
.inf.br
.jor.br
.jus.br
.lel.br
.mat.br
.med.br
.mil.br
.mus.br
.net.br
.nom.br
.not.br
.ntr.br
.odo.br
.org.br
.ppg.br
.pro.br
.psc.br
.psi.br
.qsl.br
.rec.br
.slg.br
.srv.br
.tmp.br
.trd.br
.tur.br
.tv.br
.vet.br
.vlog.br
.wiki.br
.zlg.br
.io
.vg
.com.bn
.edu.bn
.org.bn
.net.bn
.bg
.bf
.net.mm
.com.mm
.edu.mm
.org.mm
.gov.mm
.bi
.per.kh
.com.kh
.edu.kh
.gov.kh
.mil.kh
.net.kh
.org.kh
.cm
.gov.cm
.ca
.ab.ca
.bc.ca
.mb.ca
.nb.ca
.nf.ca
.nl.ca
.ns.ca
.nt.ca
.nu.ca
.on.ca
.pe.ca
.qc.ca
.sk.ca
.yk.ca
.cv
.ky
.com.ky
.org.ky
.net.ky
.edu.ky
.gov.ky
.cf
.td
.cl
.gov.cl
.gob.cl
.cn
.ac.cn
.com.cn
.edu.cn
.gov.cn
.net.cn
.org.cn
.ah.cn
.bj.cn
.cq.cn
.fj.cn
.gd.cn
.gs.cn
.gz.cn
.gx.cn
.ha.cn
.hb.cn
.he.cn
.hi.cn
.hl.cn
.hn.cn
.jl.cn
.js.cn
.jx.cn
.ln.cn
.nm.cn
.nx.cn
.qh.cn
.sc.cn
.sd.cn
.sh.cn
.sn.cn
.sx.cn
.tj.cn
.tw.cn
.xj.cn
.xz.cn
.yn.cn
.zj.cn
.cx
.cc
.com.co
.org.co
.edu.co
.gov.co
.net.co
.mil.co
.nom.co
.km
.com.km
.coop.km
.asso.km
.nom.km
.presse.km
.tm.km
.medecin.km
.notaires.km
.pharmaciens.km
.veterinaire.km
.edu.km
.gouv.km
.mil.km
.cd
.cg
.co.ck
.org.ck
.edu.ck
.gov.ck
.net.ck
.gen.ck
.biz.ck
.info.ck
.cr
.ac.cr
.co.cr
.ed.cr
.fi.cr
.go.cr
.or.cr
.sa.cr
.ci
.hr
.cu
.ac.cy
.net.cy
.gov.cy
.org.cy
.pro.cy
.name.cy
.ekloges.cy
.tm.cy
.ltd.cy
.biz.cy
.press.cy
.parliament.cy
.com.cy
.cz
.dk
.dj
.dm
.com.dm
.net.dm
.org.dm
.edu.do
.gob.do
.gov.do
.com.do
.sld.do
.org.do
.net.do
.web.do
.mil.do
.art.do
.tl
.com.tl
.gov.tl
.ec
.com.ec
.info.ec
.net.ec
.fin.ec
.med.ec
.pro.ec
.org.ec
.edu.ec
.gov.ec
.mil.ec
.com.eg
.edu.eg
.eun.eg
.gov.eg
.mil.eg
.name.eg
.net.eg
.org.eg
.sci.eg
.edu.sv
.gob.sv
.com.sv
.org.sv
.red.sv
.gq
.com.er
.edu.er
.gov.er
.mil.er
.net.er
.org.er
.ind.er
.rochest.er
.w.er
.ee
.com.et
.gov.et
.org.et
.edu.et
.net.et
.biz.et
.name.et
.info.et
.eu
.co.fk
.org.fk
.gov.fk
.ac.fk
.nom.fk
.net.fk
.fo
.fm
.ac.fj
.biz.fj
.com.fj
.info.fj
.mil.fj
.name.fj
.net.fj
.org.fj
.pro.fj
.fi
.fr
.tm.fr
.asso.fr
.nom.fr
.prd.fr
.presse.fr
.com.fr
.gouv.fr
.gf
.pf
.com.pf
.tf
.ga
.gm
.ge
.de
.com.gh
.edu.gh
.gov.gh
.org.gh
.mil.gh
.gi
.gr
.com.gr
.edu.gr
.net.gr
.org.gr
.gov.gr
.gl
.gd
.gp
.com.gp
.net.gp
.mobi.gp
.edu.gp
.asso.gp
.org.gp
.com.gu
.com.gt
.edu.gt
.net.gt
.gob.gt
.org.gt
.mil.gt
.ind.gt
.gg
.ac.gg
.co.gg
.gov.gg
.net.gg
.sch.gg
.org.gg
.com.gn
.ac.gn
.gov.gn
.org.gn
.net.gn
.gw
.gy
.co.gy
.com.gy
.net.gy
.ht
.hm
.hn
.uk
.com.hk
.edu.hk
.gov.hk
.idv.hk
.net.hk
.org.hk
.hu
.2000.hu
.agrar.hu
.bolt.hu
.casino.hu
.city.hu
.co.hu
.erotica.hu
.erotika.hu
.film.hu
.forum.hu
.games.hu
.hotel.hu
.info.hu
.ingatlan.hu
.jogasz.hu
.konyvelo.hu
.lakas.hu
.media.hu
.news.hu
.org.hu
.priv.hu
.reklam.hu
.sex.hu
.shop.hu
.sport.hu
.suli.hu
.szex.hu
.tm.hu
.tozsde.hu
.utazas.hu
.video.hu
.is
.in
.co.in
.firm.in
.net.in
.org.in
.gen.in
.ind.in
.ac.in
.edu.in
.res.in
.gov.in
.mil.in
.nic.in
.ac.id
.co.id
.net.id
.or.id
.web.id
.sch.id
.mil.id
.go.id
.ir
.ac.ir
.co.ir
.gov.ir
.id.ir
.net.ir
.org.ir
.sch.ir
.iq
.gov.iq
.edu.iq
.com.iq
.mil.iq
.org.iq
.ie
.ac.il
.co.il
.org.il
.net.il
.k12.il
.gov.il
.muni.il
.idf.il
.im
.plc.co.im
.net.im
.co.im
.org.im
.ac.im
.ltd.co.im
.com.im
.gov.im
.it
.com.jm
.net.jm
.org.jm
.edu.jm
.gov.jm
.mil.jm
.jp
.ac.jp
.ad.jp
.co.jp
.ed.jp
.go.jp
.gr.jp
.lg.jp
.ne.jp
.or.jp
.je
.co.je
.org.je
.net.je
.sch.je
.gov.je
.jo
.com.jo
.net.jo
.gov.jo
.edu.jo
.org.jo
.mil.jo
.name.jo
.sch.jo
.org.kz
.edu.kz
.net.kz
.gov.kz
.mil.kz
.com.kz
.co.ke
.or.ke
.ne.ke
.go.ke
.ac.ke
.sc.ke
.com.ki
.biz.ki
.net.ki
.info.ki
.org.ki
.gov.ki
.edu.ki
.mob.ki
.tel.ki
.phone.ki
.kp
.kr
.co.kr
.ne.kr
.or.kr
.re.kr
.pe.kr
.go.kr
.mil.kr
.ac.kr
.hs.kr
.ms.kr
.es.kr
.sc.kr
.kg.kr
.seoul.kr
.busan.kr
.daegu.kr
.incheon.kr
.gwangju.kr
.daejeon.kr
.ulsan.kr
.gyeonggi.kr
.gangwon.kr
.chungbuk.kr
.chungnam.kr
.jeonbuk.kr
.jeonnam.kr
.gyeongbuk.kr
.gyeongnam.kr
.jeju.kr
.edu.kw
.com.kw
.net.kw
.org.kw
.gov.kw
.kg
.gov.kg
.mil.kg
.la
.lv
.com.lv
.edu.lv
.gov.lv
.org.lv
.mil.lv
.id.lv
.net.lv
.asn.lv
.conf.lv
.com.lb
.edu.lb
.gov.lb
.net.lb
.org.lb
.ls
.co.ls
.org.ls
.com.lr
.edu.lr
.gov.lr
.org.lr
.net.lr
.ly
.com.ly
.net.ly
.gov.ly
.plc.ly
.edu.ly
.sch.ly
.med.ly
.org.ly
.id.ly
.li
.lt
.lu
.mo
.com.mo
.edu.mo
.gov.mo
.net.mo
.org.mo
.mk
.com.mk
.org.mk
.net.mk
.edu.mk
.gov.mk
.inf.mk
.name.mk
.mg
.org.mg
.nom.mg
.gov.mg
.prd.mg
.tm.mg
.edu.mg
.mil.mg
.com.mg
.ac.mw
.co.mw
.com.mw
.coop.mw
.edu.mw
.gov.mw
.int.mw
.museum.mw
.net.mw
.org.mw
.my
.com.my
.net.my
.org.my
.gov.my
.edu.my
.sch.my
.mil.my
.name.my
.aero.mv
.biz.mv
.com.mv
.coop.mv
.edu.mv
.gov.mv
.info.mv
.int.mv
.mil.mv
.museum.mv
.name.mv
.net.mv
.org.mv
.pro.mv
.com.ml
.net.ml
.org.ml
.edu.ml
.gov.ml
.presse.ml
.com.mt
.org.mt
.net.mt
.edu.mt
.gov.mt
.mq
.mh
.mr
.gov.mr
.mu
.com.mu
.net.mu
.org.mu
.gov.mu
.ac.mu
.co.mu
.or.mu
.com.mx
.net.mx
.org.mx
.edu.mx
.gob.mx
.md
.mc
.tm.mc
.asso.mc
.mn
.gov.mn
.edu.mn
.org.mn
.me
.co.me
.net.me
.org.me
.edu.me
.ac.me
.gov.me
.its.me
.priv.me
.ms
.ma
.net.ma
.ac.ma
.org.ma
.gov.ma
.press.ma
.co.ma
.co.mz
.org.mz
.gov.mz
.edu.mz
.na
.com.na
.co.na
.org.na
.edu.na
.alt.na
.in.na
.info.na
.mobi.na
.ws.na
.nr
.edu.nr
.gov.nr
.biz.nr
.info.nr
.net.nr
.org.nr
.com.nr
.com.np
.org.np
.edu.np
.net.np
.gov.np
.mil.np
.nl
.an
.nc
.ac.nz
.co.nz
.geek.nz
.gen.nz
.maori.nz
.net.nz
.org.nz
.school.nz
.cri.nz
.govt.nz
.iwi.nz
.parliament.nz
.mil.nz
.ni
.gob.ni
.co.ni
.ac.ni
.org.ni
.nom.ni
.net.ni
.mil.ni
.ne
.com.ng
.org.ng
.gov.ng
.edu.ng
.net.ng
.nu
.nf
.com.nf
.net.nf
.per.nf
.rec.nf
.web.nf
.arts.nf
.firm.nf
.info.nf
.other.nf
.store.nf
.mp
.no
.com.om
.co.om
.edu.om
.ac.om
.sch.om
.gov.om
.net.om
.org.om
.mil.om
.museum.om
.biz.om
.pro.om
.med.om
.pk
.net.pk
.edu.pk
.org.pk
.fam.pk
.biz.pk
.web.pk
.gov.pk
.gob.pk
.gok.pk
.gon.pk
.gop.pk
.gos.pk
.com.pw
.net.pw
.org.pw
.edu.pw
.gov.pw
.belau.pw
.ps
.com.ps
.biz.ps
.net.ps
.edu.ps
.gov.ps
.sch.ps
.mun.ps
.net.pa
.com.pa
.ac.pa
.sld.pa
.gob.pa
.edu.pa
.org.pa
.abo.pa
.ing.pa
.med.pa
.nom.pa
.com.pg
.net.pg
.ac.pg
.gov.pg
.mil.pg
.org.pg
.org.py
.edu.py
.mil.py
.gov.py
.net.py
.com.py
.una.py
.pe
.edu.pe
.gob.pe
.nom.pe
.mil.pe
.sld.pe
.org.pe
.com.pe
.net.pe
.ph
.com.ph
.net.ph
.org.ph
.mil.ph
.ngo.ph
.i.ph
.gov.ph
.edu.ph
.pl
.com.pl
.org.pl
.gov.pl
.pl
.com.pl
.biz.pl
.net.pl
.art.pl
.edu.pl
.org.pl
.ngo.pl
.gov.pl
.info.pl
.mil.pl
.waw.pl
.warszawa.pl
.wroc.pl
.wroclaw.pl
.krakow.pl
.katowice.pl
.poznan.pl
.lodz.pl
.gda.pl
.gdansk.pl
.slupsk.pl
.radom.pl
.szczecin.pl
.lublin.pl
.bialystok.pl
.olsztyn.pl
.torun.pl
.gorzow.pl
.zgora.pl
.pt
.com.pt
.edu.pt
.gov.pt
.int.pt
.net.pt
.nome.pt
.org.pt
.publ.pt
.pr
.biz.pr
.com.pr
.edu.pr
.gov.pr
.info.pr
.isla.pr
.name.pr
.net.pr
.org.pr
.pro.pr
.est.pr
.prof.pr
.ac.pr
.com.qa
.org.qa
.edu.qa
.gov.qa
.net.qa
.ro
.arts.ro
.com.ro
.firm.ro
.info.ro
.nom.ro
.nt.ro
.org.ro
.rec.ro
.store.ro
.tm.ro
.www.ro
.re
.asso.re
.nom.re
.com.re
.ru
.com.ru
.net.ru
.org.ru
.pp.ru
.rw
.gov.rw
.net
.edu
.ac
.com
.co
.int
.mil
.aero
.asia
.biz
.cat
.coop
.info
.jobs
.mobi
.museum
.name
.org
.pro
.tel
.travel
.xxx
.gouv
.sh
.co.sh
.com.sh
.org.sh
.gov.sh
.edu.sh
.net.sh
.nom.sh
.kn
.org.kn
.net.kn
.gov.kn
.edu.kn
.lc
.com.lc
.org.lc
.net.lc
.co.lc
.l.lc
.p.lc
.vc
.com.vc
.net.vc
.org.vc
.ws
.com.ws
.net.ws
.org.ws
.gov.ws
.edu.ws
.sm
.st
.gov.st
.saotome.st
.principe.st
.consulado.st
.embaixada.st
.org.st
.edu.st
.net.st
.com.st
.store.st
.mil.st
.co.st
.com.sa
.edu.sa
.sch.sa
.med.sa
.gov.sa
.net.sa
.org.sa
.pub.sa
.sn
.rs
.co.rs
.org.rs
.edu.rs
.ac.rs
.gov.rs
.in.rs
.sc
.com.sc
.net.sc
.edu.sc
.gov.sc
.org.sc
.sl
.com.sl
.net.sl
.org.sl
.edu.sl
.gov.sl
.sg
.com.sg
.net.sg
.org.sg
.gov.sg
.edu.sg
.per.sg
.idn.sg
.sk
.si
.com.sb
.net.sb
.edu.sb
.org.sb
.gov.sb
.ac.za
.city.za
.co.za
.edu.za
.gov.za
.law.za
.mil.za
.nom.za
.org.za
.school.za
.ecape.school.za
.fs.school.za
.gp.school.za
.kzn.school.za
.mpm.school.za
.ncape.school.za
.lp.school.za
.nw.school.za
.wcape.school.za
.alt.za
.net.za
.ngo.za
.tm.za
.web.za
.agric.za
.cybernet.za
.grondar.za
.iaccess.za
.inca.za
.nis.za
.olivetti.za
.pix.za
.gs
.su
.es
.com.es
.nom.es
.org.es
.gob.es
.edu.es
.com.lk
.org.lk
.edu.lk
.ngo.lk
.soc.lk
.web.lk
.ltd.lk
.assn.lk
.grp.lk
.hotel.lk
.gov.lk
.sch.lk
.net.lk
.int.lk
.sd
.com.sd
.net.sd
.org.sd
.edu.sd
.med.sd
.tv.sd
.gov.sd
.info.sd
.sr
.sz
.co.sz
.ac.sz
.org.sz
.se
.a.se
.b.se
.ac.se
.bd.se
.c.se
.d.se
.e.se
.f.se
.g.se
.h.se
.i.se
.k.se
.l.se
.m.se
.n.se
.o.se
.p.se
.r.se
.s.se
.t.se
.u.se
.w.se
.x.se
.y.se
.z.se
.org.se
.pp.se
.tm.se
.parti.se
.press.se
.ch
.sy
.edu.sy
.gov.sy
.net.sy
.mil.sy
.com.sy
.org.sy
.news.sy
.tw
.edu.tw
.gov.tw
.mil.tw
.com.tw
.net.tw
.org.tw
.idv.tw
.game.tw
.ebiz.tw
.club.tw
.tj
.ac.tj
.aero.tj
.biz.tj
.co.tj
.com.tj
.coop.tj
.dyn.tj
.edu.tj
.go.tj
.gov.tj
.info.tj
.int.tj
.mil.tj
.museum.tj
.my.tj
.name.tj
.net.tj
.org.tj
.per.tj
.pro.tj
.web.tj
.co.tz
.ac.tz
.go.tz
.or.tz
.ne.tz
.ac.th
.co.th
.in.th
.go.th
.mi.th
.or.th
.net.th
.tg
.tk
.to
.tt
.co.tt
.com.tt
.org.tt
.net.tt
.biz.tt
.info.tt
.pro.tt
.name.tt
.edu.tt
.gov.tt
.tn
.com.tn
.ens.tn
.fin.tn
.gov.tn
.ind.tn
.intl.tn
.nat.tn
.net.tn
.org.tn
.info.tn
.perso.tn
.tourism.tn
.edunet.tn
.rnrt.tn
.rns.tn
.rnu.tn
.mincom.tn
.agrinet.tn
.defense.tn
.com.tr
.gen.tr
.org.tr
.biz.tr
.info.tr
.av.tr
.dr.tr
.pol.tr
.bel.tr
.mil.tr
.tsk.tr
.bbs.tr
.k12.tr
.edu.tr
.name.tr
.net.tr
.gov.tr
.web.tr
.tel.tr
.tv.tr
.tm
.tc
.tv
.ug
.co.ug
.ac.ug
.sc.ug
.go.ug
.ne.ug
.or.ug
.ua
.com.ua
.gov.ua
.net.ua
.edu.ua
.org.ua
.in.ua
.ae
.co.ae
.net.ae
.gov.ae
.ac.ae
.sch.ae
.org.ae
.mil.ae
.pro.ae
.name.ae
.ac.uk
.co.uk
.gov.uk
.ltd.uk
.me.uk
.mod.uk
.net.uk
.nic.uk
.nhs.uk
.org.uk
.plc.uk
.police.uk
.sch.uk
.ak.us
.al.us
.ar.us
.az.us
.ca.us
.co.us
.ct.us
.de.us
.fl.us
.ga.us
.hi.us
.ia.us
.id.us
.il.us
.in.us
.ks.us
.ky.us
.la.us
.ma.us
.md.us
.me.us
.mi.us
.mn.us
.mo.us
.ms.us
.mt.us
.nc.us
.nd.us
.ne.us
.nh.us
.nj.us
.nm.us
.nv.us
.ny.us
.oh.us
.ok.us
.or.us
.pa.us
.ri.us
.sc.us
.sd.us
.tn.us
.tx.us
.ut.us
.va.us
.vt.us
.wa.us
.wi.us
.wv.us
.wy.us
.dc.us
.as.us
.gu.us
.mp.us
.pr.us
.vi.us
.dni.us
.fed.us
.isa.us
.kids.us
.nsn.us
.com.uy
.edu.uy
.gub.uy
.net.uy
.mil.uy
.org.uy
.vi
.co.vi
.com.vi
.uz
.co.uz
.com.uz
.vu
.va
.com.ve
.edu.ve
.gob.ve
.mil.ve
.net.ve
.org.ve
.info.ve
.co.ve
.web.ve
.vn
.com.vn
.biz.vn
.edu.vn
.gov.vn
.net.vn
.org.vn
.int.vn
.ac.vn
.pro.vn
.info.vn
.health.vn
.name.vn
.wf
.com.ye
.co.ye
.ltd.ye
.me.ye
.net.ye
.org.ye
.plc.ye
.gov.ye
.ac.zm
.co.zm
.com.zm
.org.zm
.co.zw
If this list is out of date in any way, please let me know and I’ll udpate it. Thanks.