Maar als ze niet door robots.txt worden geblokkeerd kun je een noindex metatag op die pagina’s zetten. En als iemand er toevallig naar linkt, en we crawlen die link en denken dat er misschien iets nuttigs op staat, dan weten we dat die pagina’s niet geïndexeerd hoeven te wor...
rA7GuQ2RPMcCkL6MGwFNhqsFoslqI2bF7JEHQFKRkhtznRQKXqBWdz8kRi1DVMHJwIkegWykbcUU b/lwCMQJyy+xWQ8OUS7NzBRzwHaq5N2MnBjWwAnlWQgNeBAPrDPdMlGIZjbKxyhweg6ok8jJKv1Q 5FzxR8UqRU4EnbRNrCJ2Clyxb0inK+vzGIsYak+VCr1ywAmXx6NVbEMWbjYJAZg8tZnNu4xW0H5W 8GcQ2eOwklIWIeSpoA8qzzfm2PaTkcSQsHRXT...