메타태그 활용 meta 설정하기 문서수집 허용

메타태그 설정

<meta name="robots" content="index,follow" />
// 문서 수집 [ 가능 ] 링크 수집 [ 가능 ]

<meta name="robots" content="noindex,follow" />
// 문서 수집 [ 불가능 ] 링크 수집 [ 가능 ]

<meta name="robots" content="index,nofollow" />
// 문서 수집 [ 가능 ] 링크 수집 [ 불가능 ]

<meta name="robots" content="noindex,nofollow" />
// 문서 수집 [ 불가능 ] 링크 수집 [ 불가능 ]