Поиск и чтение статей arXiv

Как применить

Поиск и извлечение статей осуществляется через бесплатный REST API arXiv: без ключа API и зависимостей, только с помощью curl.

Вспомогательный скрипт не имеет зависимостей — он использует только стандартную библиотеку Python.

arXiv не предоставляет данных о цитированиях или рекомендаций; для этого используйте API Semantic Scholar — он бесплатен, не требует ключа для базового использования (1 запрос в секунду) и возвращает данные в формате JSON.

Ограничения на частоту запросов: arXiv разрешает около 1 запроса каждые 3 секунды без аутентификации; Semantic Scholar разрешает 1 запрос в секунду без ключа или 100 запросов в секунду при наличии ключа API.

arXiv возвращает данные в формате Atom XML — используйте вспомогательный скрипт или фрагмент кода для парсинга для получения чистого вывода.

Semantic Scholar возвращает данные в формате JSON — передайте их через python -m json.tool для улучшения читаемости.

ID статей arXiv бывают старого формата (hep-th/0601001) и нового (2402.03300).

У отозванных статей в поле <summary> указывается уведомление об отзыве (ищите значения «withdrawn» или «retracted»).

У отозванных статей метаданные могут быть неполными.

Основные действия и соответствующие команды: поиск статей с помощью curl "https://export.arxiv.org/api/query?search_query=all:QUERY&max_results=5", получение конкретной статьи с помощью curl "https://export.arxiv.org/api/query?id_list=2402.03300", чтение аннотации в браузере с помощью web_extract(urls=["https://arxiv.org/abs/2402.03300"]), а также чтение полного текста статьи в формате PDF с помощью web_extract(urls=["https://arxiv.org/pdf/2402.03300"]).

API возвращает данные в формате Atom XML. Парсите их с помощью grep/sed или передавайте через python для получения чистого вывода.

Выполните базовый поиск по запросу.

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5"

Преобразуйте ответ XML в удобочитаемый формат.

curl -s "https://export.arxiv.org/api/query?search_query=all:GRPO+reinforcement+learning&max_results=5&sortBy=submittedDate&sortOrder=descending" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom'}
root = ET.parse(sys.stdin).getroot()
for i, entry in enumerate(root.findall('a:entry', ns)):
    title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
    arxiv_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
    published = entry.find('a:published', ns).text[:10]
    authors = ', '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
    summary = entry.find('a:summary', ns).text.strip()[:200]
    cats = ', '.join(c.get('term') for c in entry.findall('a:category', ns))
    print(f'{i+1}. [{arxiv_id}] {title}')
    print(f'   Authors: {authors}')
    print(f'   Published: {published} | Categories: {cats}')
    print(f'   Abstract: {summary}...')
    print(f'   PDF: https://arxiv.org/pdf/{arxiv_id}')
    print()
"

Префиксы поиска: all: ищет во всех полях (например, all:transformer+attention), ti: — в заголовке (ti:large+language+models), au: — в имени автора (au:vaswani), abs: — в аннотации (abs:reinforcement+learning), cat: — в категории (cat:cs.AI), а co: — в комментариях (co:accepted+NeurIPS).

Сочетайте термины с помощью логических операторов.

# AND (default when using +)
search_query=all:transformer+attention

# OR
search_query=all:GPT+OR+all:BERT

# AND NOT
search_query=all:language+model+ANDNOT+all:vision

# Exact phrase
search_query=ti:"chain+of+thought"

# Combined
search_query=au:hinton+AND+cat:cs.LG

Управляйте сортировкой и пагинацией с помощью параметров: sortBy принимает relevance, lastUpdatedDate или submittedDate; sortOrder принимает ascending или descending; start — это смещение результата относительно нуля; max_results — количество результатов (по умолчанию 10, максимум 30000).

Сортируйте и разбивайте на страницы наборы результатов с использованием этих параметров запроса.

# Latest 10 papers in cs.AI
curl -s "https://export.arxiv.org/api/query?search_query=cat:cs.AI&sortBy=submittedDate&sortOrder=descending&max_results=10"

Получайте конкретные статьи по их идентификатору arXiv, одну или несколько за раз.

# By arXiv ID
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300"

# Multiple papers
curl -s "https://export.arxiv.org/api/query?id_list=2402.03300,2401.12345,2403.00001"

Сгенерируйте запись BibTeX.

После получения метаданных о статье сгенерируйте запись BibTeX.

curl -s "https://export.arxiv.org/api/query?id_list=1706.03762" | python -c "
import sys, xml.etree.ElementTree as ET
ns = {'a': 'http://www.w3.org/2005/Atom', 'arxiv': 'http://arxiv.org/schemas/atom'}
root = ET.parse(sys.stdin).getroot()
entry = root.find('a:entry', ns)
if entry is None: sys.exit('Paper not found')
title = entry.find('a:title', ns).text.strip().replace('\n', ' ')
authors = ' and '.join(a.find('a:name', ns).text for a in entry.findall('a:author', ns))
year = entry.find('a:published', ns).text[:4]
raw_id = entry.find('a:id', ns).text.strip().split('/abs/')[-1]
cat = entry.find('arxiv:primary_category', ns)
primary = cat.get('term') if cat is not None else 'cs.LG'
last_name = entry.find('a:author', ns).find('a:name', ns).text.split()[-1]
print(f'@article{{{last_name}{year}_{raw_id.replace(\".\", \"\")},')
print(f'  title     = {{{title}}},')
print(f'  author    = {{{authors}}},')
print(f'  year      = {{{year}}},')
print(f'  eprint    = {{{raw_id}}},')
print(f'  archivePrefix = {{arXiv}},')
print(f'  primaryClass  = {{{primary}}},')
print(f'  url       = {{https://arxiv.org/abs/{raw_id}}}')
print('}')
"

Прочитайте содержимое статьи.

После нахождения статьи прочитайте её: получите страницу аннотации для метаданных и аннотации или загрузите полный PDF статьи для преобразования в Markdown.

# Abstract page (fast, metadata + abstract)
web_extract(urls=["https://arxiv.org/abs/2402.03300"])

# Full paper (PDF → markdown via Firecrawl)
web_extract(urls=["https://arxiv.org/pdf/2402.03300"])

Используйте вспомогательный скрипт.

Скрипт scripts/search_arxiv.py обрабатывает парсинг XML и предоставляет чистый вывод для поиска по запросу, автору, категории или идентификатору, с такими опциями, как --max и --sort.

python scripts/search_arxiv.py "GRPO reinforcement learning"
python scripts/search_arxiv.py "transformer attention" --max 10 --sort date
python scripts/search_arxiv.py --author "Yann LeCun" --max 5
python scripts/search_arxiv.py --category cs.AI --sort date
python scripts/search_arxiv.py --id 2402.03300
python scripts/search_arxiv.py --id 2402.03300,2401.12345

Получите сведения о статье и цитированиях от Semantic Scholar по идентификатору arXiv, идентификатору статьи Semantic Scholar или DOI.

# By arXiv ID
curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300?fields=title,authors,citationCount,referenceCount,influentialCitationCount,year,abstract" | python -m json.tool

# By Semantic Scholar paper ID or DOI
curl -s "https://api.semanticscholar.org/graph/v1/paper/DOI:10.1234/example?fields=title,citationCount"

Получите цитирования статьи — кто на неё ссылался.

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/citations?fields=title,authors,year,citationCount&limit=10" | python -m json.tool

Получите ссылки из статьи — на что она ссылается.

curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:2402.03300/references?fields=title,authors,year,citationCount&limit=10" | python -m json.tool

Ищите статьи через Semantic Scholar в качестве альтернативы поиску в arXiv; результат возвращается в формате JSON.

curl -s "https://api.semanticscholar.org/graph/v1/paper/search?query=GRPO+reinforcement+learning&limit=5&fields=title,authors,year,citationCount,externalIds" | python -m json.tool

Получите рекомендации по статьям от Semantic Scholar.

curl -s -X POST "https://api.semanticscholar.org/recommendations/v1/papers/" \
  -H "Content-Type: application/json" \
  -d '{"positivePaperIds": ["arXiv:2402.03300"], "negativePaperIds": []}' | python -m json.tool

Найдите профиль автора на Semantic Scholar.

curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=Yann+LeCun&fields=name,hIndex,citationCount,paperCount" | python -m json.tool

Откройть для себя: python scripts/search_arxiv.py "your topic" --sort date --max 10

Оцените влияние: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID?fields=citationCount,influentialCitationCount"

Прочитайте аннотацию: web_extract(urls=["https://arxiv.org/abs/ID"])

Прочитайте полную статью: web_extract(urls=["https://arxiv.org/pdf/ID"])

Найдите связанные работы: curl -s "https://api.semanticscholar.org/graph/v1/paper/arXiv:ID/references?fields=title,citationCount&limit=20"

Чтобы получить рекомендации, отправьте POST-запрос на эндпоинт рекомендаций Semantic Scholar.

Отслеживайте авторов: curl -s "https://api.semanticscholar.org/graph/v1/author/search?query=NAME"

При генерации цитирований сохраняйте суффикс версии, который вы фактически прочитали, чтобы предотвратить расхождение цитирований — более поздняя версия может значительно изменить содержание.

Статьи могут быть отозваны после публикации; когда это происходит, применяются указанные ниже признаки.

Всегда проверяйте аннотацию перед тем, как считать результат действительной статьёй.