Происхождением из малоизвестного и маловлиятельного рода. Отец его Яков Семенович Щелкалов был дьяком. Андрей был старше своего брата Василия на десять лет[2].
Несмотря на своё низкое происхождение, он вместе с Василием достиг большого влияния на государственные дела в последней четверти XVI века. В течение своей почти полувековой службы Щелкалов исполнял разнообразнейшие поручения, занимал различные должности и места и управлял иногда несколькими приказами одновременно.
Впервые имя Андрея Щелкалова появляется в 1550 году, когда он был записан в «тысячную книгу» и состоял «в разрядах в числе поддатней у рынд». В этой должности он упоминается также в 1556 году в походных списках[3].
В 1560 году он был приставом при литовских послах, а в 1563 году записан уже дьяком в росписи Полоцкого похода; под этим же годом один из старинных документов называет его вторым посольским дьяком. По-видимому, именно в этом звании Щелкалов 26 сентября 1564 года находился в числе других сановников, принимавших послов немецкого магистра Вольфганга Шутцбара, и принимал участие в переговорах «о деле», т. е. об условиях, на которых могло бы состояться освобождение из русского плена магистра ливонского И. В. фон Фюрстенберга[3].
В 1564 году он в числе нескольких доверенных людей Ивана Грозного упоминается при встрече последнего с литовским послом Михаилом Гарабурдой. Эта встреча происходила в Новгороде.
В 1570 году в связи с осуждением и казнью Ивана Висковатова возглавил Посольский приказ и занимал эту должность двадцать четыре года. Он пережил в этой должности правление трёх государей и оставил эту должность в 1594 году своему брату Василию.
Иностранцы, особенно англичане, не любили Андрея Щелкалова, равно как и его брата Василия Яковлевича, и давали о них весьма нелестные отзывы, главным образом из-за того, что Щелкаловы стремились к уничтожению торговых привилегий иностранных купцов.
Борис Годунов, считая его необходимым для управления государством, был очень расположен к этому дьяку, стоявшему во главе всех прочих дьяков в целой стране. Во всех областях и городах ничего не делалось без его ведома и желания. Борис Годунов высоко ценил Щелкалова за его ум, ловкость дипломатическую, но позже подвергнул его опале за «самовольство»: Андрей Яковлевич и его брат Василий «искажали росписи родословных людей и влияли на местнический распорядок, составляя списки административных назначений». Вообще, они достигли такого влияния, какого дьяки не имели никогда.
Умер Андрей Яковлевич Щелкалов, приняв иночество с именем Феодосий.
В искусстве
П. П. Сухонин (Шардин). Историческая комедия в 4 действиях. «Андрей Яковлевич Щелкалов, государственный дьяк и печатник» (СПб., 1868 г.)
В фильме "Борис Годунов" (2011) его роль исполнил Леонид Парфенов[5]